Cecilia Celeste Danesi: "La IA intensifica la desigualdad para los grupos minoritarios y vulnerables"

Durante la tercera jornada del Congreso Futuro 2024, la abogada, escritora y académica argentina, Cecilia Celeste Danesi, presentó su charla “Desafiando el imperio de los algoritmos”, donde alertó sobre riesgos e implicancias sociales de la inteligencia artificial (IA) y su impacto en ámbitos como los estereotipos de género o la paridad laboral.

Danesi, que también es autora del libro “El imperio de los algoritmos: IA inclusiva, ética y al servicio de la humanidad”, fue fundadora de la primera cátedra de “IA y Derecho” en la Facultad de Derecho de la Universidad de Buenos Aires. En la actualidad, se desempeña como investigadora en el Instituto de Estudios Europeos y Derechos Humanos de la Universidad Pontificia de Salamanca (España).

En entrevista con DF, la abogada se refirió a los sesgos algorítmicos y su efecto social. “Los grupos minoritarios y vulnerables son los primeros que sufren, porque siempre estuvieron marginalizados y fuera de la repartición de la torta. Y ahora con la IA esa desigualdad se intensifica”, dijo.

“Los grupos marginalizados siempre estuvieron fuera de la repartición de la torta. Y la IA intensifica la desigualdad por su falta de acceso a la tecnología, el desconocimiento para manejarla y porque la tecnología los va a excluir”, sostiene Danesi.

- ¿Qué son los sesgos algorítmicos y cuál es su impacto?

- El sesgo algorítmico consiste en la transferencia de los valores humanos en la tecnología. Todo lo que hacemos está impregnado de nuestros valores y prejuicios. La IA tiene un poder expansivo muchísimo más grande que el que tenemos nosotros. Por ejemplo, un juez puede hacer una cantidad de sentencias a la semana, mientras que un sistema de IA lo hace en un minuto.

Si ese sistema tiene sesgos, el impacto será mucho más grande y esos sesgos se van a amplificar, porque esos nuevos datos que crea la IA arrojarán una predicción sesgada que vuelve a entrar al sistema. Se genera una especie de profecía autocumplida, un proceso llamado bucle de retroalimentación pernicioso.

- ¿Cuáles son los grupos más vulnerables o los sectores más afectados ante estos sesgos?

- Lamentablemente, y me duele mucho decir esto, pero siempre los grupos minoritarios y vulnerables son los primeros que sufren. Porque siempre estuvieron marginalizados, siempre estuvieron fuera de la repartición de la torta. Y ahora, con la IA, esa desigualdad se intensifica, primero, por la falta de acceso a la tecnología, segundo, por el desconocimiento de cómo manejar esta tecnología, y tercero, porque la tecnología los va a excluir.

Un problema esencial para partir el debate es la falta de datos. Por ejemplo, las mujeres somos un colectivo en muchos casos marginalizado. Ahora, si dentro de ese colectivo empiezas a decir “mujeres negras”, vamos a tener menos datos, y si dices “mujeres negras con alguna discapacidad”, menos datos aún. Entonces este grupo estará fuera de la información disponible para que este sistema de IA pueda funcionar, marginalizándolas aún más.

Focos de acción para enfrentar el problema

- ¿Qué medidas se pueden llevar a cabo para mitigar los sesgos en la IA?

- Hay varios ejes, como lo menciono en el último capítulo de mi libro sobre el “Imperio de los algoritmos”, que trata de dar claves concretas para avanzar. Un eje es nutrir a los equipos de trabajo de diversidad. Generalmente, los equipos que desarrollan tecnología son homogéneos, es decir, hombres blancos de determinado poder adquisitivo y con determinados estudios. Esa falta de diversidad se traduce en que los sistemas tengan un montón de puntos ciegos y aspectos discriminatorios, porque los crearon personas que piensan exactamente igual.

Como punto número dos, y más allá de la diversidad, es importante la formación. Si nosotros no tenemos formación en protección de datos, en derechos humanos, en discriminación o en género, no vamos a ser sensibles a estas materias y menos si no lo hemos experimentado nunca.

En tercer lugar, necesitamos una regulación. Tienen que haber normas que regulen y controlen la IA. Actualmente, estoy trabajando sobre un libro de auditorías algorítmicas, porque vamos camino hacia la supervisión de la inteligencia artificial y esto es necesario para prevenir los sesgos. Yo defiendo mucho la idea de establecer auditorías algorítmicas obligatorias o evaluaciones de impacto ante casos de algoritmos de alto riesgo.

La IA va por su vida como si fuese inocente y no sabemos el impacto real que tiene. Hay casos que salieron a la luz, como el algoritmo de Twitter, que hacía recortes en las imágenes, las hacía miniaturas y excluía los rostros de personas negras. Los usuarios se empezaron a dar cuenta y lo denunciaron, pero no existe este control de ver cómo son las predicciones y qué impacto social tienen.