Una investigación publicada en marzo de este año en el marco del proyecto Sistemas de Algoritmos Públicos de la Universidad de los Andes (Colombia) da cuenta de que Argentina es uno de los cinco países de América Latina y el Caribe que utiliza más herramientas de Inteligencia Artificial (IA) en su sector público. 

Sabido es que los sistemas de IA apuntan a una mayor eficiencia y eficacia del aparato estatal. En muchos casos es posible corroborar los resultados. Así, la inteligencia artificial en el sector público de nuestro país se utiliza para atender ciudadanos a través de asistentes conversacionales virtuales, simplificar trámites a partir de la automatización de procesos, segmentar poblaciones objetivo para la elaboración de programas sociales, generar perfiles de riesgo de los contribuyentes de forma tal de atenuar la discrecionalidad de las inspecciones, predecir deserciones escolares mediante sistemas de alerta temprana, pronosticar eventos climáticos y verificar identidades para mejorar el control de fronteras, entre una gran cantidad de usos orientados a mejorar la calidad de bienes y servicios públicos.

No obstante, como toda herramienta, la IA no está exenta de riesgos. Así como ofrece grandes potencialidades, también exige una gestión rigurosa de los peligros inherentes a su desarrollo y aplicación. Aquí vale la pena detenernos en dos que van de la mano y en aumento en la medida en que todavía lejos están de formar parte de la agenda pública.

El riesgo de los sesgos

Los algoritmos de IA son entrenados con datos. No solo aprenden de los sesgos presentes en ellos, sino que pueden amplificarlos. Por ejemplo, cuando un algoritmo de búsqueda de empleo se carga con datos históricos, es probable que la recomendación de trabajo para hombres o mujeres con similar nivel educativo, edad y experiencia laboral sea muy distinta porque está basada en asignaciones que arrastran un sesgo histórico. 

En la gran mayoría de los casos, los datos que utiliza el sector público provienen de la sociedad y, como sabemos, las relaciones sociales son subjetivas, están atravesadas por prejuicios y por asimetrías de poder. Hay muchos colectivos que históricamente estuvieron subrepresentados en los datos y esto originó iniciativas que tuvieron problemas en su desarrollo por las desigualdades presentes desde el comienzo. Por estos sesgos tan enraizados en la sociedad resulta necesario tener una mirada atenta y sensible ante diferentes colectivos usualmente invisibilizados y asegurarnos de su correcta representación en los datos de entrenamiento, en la definición de problemas y en la elaboración de políticas.  

La IA ofrece grandes potencialidades, pero exige una gestión rigurosa de los peligros inherentes a su desarrollo y aplicación

También los algoritmos pueden generar respuestas sesgadas a partir de datos que, en principio, no los presentan. En este sentido, es relevante no solo investigar y comprender los prejuicios presentes en los datos, sino también abordar y corregir aquellos que pueden ser inherentes a los algoritmos. Así, es fundamental abordar y corregir los sesgos en cada fase del desarrollo de un algoritmo de IA, es decir, desde la recopilación inicial de datos, el prototipado del algoritmo y, finalmente, en el algoritmo en su estado de producción.

El riesgo de la falta de transparencia algorítmica

Una característica importante de la mayoría de los algoritmos de IA es que son tan complejos y flexibles que muchas veces no se puede entender ni explicar cómo codifican la información necesaria para resolver los problemas planteados. Aunque obtengan soluciones exitosas, pueden no existir formas intuitivas de interpretarlos ni de dar explicaciones razonables de cómo llegan a sus resultados. 

Así, la transparencia algorítmica apunta a poder explicar y evaluar el desempeño de un algoritmo, de manera tal de poder comprender su funcionamiento, justificar las decisiones y prevenir situaciones indeseadas como invasiones a la privacidad, mal uso de datos o discriminación.

En este sentido, caben mencionar los principales (y poco alentadores) resultados de un estudio exploratorio desarrollado por el Consejo para la Transparencia de Chile y la Universidad Adolfo Ibáñez (2023) con apoyo del BID (Proyecto Algoritmos Éticos, Responsables y Transparentes). A partir de una encuesta sobre uso de algoritmos a 870 organismos públicos -nivel central y municipios-, se obtuvieron solo 285 respuestas, se reconocieron 92 sistemas algorítmicos (14 casos dijeron que no usaban, pero sí lo hacían) de los cuales solo 12 respetan criterios básicos de transparencia algorítmica (informan si hacen o no uso de datos personales, mencionan cuál es la unidad responsable, explicitan criterios para la toma de decisiones, identifican el impacto en los ciudadanos). 

Los algoritmos aprenden de los sesgos presentes y pueden amplificarlos

El mismo estudio fue replicado parcialmente en Colombia, identificándose 111 sistemas algorítmicos. Los autores llaman la atención en relación a cuatro bloques de derechos fundamentales en riesgo: la protección de datos personales y la privacidad, el derecho de petición y acceso a información pública, el derecho a la igualdad y no discriminación, y el debido proceso y derecho a la defensa (Gutiérrez y Muñoz-Cadena, 2023).

Se trata de los primeros estudios que pueden ser interesantes para replicar en otros países de la región con el fin de promover políticas de innovación transparentes.

Como un Jano bifronte, la IA conlleva riesgos proporcionales a sus beneficios. Si los riesgos de los sesgos y la falta de transparencia algorítmica empiezan a convertirse en elefantes que no se ven o no se quieren ver en la habitación de la IA, no solo se limitan sus potencialidades, sino también se acrecienta la sombra de la desconfianza ciudadana hacia los gobiernos y las instituciones públicas.