Montreal es uno de los centros más importantes del mundo en investigación y desarrollo de inteligencia artificial, una tecnología que ayudará a automatizar y enriquecer la economía y la sociedad. Estas innovaciones no están libres de dudas y preocupaciones, y los profesionales latinos pueden contribuir a limitarlas.
Por Dino Rozenberg
“Con base en sus antecedentes le vamos a conceder el crédito que ha solicitado”. “Gracias a su buen comportamiento hemos aceptado su solicitud para nuestra escuela”. “Después de analizar su historial le damos la bienvenida a la empresa”.
Todas estas respuestas pronto podrían ser generadas de manera automatizada por sistemas que utilizan inteligencia artificial (IA) para analizar bases de datos e información pública y privada. Pero también podrían generar otros reportes: “La persona en este documento, incluyendo su grupo familiar, deben considerarse peligrosos y sujetos a supervisión.”
Estos días la inteligencia artificial (IA) está en boca de todos, y aunque se corre el riesgo de entenderla de manera superficial, la investigación y el desarrollo de aplicaciones han creado poderosas herramientas. Ya están en los celulares con reconocimiento facial o de la voz, y las ayudas Siri y Alexa son cada vez más “inteligentes”. Estos asistentes virtuales tienen capacidad de aprender, que es la base de la IA y el concepto machine learning, o aprendizaje de máquinas: pueden interpretar órdenes y preguntas, buscar información en internet, y tomar decisiones relativamente complejas.
Esas habilidades no se comparan con los desarrollos de las grandes organizaciones, los bancos y los gobiernos, que utilizan volúmenes de información –Big Data– y pueden tomar decisiones a gran velocidad y en múltiples asuntos: atención de clientes, programación de la producción, diagnóstico de enfermedades, diseño de productos, análisis de riesgos y hasta evaluación de perfiles para reclutar estudiantes o candidatos a un trabajo.
Esto, por supuesto, puede ser objeto de sesgos que conduzcan a errores en un tratamiento médico, desviaciones en un programa de gobierno e incluso discriminación a las personas. Manuel Morales, investigador de la Universidad de Montreal y especialista en el sector financiero, explica que cuando no existe el adecuado control se le pueden cargar al algoritmo o al motor de aprendizaje prejuicios asociados a las personas como su nombre, lugar de nacimiento, escuela de origen o color de piel. Además, los programas más avanzados aprenden con el tiempo por sí mismos, es decir que sacan nuevas conclusiones y pueden perpetuar errores y discriminación.
No es cosa menor: según el Banco de desarrollo de América Latina, en los próximos 15 años 19% (9.8 millones) de todos los trabajos en México estarán potencialmente expuestos a la automatización. Esto significa que millones de personas tendrán que interactuar con modelos complejos, y podrían ser a la vez autores o víctimas de sus errores. Muchas fábricas ya utilizan aplicaciones de IA para supervisar procesos y tomar decisiones para cumplir los pedidos, solicitar insumos o alertar sobre problemas de calidad. Es algo parecido al piloto automático de los aviones, y se puede aplicar al otorgamiento de créditos, en protocolos de salud y prevención, o en la determinación de los precios en mercados como Amazon o Walmart.
Utilizando la información recogida con cámaras y sensores, los automóviles robóticos se comunicarán con los demás vehículos y la infraestructura (carreteras, semáforos, estacionamientos), y tomarán sus propias decisiones sobre la velocidad y la ruta a seguir, como lo hacen ahora Uber, Waze y Google. Ni la mejor oficina de tránsito podría hacer ese trabajo. De la misma manera, los departamentos de policía, incluso en Canadá, utilizan bases de datos para identificar cuándo y dónde ocurren delitos y proponer medidas preventivas, algo que no ha sido bien aceptado.
Los problemas aparecen a simple vista. Entrevistados vía electrónica, Schallum Pierre y Amna Abderrazak, del comité EDI (por Equidad, Diversidad e Inclusión) del Instituto de inteligencia y datos (IID), de la Universidad Laval (Quebec), respondieron a Hispanophone confirmando estos temores: “AI plantea problemas éticos, legales y sociales relacionados con la seguridad, la confidencialidad, la integridad y la privacidad. Estas son preocupaciones importantes en muchos sectores como la salud, la economía, la seguridad nacional, etc. Y las instituciones académicas, públicas y privadas, deben tomar en cuenta de manera imperativa estos temas.“
Explican que el uso de los datos personales merece especial atención, porque hay cierta complejidad cuando las personas aceptan compartir datos individuales en las redes sociales, pero exigen la protección y resguardo de esos mismos datos en otro contexto, como la banca. “Entendemos la razón por la cual la reciente ley 25 de Quebec [sobre protección de datos personales] se enfoca en la transparencia –apuntan los investigadores–. De hecho, es importante saber quién es responsable del procesamiento de datos, el motivo para solicitarlos y el uso que se les da. En Canadá y también en Quebec se han estado haciendo esfuerzos por entender y dar estructura a estas problemáticas, que son nuevas y desafiantes”.
La IA aprende de sus programadores
El reto se hace evidente cuando la tecnología incorpora en sus procesos y algoritmos los prejuicios y estereotipos sociales como la raza, sexo y origen de las personas, o bien cuando utilizan las estadísticas para construir patrones que eternizan la discriminación. ¿Se le puede dar un significado a los nombres y apellidos, sobre todo los de origen extranjero? ¿Las personas altas y blancas son más confiables que las robustas o de piel oscura? ¿Qué pasaría si un programa de reclutamiento de personal decidiera dar un puntaje diferenciado según las universidades de las que proceden los candidatos, el código postal o el apellido? ¿Qué consecuencias tendría que un gobierno analizara los contactos y “me gusta” de los usuarios de Facebook o Instagram para construir perfiles basados en sus opiniones políticas o preferencias sexuales?
Pierre y Abderrazak lo explican así: “El riesgo de producir una IA discriminatoria, sesgada, racista e imperialista debe tomarse en serio. Solo consideremos los problemas sociales del reconocimiento facial, que puede favorecer a ciertas personas en función del color de la piel”.
Hace pocas semanas, a raíz del conflicto en Ucrania, algunas redes sociales bloquearon el acceso a la información personal de los ucranianos para evitar que una autoridad de ocupación pudiera utilizarlos para perseguirlos. Es sencillo identificar las opiniones de un usuario analizando sus contactos y comentarios con amigos, causas y publicaciones. En manos de regímenes autoritarios o extremistas, este perfilamiento a escala masiva podría suponer un riesgo enorme.
El control interno de las operaciones IA es igualmente importante en materia de dinero y financiamiento, según explica Morales, y el gobierno de Quebec ha tomado la iniciativa: “En las instituciones financieras hay una seria preocupación por identificar y contener esos riesgos. La Autorité des marchés financiers, que es la oficina provincial del mercado financiero, ha mostrado su interés por establecer líneas de conducta y gobernanza corporativa. Las autoridades están conscientes, aunque esto es muy nuevo. También a nivel académico hay movimientos que tratan de señalar y documentar estos peligros.”
Afortunadamente, apunta Morales, todavía no se ha llegado al extremo de que las soluciones bancarias tomen decisiones por sí mismas. “Siempre se utilizan con personas calificadas que validan partes sensibles de los procesos. Hay humanos que toman medidas en función de las respuestas de los modelos automatizados, y aunque es poco probable que vaya a ocurrir algo indeseable en un ambiente tan regulado como el financiero, sí podría ocurrir en otras áreas menos críticas.”
“Si bien tenemos una buena idea sobre hacia dónde se dirige el campo de la IA, hay muchas preguntas relevantes que quedan sin respuesta: ¿Qué datos utilizarán estas aplicaciones? ¿De dónde vendrán estos datos y cuáles son sus prejuicios? ¿Cómo deberían las grandes compañías tecnológicas como Google y Facebook tratar los datos personales, dentro y entre países?”.
Enrique Zapata, director ejecutivo de Datos y Nuevas Tecnologías del Banco de Desarrollo de América Latina.
Se necesita una perspectiva diversa
Los investigadores del IID-ULaval dicen que “actualmente existen varios medios para evitar los sesgos, como mejorar la calidad de los datos y que sean representativos de los contextos a los que se refieren para obtener una visión completa e inclusiva del problema, y un resultado justo y equitativo. Es importante ser consciente de los sesgos que nos rodean para no incorporarlos en la base de datos que se va a utilizar para entrenar el modelo.” Un ejemplo: asociar la profesión médica con los hombres y la enfermería con las mujeres, o incluso asociar la belleza con las personas blancas son variables que, cuando se utilizan en la IA, perjudican a algunas personas e incluso pueden crear una baja autoestima.
Por esa razón, explican, “el equipo que diseña la IA debe ser diverso para tener en cuenta tantas perspectivas como sea posible. En el ciclo de una IA, desde su creación hasta su uso, es importante establecer principios claramente definidos, basados en el respeto a la privacidad, para minimizar los riesgos y maximizar los beneficios. Del mismo modo, también es relevante auditar constantemente las IA, en particular las utilizadas en áreas críticas como la seguridad o la aeronáutica.” Esto se materializa en Quebec por su visión multicultural y sus flujos migratorios, y también es deseable que ocurra en otros centros de América Latina, como México, Argentina o Colombia, donde se hace investigación y desarrollo de IA. Expertos de varios países trabajan en conjunto y desarrollan programas según sus necesidades.
Otro aspecto que puede convertirse en discriminación es el tamaño de las empresas que se aprovechan de la IA. Primero serán las grandes y ricas, por supuesto, pero habrá opciones para todas incluyendo las pequeñas. Es en lo que trabajan investigadores del IID, que forma a muchos investigadores desde la perspectiva de la IA frugal o IA con menos datos. “Uno de nuestros estudiantes-investigadores es también el investigador principal de una startup de Quebec que tiene renombre mundial en el desarrollo de fármacos a través de IA frugal. La compañía diseña medicamentos utilizando IA con pocos datos. La IA frugal puede ser muy útil en el contexto de pymes o países con recursos limitados.”
¿Es tiempo para que intervengan los gobiernos?
Beena Ammanath, experta en IA y fundadora de Humans For AI, una organización sin fines de lucro, coincide en que una forma de evitar los modelos no deseados es incorporar la mayor cantidad de perspectivas académicas, raciales y de género. “Aunque empresas multinacionales son conscientes de la importancia de tener distintos perfiles—explica–, no todas saben cómo lograr esa inclusión.” Su organización, entonces, busca “formar más personas de distintas minorías y entornos sociales en las áreas de conocimiento de IA, para que se conviertan en los futuros líderes, diseñadores y validadores de productos basados en ese recurso tecnológico.”
Enrique Zapata, coautor con Constanza Gómez Mont de un artículo sobre IA, se pregunta: “Si bien tenemos una buena idea sobre hacia dónde se dirige el campo de la IA, hay muchas preguntas relevantes que quedan sin respuesta: ¿Qué datos utilizarán estas aplicaciones? ¿De dónde vendrán estos datos y cuáles son sus prejuicios? ¿Cómo deberían las grandes compañías tecnológicas como Google y Facebook tratar los datos personales, dentro y entre países? ¿Cómo abordarán las jurisdicciones los problemas éticos relacionados con la rendición de cuentas algorítmica, la apertura y la transparencia? ¿Cómo debemos proteger los derechos humanos y al mismo tiempo desbloquear un potencial económico de cerca de 16,000 millones de dólares para 2030? Zapata es director ejecutivo de Datos y Nuevas Tecnologías del Banco de Desarrollo de América Latina, y Gómez Pont fundadora de C Minds, una organización de mujeres mexicanas interesadas en la tecnología IA.
Zapata y Gómez Mont parecen inclinarse por una regulación de los gobiernos y otras instituciones sociales: explican que en América del Norte hay un enfoque no regulado que deja una enorme libertad al sector privado y las empresas lucrativas, “con una participación mínima del estado”. Añaden que en América Latina y regiones menos desarrolladas no está clara la perspectiva. “Los países tienen que decidir si liderarán o caerán en un grupo de otros, y en ese caso si se verán obligados a seguir sin voz o con una voz mínima sobre cómo la IA transformará sus gobiernos y sociedades.”
Autoridades y académicos de Quebec han estado activos, y un elemento esencial es la Declaración de Montreal para el desarrollo responsable de la inteligencia artificial, auspiciada por la Universidad de Montreal y en la que intervino Morales. Según este especialista, “es de los primeros documentos de su género en el mundo. De ahí surgió el Observatorio internacional sobre los impactos sociales de la IA y la tecnología digital (Obvia, Observatoire international sur les impacts sociétaux de l’IA et du numérique), que justamente trata de movilizar a la comunidad académica para hacer investigación en áreas como el urbanismo, ciencias duras, salud, educación, investigación de género, etc.”
La responsabilidad del programador
En todo el mundo existen iniciativas e inversiones para desarrollar nuevos productos con IA. Quebec, y en especial Montreal, cuentan con instituciones pioneras y miles de ingenieros y programadores de diferentes orígenes, incluidos latinoamericanos. Esta combinación tiene rasgos positivos: abre posibilidades de educación y empleo para residentes actuales o candidatos a inmigrar, y al mismo tiempo promueve la colaboración con centros de investigación y desarrolladores.
Este modelo de inclusión aportará a la IA y a sus desarrollos un contenido estratégico: una visión latinoamericana que promueva la inclusión de las minorías y sectores sociales que pueden ser excluidos o afectados por posturas culturales elitistas. Dicho de otra manera, se podría lograr un enfoque en la diversidad y la inclusión, y limitar las objeciones que se han hecho al uso poco ético, incluso discriminatorio, que algunas organizaciones podrían darle a la información personal que recolectan lo mismo las redes sociales que los usuarios comerciales, financieros y tecnológicos.
Dicen Pierre y Abderrazak, del IID-ULaval, que “la co-construcción y la multidisciplinariedad contribuyen a enfrentar los desafíos de los problemas sociales. El IID acaba de crear el Comité de ética, diversidad e inclusión (EDI) con el objetivo de atender las necesidades de investigación y desarrollo en todas sus actividades. La puesta en común de la experiencia de diversos orígenes y múltiples campos de investigación es la base de la innovación. Es muy difícil tener valor añadido con perfiles poco variados. El interés propio puede ser un obstáculo para el avance de la ciencia y el desarrollo de la tecnología. Debemos estar abiertos a los enfoques basados tanto en el género como en las identidades múltiples para satisfacer las necesidades de las personas y las comunidades, y abordar los problemas compartidos”.
