Por Sergio Sorín y Esteban Magnani
5 de mayo de 2024
Lavender fue una IA utilizada con fines militares.. Imagen: EFE
Una investigación periodística reveló cómo Israel se sirvió de estas tecnologías para sus bombardeos en la Franja de Gaza, abriendo una nueva faceta del poder bélico en este siglo.
Durante al menos la semana posterior al ataque sufrido el 7 de octubre, Israel utilizó sistemas de Inteligencia Artificial (IA) para seleccionar potenciales militantes de Hamas y de la Jihad Islámica Palestina prácticamente sin control humano. Esos blancos eran destruidos con bombas “tontas” que muchas veces se llevaban a sus familias y vecinos.
Esto es lo que se desprende de la investigación de +972, una revista independiente y sin fines de lucro, formada por periodistas palestinos e israelíes, contó con al menos seis fuentes de las Fuerzas Armadas Israelíes que pidieron anonimato. Varios medios internacionales que venían investigando estos temas replicaron la noticia pero la reacción internacional ha sido tibia.
Este nuevo y más dramático caso trajo a la escena pública algo que ya se viene discutiendo en organizaciones internacionales: cuáles son los límites para la automatización de la guerra con IA, teniendo en cuenta sus múltiples problemas.
Veinte segundos de chequeo
Luego del 7 de octubre, los militares israelíes necesitaron hacer una demostración de fuerza contra cualquier sospechoso. Como en la Franja de Gaza viven cerca de dos millones de personas recurrieron a una IA cargada con datos sobre la población y sus celulares con información como los grupos de Whatsapp que compartían con algún miembro de la jerarquía, geolocalización, domicilios, etcétera. Esto también levanta muchas preguntas sobre la supuesta privacidad que promete Meta para sus sistemas de mensajería.
Así evaluaron el índice de sospecha de cada ciudadano con un puntaje entre 0 y 100 en base a ciertas variables. Según las fuentes, cuando consideraron el margen de error cercano al 10%, comenzaron a autorizar los ataques tomándose no más de 20 segundos para una supervisión humana. Como la mayoría se daban una vez que los sospechosos volvían a sus hogares (es decir, en sus espacios íntimos) los soldados también tenían permiso para arriesgar la vida de hasta quince víctimas civiles, calculadas también por la IA, denominada Lavender, que pudieran encontrarse en el mismo hogar. Esto habilitaba el uso de bombas “tontas” en lugar de otras más precisas pero también más costosas, reservadas para eliminar a altos mandos.
Terminada la tarea, se pedía a la IA que creara decenas de blancos nuevos. Luego de dos semanas en las que unos 37.000 personas fueron señaladas como sospechosas, las presiones internacionales forzaron a Israel a dejar de utilizar el sistema de manera masiva. Los problemas de sesgos en las IA son conocidos, pero ¿qué pasa cuando se deja en sus manos señalar el blanco de un bombardeo basado en un puñado de datos no siempre confiables?
Una investigación periodística reveló cómo Israel se sirvió de estas tecnologías para sus bombardeos en la Franja de Gaza, abriendo una nueva faceta del poder bélico en este siglo.
Durante al menos la semana posterior al ataque sufrido el 7 de octubre, Israel utilizó sistemas de Inteligencia Artificial (IA) para seleccionar potenciales militantes de Hamas y de la Jihad Islámica Palestina prácticamente sin control humano. Esos blancos eran destruidos con bombas “tontas” que muchas veces se llevaban a sus familias y vecinos.
Esto es lo que se desprende de la investigación de +972, una revista independiente y sin fines de lucro, formada por periodistas palestinos e israelíes, contó con al menos seis fuentes de las Fuerzas Armadas Israelíes que pidieron anonimato. Varios medios internacionales que venían investigando estos temas replicaron la noticia pero la reacción internacional ha sido tibia.
Este nuevo y más dramático caso trajo a la escena pública algo que ya se viene discutiendo en organizaciones internacionales: cuáles son los límites para la automatización de la guerra con IA, teniendo en cuenta sus múltiples problemas.
Veinte segundos de chequeo
Luego del 7 de octubre, los militares israelíes necesitaron hacer una demostración de fuerza contra cualquier sospechoso. Como en la Franja de Gaza viven cerca de dos millones de personas recurrieron a una IA cargada con datos sobre la población y sus celulares con información como los grupos de Whatsapp que compartían con algún miembro de la jerarquía, geolocalización, domicilios, etcétera. Esto también levanta muchas preguntas sobre la supuesta privacidad que promete Meta para sus sistemas de mensajería.
Así evaluaron el índice de sospecha de cada ciudadano con un puntaje entre 0 y 100 en base a ciertas variables. Según las fuentes, cuando consideraron el margen de error cercano al 10%, comenzaron a autorizar los ataques tomándose no más de 20 segundos para una supervisión humana. Como la mayoría se daban una vez que los sospechosos volvían a sus hogares (es decir, en sus espacios íntimos) los soldados también tenían permiso para arriesgar la vida de hasta quince víctimas civiles, calculadas también por la IA, denominada Lavender, que pudieran encontrarse en el mismo hogar. Esto habilitaba el uso de bombas “tontas” en lugar de otras más precisas pero también más costosas, reservadas para eliminar a altos mandos.
Terminada la tarea, se pedía a la IA que creara decenas de blancos nuevos. Luego de dos semanas en las que unos 37.000 personas fueron señaladas como sospechosas, las presiones internacionales forzaron a Israel a dejar de utilizar el sistema de manera masiva. Los problemas de sesgos en las IA son conocidos, pero ¿qué pasa cuando se deja en sus manos señalar el blanco de un bombardeo basado en un puñado de datos no siempre confiables?
Foros internacionales
Si bien el debate global sobre la IA es cada vez más intenso, la ausencia de regulaciones vinculantes habilita la proliferación de la IA militar, en particular aquellas que reemplazan un control humano efectivo, como las observadas en Lavender.
Las fuerzas armadas y de seguridad en todo el mundo están lanzadas a incorporar la IA. No se trata de una nueva carrera armamentística sino de una estampida para optimizar capacidades defensivas y ofensivas. El Instituto Internacional de Investigación para la Paz de Estocolmo (SIPRI) proyecta que el volumen del mercado asociado a soluciones de IA en el ámbito militar superará los 13.700 millones de dólares en 2028.
Mientras tanto, crecen las advertencias respecto a que la IA facilite el desarrollo de armas biológicas y otras herramientas de destrucción. Como sostiene la investigadora Kate Crawford, “Los sistemas de IA son, al fin y al cabo, diseñados para servir intereses dominantes ya existentes. En ese sentido, la IA es un certificado de poder”.
Así como la aparición de Chat-GPT popularizó el uso de IA casi para cualquier persona, en la práctica son muy pocos los Estados y corporaciones que dominan su ciclo completo. Por eso, para no perderse el negocio, empresas como OpenAI quitaron de sus regulaciones la prohibición que impedía utilizar su tecnología en “tareas militares y de guerra”.
La creación de un organismo similar a la OIEA, pero enfocado en IA es uno de los modelos posibles que actualmente se discute en los foros internacionales para abordar un uso pacífico de la IA. Sin embargo, en los foros gubernamentales, apalancados por los intereses geopolíticos ante un mundo cada vez más multipolar, el consenso es lejano y dispar.
En febrero 2023 se realizó en Países Bajos la primera Cumbre Mundial sobre Inteligencia Artificial Responsable en el Ámbito Militar (REAIM, en inglés) que reunió a delegados de más de cien gobiernos, empresas, sociedad civil, académicos y lobbistas de los principales think tanks del mundo. Se escuchó a expertos como el ex-CEO de Google, Eric Schmidt, asesor del sector tecnológico-militar-industrial de EE.UU., advertir que la IA será la nueva bomba nuclear.
Solo 57 Estados suscribieron un compromiso de “Uso responsable”, pero fue la primera vez que China y EE.UU. alcanzaron un acuerdo compartido en este asunto. Sin embargo, los 25 puntos del documento no van más allá de las buenas intenciones, la mirada puesta en los avances de la IA en el ámbito civil, un mayor compromiso con la investigación, la capacitación del personal militar, el conocimiento compartido, la creación de marcos y estrategias nacionales y, eso sí, un “llamado al sector privado para que apoye y promueva el uso responsable en el ámbito militar”.
Así como los países justifican sus políticas militares y de defensa por temor a las capacidades de sus competidores, son estas mismas lógicas las que obstaculizan el avance de una regulación humanitaria. Es aún prematuro determinar el impacto de lo que Sudáfrica calificó, junto a muchos otros países, como 'genocidio' ante el Tribunal Penal Internacional; si esto forzaría un instrumento vinculante global también lo es. Mientras tanto, el Secretario General de la ONU, Antonio Guterres, emitió un llamado urgente para adoptar un tratado legal vinculante que prohíba y regule los sistemas de armas autónomas para 2026, una fecha que hoy parece lejana. También es prematuro saber el efecto que tendrá en la industria de la IA. Por su parte, los trabajadores también elevaron su voz protestando porque sus desarrollos se utilizaban con fines militares. Fueron el eslabón más débil: terminaron ignorados o despedidos.
Laboratorio a cielo abierto
La escasa reacción internacional sobre lo que ocurre en Palestina es llamativa. El periodista especializado en temas de defensa Antony Loewenstein, autor del libro de investigación El laboratorio palestino, explica que pese a la resistencia en muchos países de la región a Israel sus desarrollos militares funcionan como una “póliza de seguro” porque “estas naciones querían contar con el apoyo de Israel en el ámbito de la seguridad, sobre todo para poder controlar a su propia población”.
Los países árabes en particular, asegura, parecen poco dispuestos a tomar medidas de peso contra Israel porque “sus líderes están muertos de miedo ante la posibilidad de que se produzca una segunda Primavera Árabe. Quieren que Israel les ayude a protegerse de sus propias poblaciones”. Como explica el especialista, Israel es el décimo exportador de armas del mundo. Entre sus clientes hay no pocos interesados en, por ejemplo, sus desarrollos e implementaciones de IA para detectar posibles insurgentes.
Todo indica que, sin una reacción internacional muy fuerte, el negocio se retroalimentará. Una fuente del sector de inteligencia israelí explicaba a +972: “En el corto plazo, estamos más a salvo, porque lastimamos a Hamas. Pero creo que estamos menos seguros en el largo plazo. Yo veo que las familias en duelo en Gaza --que son prácticamente todos-- tendrán más motivos para sumarse a Hamas en los próximos 10 años. Y va a ser mucho más fácil para ellos reclutarlos”.
