A finales de marzo, las Escuelas Públicas de Westfield celebraron una reunión regular de la junta directiva en la escuela secundaria local, un complejo de ladrillos rojos en Westfield, Nueva Jersey, con un anuncio en el exterior que daba la bienvenida con orgullo a los visitantes del “Hogar de los Diablos Azules” y sus equipos deportivos.
Pero para Dorota Mani, esta no era una reunión cualquiera.
En octubre, algunas niñas de décimo grado en Westfield High School —incluida Francesca, la hija de 14 años de Mani— alertaron a los directivos de que los niños de su clase habían utilizado un software de inteligencia artificial para generar imágenes sexualmente explícitas de ellas y estaban haciendo circular las imágenes falsas. Cinco meses después, según afirman los Mani y otras familias, el distrito ha hecho muy poco para abordar públicamente las imágenes manipuladas o actualizar las políticas escolares con el fin de impedir la utilización de la IA para fines de explotación.
“Pareciera como si la administración de Westfield High School y el distrito estuvieran participando en una clase magistral sobre cómo hacer que este incidente desaparezca en el aire”, le dijo Mani, fundadora de una escuela preescolar local, a los miembros de la junta durante la reunión.
En un comunicado, el distrito escolar declaró que inició una “investigación inmediata” al enterarse del incidente, también dijo que había notificado y consultado a la policía y que le había brindado asesoramiento grupal a la clase de décimo grado.
“Todos los distritos escolares están lidiando con los desafíos y el impacto de la inteligencia artificial y otras tecnologías que están disponibles para los estudiantes en cualquier momento y en cualquier lugar”, dijo en el comunicado Raymond González, superintendente de las Escuelas Públicas de Westfield.
Las escuelas de todo Estados Unidos, sorprendidas el año pasado por la repentina popularidad de los chatbots que funcionan con inteligencia artificial, como ChatGPT, se apresuraron a contener los robots generadores de texto en un esfuerzo por evitar que los estudiantes hicieran trampa. Ahora, un fenómeno más alarmante de generación de imágenes mediante el uso de la IA está impactando las escuelas.
Los chicos de varios estados han utilizado aplicaciones de “nudificación” ampliamente disponibles para pervertir fotografías reales e identificables de sus compañeras de clase vestidas, asistiendo a eventos como fiestas de graduación, en imágenes gráficas y convincentes de las estudiantes con senos y genitales expuestos generados por IA. En algunos casos, los estudiantes varones compartieron las imágenes falsas en el comedor de la escuela, el autobús escolar o mediante chats grupales en plataformas como Snapchat e Instagram, según informes de la escuela y la policía.
Este tipo de imágenes alteradas digitalmente —conocidas como “ultrafalsos” o “pornografía ultrafalsa” (deepfakes, deepnudes)— pueden tener consecuencias devastadoras. Los expertos en explotación sexual infantil afirman que el uso de imágenes no consensuadas generadas por IA para acosar, humillar e intimidar a mujeres jóvenes puede perjudicar su salud mental, su reputación y su seguridad física, además de plantear riesgos para sus perspectivas universitarias y profesionales. El mes pasado, el FBI advirtió que es ilegal distribuir material de abuso sexual infantil generado por computadora, incluidas imágenes de aspecto realista generadas por IA de menores identificables que participan en conductas sexualmente explícitas.
Sin embargo, el uso por parte de los estudiantes de aplicaciones de IA explotadoras en las escuelas es tan nuevo que algunos distritos parecen menos preparados para abordarlo que otros. Eso puede hacer que las medidas de protección sean precarias para los estudiantes.
En Beverly Vista Middle School, una institución localizada en Beverly Hills, California, los directivos contactaron a la policía en febrero tras enterarse de que cinco estudiantes varones habían creado y compartido imágenes explícitas de compañeras de clase generadas por IA. Dos semanas después, la junta escolar aprobó la expulsión de cinco estudiantes, según documentos del distrito. (El distrito afirmó que el código educativo de California le prohibía confirmar si los estudiantes expulsados eran los alumnos que habían fabricado las imágenes).
Michael Bregy, superintendente del Distrito Escolar Unificado de Beverly Hills, afirmó que él y otros líderes escolares querían sentar un precedente nacional de que las escuelas no deben permitir que los alumnos generen y hagan circular imágenes sexualmente explícitas de sus compañeros.
“Eso es acoso y maltrato extremo en el contexto escolar”, afirmó Bregy, señalando que las imágenes explícitas eran “perturbadoras y violatorias” para las niñas y sus familias. “Es algo que no vamos a tolerar aquí”.
Las escuelas de las comunidades pequeñas y prósperas de Beverly Hills y Westfield fueron de las primeras en reconocer públicamente los incidentes de ultrafalsos. Los detalles de los casos —descritos en las comunicaciones del distrito con los padres, reuniones de la junta escolar, audiencias legislativas y documentos judiciales— ilustran la variabilidad de las respuestas de las escuelas.
El incidente de Westfield comenzó el verano pasado cuando un estudiante de secundaria le hizo una solicitud de amistad a una compañera de clase de 15 años en Instagram que tenía una cuenta privada, según una demanda contra el chico y sus padres presentada por la joven y su familia. (La familia Mani dijo que no está involucrada en la demanda).
Tras aceptar la solicitud, el estudiante copió fotos de ella y de varias compañeras de escuela de sus cuentas de redes sociales, según documentos judiciales. Luego, utilizó una aplicación de inteligencia artificial para fabricar imágenes sexualmente explícitas y “totalmente identificables” de las estudiantes y las compartió con sus compañeros a través de un grupo de Snapchat, según documentos judiciales.
Westfield High comenzó a investigar a finales de octubre. Mientras los directivos se llevaban discretamente a algunos chicos aparte para interrogarlos, según dijo Francesca Mani, a ella y a otras niñas de décimo grado que habían sido víctimas de ultrafalsos las llamaron a la oficina de la escuela anunciando sus nombres por el intercomunicador de la escuela.
Esa semana, Mary Asfendis, directora de Westfield High, envió un correo electrónico a los padres alertándolos sobre “una situación que resultó en una desinformación generalizada”. El correo electrónico describió los ultrafalsos como un “incidente muy grave”. También dijo que, a pesar de la preocupación de los estudiantes sobre el posible intercambio de imágenes, la escuela creía que “todas las imágenes creadas han sido eliminadas y no están circulando”.
Dorota Mani contó que los directivos de Westfield le habían dicho que el distrito había suspendido al estudiante acusado de fabricar las imágenes por uno o dos días.
Poco después, ella y su hija comenzaron a hablar públicamente sobre el incidente, instando a los distritos escolares, a los legisladores estatales y al Congreso a promulgar leyes y políticas que prohíban en específico los ultrafalsos explícitos.
“Tenemos que empezar a actualizar nuestra política escolar”, dijo en una entrevista reciente Francesca Mani, que ahora tiene 15 años. “Porque si la escuela hubiera tenido políticas con respecto a la IA, estudiantes como yo habrían estado protegidas”.
Los padres, incluida Dorota Mani, también presentaron denuncias de acoso ante Westfield High el otoño pasado por las imágenes explícitas. Sin embargo, durante la reunión de marzo, Mani les dijo a los miembros de la junta escolar que la escuela todavía no había proporcionado a los padres un informe oficial sobre el incidente.
Las Escuelas Públicas de Westfield declararon que no podían comentar sobre ninguna acción disciplinaria por razones de confidencialidad de los estudiantes. En un comunicado, González, el superintendente, dijo que el distrito estaba fortaleciendo sus esfuerzos “al educar a nuestros estudiantes y establecer pautas claras para garantizar que estas nuevas tecnologías se utilicen de manera responsable”.
Las escuelas de Beverly Hills han adoptado una postura pública más firme.
Cuando los directivos se enteraron en febrero que los niños de octavo grado de Beverly Vista Middle School habían creado imágenes explícitas de compañeras de clase de 12 y 13 años, rápidamente enviaron un mensaje —con el asunto: “Deplorable uso indebido de la inteligencia artificial”— a todos los padres, personal y estudiantes del distrito. El mensaje instaba a los miembros de la comunidad a compartir información con la escuela para garantizar que el uso “perturbador e inapropiado” de la IA por parte de los estudiantes “se detenga de inmediato”.
También advirtió que el distrito estaba dispuesto a imponer castigos severos. “Cualquier estudiante que sea descubierto creando, difundiendo o en posesión de imágenes generadas por IA de esta naturaleza enfrentará acciones disciplinarias”, incluida una recomendación de expulsión, decía el mensaje.
Bregy, el superintendente, afirmó que las escuelas y los legisladores debían actuar rápidamente porque el abuso de la IA estaba causando que los estudiantes se sientan inseguros en las escuelas.
“Se oye mucho sobre la seguridad física en las escuelas”, dijo. “Pero de lo que no se oye hablar es de esta invasión a la seguridad emocional y personal de los estudiantes”.
Natasha Singer escribe sobre tecnología, negocios y sociedad. Actualmente informa sobre las formas en que las empresas tecnológicas y sus herramientas están cambiando las escuelas públicas, la educación superior y las oportunidades laborales. Más de Natasha Singer
