Cada día, millones de estudiantes recurren a chatbots de IA en busca de ayuda con las tareas escolares, apoyo emocional y consejos personales, a menudo sin saber dónde terminan sus conversaciones y otra información personal.
Cómo se utilizan esos datos (y el papel de las escuelas en su protección) es una preocupación creciente para los educadores, padres y niños a medida que la inteligencia artificial se convierte en una parte omnipresente de la jornada escolar, integrada en muchas de las herramientas del aula que los estudiantes deben utilizar.
Cuando comenzó el año escolar, los dos distritos escolares más grandes del país, la ciudad de Nueva York y Los Ángeles, anunciaron que frenarían el uso de la IA por parte de los estudiantes durante un año, mientras estudian la mejor manera de incorporar la tecnología en la educación.
En respuesta a una creciente reacción contra la IA y el tiempo de pantalla, Microsoft anunció la semana pasada que había acordado adoptar barreras de seguridad y estándares de privacidad para su IA en las escuelas, tal como se negoció con la Federación Estadounidense de Maestros, el segundo sindicato de maestros más grande del país.
Las disposiciones de seguridad del acuerdo son significativas, pero los estándares sólo serán efectivos si todas las empresas de inteligencia artificial, especialmente los gigantes tecnológicos, lo firman, dijo Josh Golin, director ejecutivo de la organización sin fines de lucro de seguridad en línea Fairplay. Dijo que el acuerdo evita la cuestión de si los productos de IA deben siquiera estar en las aulas o a qué edad deberían introducirse.
«Me preocupa que un marco de alto perfil como este sea mal entendido y las escuelas piensen: ‘Si están haciendo un buen trabajo en materia de privacidad y seguridad de los datos, entonces eso significa que deberíamos usar la herramienta'», dijo Golin.
La AFT dijo que el acuerdo, que es legalmente vinculante y requiere auditorías de terceros para su cumplimiento, podría establecer un estándar en la industria. Otras dos empresas líderes en inteligencia artificial, OpenAI y Anthropic, dijeron que también estaban discutiendo pactos de seguridad y privacidad con la AFT. Pero Google, el proveedor dominante de tecnología educativa para las escuelas de Estados Unidos, no ha dicho si planea ofrecer protecciones similares.
Como parte del acuerdo de amplio alcance, Microsoft dice que no utilizará datos de estudiantes o educadores para entrenar sistemas de inteligencia artificial, aparte de una excepción limitada para datos que podrían ayudar a proteger a los estudiantes. Dice que los datos que recopila no se pueden vender, utilizar para publicidad ni para el desarrollo de productos.
El acuerdo prohíbe cualquier uso de acompañantes o funciones de IA «diseñados para fomentar el apego emocional o la dependencia» y mantener a los estudiantes interesados durante más tiempo del que requiere una tarea de aprendizaje. También incluye una serie de medidas de auditoría y transparencia que exigen que la empresa revele a las familias, en un lenguaje sencillo, cómo funcionan sus herramientas.
«Este estándar establece un alto nivel para la privacidad infantil y la seguridad de la IA, y extenderemos este acuerdo a todos los distritos escolares del país», dijo Brad Smith, vicepresidente y presidente de Microsoft, en un comunicado. Los estándares se aplicarán a todas las escuelas con las que Microsoft tenga contratos a partir del 1 de noviembre, dijo.
El presidente de la AFT, Randi Weingarten, calificó el acuerdo como “el primero de su tipo” y un paso importante para establecer un estándar de la industria en ausencia de legislación federal y estatal sobre IA en las escuelas.
«Queremos que los padres tengan el control de la educación de sus hijos. Queremos que los educadores tengan el control de la educación de los niños, no la tecnología educativa. Y de eso se trata este acuerdo», dijo Weingarten.
Habló en una conferencia de prensa conjunta con Smith en la sede de la Federación Unida de Maestros, la filial de la AFT en la ciudad de Nueva York. La sede alberga la Academia Nacional de Instrucción de IA para profesores de la AFT, que se lanzó hace un año con el respaldo de 23 millones de dólares de Microsoft, OpenAI y Anthropic.
Además de su moratoria de un año sobre la IA, los sistemas escolares de la ciudad de Nueva York y Los Ángeles planean auditorías exhaustivas de sus contratos de tecnología educativa y herramientas de IA, centrándose en la privacidad de los datos, la transparencia y la rendición de cuentas. La prohibición en la ciudad de Nueva York se aplica a todos los estudiantes de primaria y secundaria, mientras que en Los Ángeles se extiende hasta la escuela secundaria.
Weingarten dijo que se comunicó directamente con Google para informarles sobre el acuerdo antes de hacerlo público, con la esperanza de que la empresa se convirtiera en signataria.
La compañía no respondió a una solicitud de comentarios de The Associated Press sobre si planea ofrecer protecciones similares.
«¿Google adoptará este marco? Esa es una gran pregunta», dijo Golin, jefe de una organización sin fines de lucro de seguridad en línea. Señaló que las escuelas también utilizan miles de productos de tecnología educativa impulsados por IA producidos por empresas más pequeñas.
Google se encontró en el centro de la controversia sobre la IA en las escuelas cuando anunció en agosto que había activado su chatbot Gemini para muchos estudiantes K-12 que usaban Google Classroom, su sistema de gestión del aprendizaje. La compañía dice que Google Classroom es utilizado por 150 millones de profesores y estudiantes en todo el mundo.
Los críticos denunciaron la medida de Google como una escalada de la carrera entre gigantes tecnológicos para incursionar en las escuelas y ganarse a la próxima generación de usuarios de IA. La incorporación de IA a Classroom solo afecta a las escuelas que permiten a los estudiantes acceder a su aplicación Gemini o Gemini Notebook, pero marca un cambio importante. Hasta agosto, Google solo había permitido que Gemini estuviera activado para estudiantes mayores de 18 años.
Weingarten dijo que también está en conversaciones con OpenAI y Anthropic, quienes elogiaron públicamente el acuerdo.
OpenAI, el creador de ChatGPT, lo calificó como un «hito importante para la seguridad y privacidad de la IA en las escuelas». La empresa ha estado trabajando con AFT, dijo en un comunicado, «y esperamos finalizar nuestro propio acuerdo».
Anthropic, el fabricante de Claude, dijo en un comunicado: «Aplaudimos todos los esfuerzos para impulsar el uso responsable de la IA en la educación». La compañía dijo que estaba trabajando con la AFT para dar forma a «un estándar de oro para la seguridad y la privacidad».
Los expertos en privacidad de datos dicen que los nuevos estándares podrían ayudar a dar forma a la conversación que las escuelas tienen con los proveedores de IA, ya sea que una escuela sea cliente de Microsoft o no.
«Lo que tengo esperanza es que esto elimine parte de la presión sobre los distritos escolares individuales para negociar con las grandes empresas tecnológicas», dijo Elizabeth Laird, directora del Centro para la Democracia y la Tecnología. Hasta ahora, el poder de negociación de las escuelas para garantizar la protección de la privacidad de las empresas tecnológicas a menudo dependía de su influencia financiera. «Creo que este estándar avanza hacia la eliminación de ese tipo de desigualdad en los distritos escolares».
Laird elogió el acuerdo por ir “más allá” de lo que se exige legalmente a los proveedores que trabajan con las escuelas. Por ejemplo, Microsoft se ha comprometido a no utilizar datos confidenciales que muchas empresas aprovechan, como información sobre género, raza, edad o código postal que pueden usarse para identificar a una persona incluso si se elimina su nombre.
Pero hasta que otros firmen, dijo Laird, el acuerdo pone de relieve lo difícil que es establecer estándares de IA en ausencia de legislación. También enfatiza que la carga de proteger la privacidad de los estudiantes debería recaer en las empresas de tecnología, no en los padres, los estudiantes o las escuelas.
Smith, de Microsoft, señaló que las empresas tecnológicas han tardado en aceptarlo.
«Todos sabemos que hay discusiones y debates importantes en todo el país sobre cuándo se debe usar la IA en las escuelas, cómo se debe usar y con qué propósito», dijo Smith. «Es nuestro papel, incluso nuestra responsabilidad, garantizar que la IA se proporcione en una forma en la que los profesores, los niños y los padres puedan confiar».
_____
La cobertura educativa de Associated Press recibe apoyo financiero de múltiples fundaciones privadas. AP es el único responsable de todo el contenido. Encuentre los estándares de AP para trabajar con organizaciones filantrópicas, una lista de partidarios y áreas de cobertura financiadas en AP.org.
Suscríbete y recibe las historias más importantes del día.
Al suscribirte aceptas nuestros términos y condiciones y política de privacidad.
