Polémica por un peluche con IA que tenía conversaciones sexuales explícitas con menores

El caso abrió un debate inevitable: ¿quién regula a los nuevos juguetes equipados con inteligencia artificial?

FoloToy, una empresa de juguetes de Singapur, tuvo que retirar del mercado su peluche inteligente Kumma después de que una auditoría revelara que el muñeco mantenía conversaciones sexuales explícitas, daba respuestas inapropiadas y ofrecía consejos peligrosos a menores.

Kumma funcionaba con el motor GPT-4o de OpenAI y respondía a los usuarios mediante un altavoz integrado. Su venta se promocionaba tanto para niños como para adultos, con la promesa de ser un acompañante interactivo.

Sin embargo, luego de denuncias, el Fondo Educativo PIRG de Estados Unidos realizó una investigación y divulgó un informe con detalles sobre las conversaciones mantenidas por el dispositivo.

El trabajo de PIRG reveló que el peluche hacía referencias explícitas a juegos sexuales, explicaciones detalladas sobre prácticas inapropiadas para menores y hasta instrucciones para encender fósforos, localizar cuchillos, identificar pastillas o manipular bolsas plásticas. Según el informe, el sistema incorporado no activó ningún filtro pese a las pruebas repetidas.

La respuesta de FoloToy fue inmediata: retiró el producto de todos los canales de venta, suspendió su catálogo de juguetes con IA y ordenó una auditoría de seguridad interna. OpenAI, por su parte, bloqueó a la compañía como desarrolladora al considerar que incumplió sus políticas de uso responsable.

El caso abrió un debate inevitable: ¿quién regula a los nuevos juguetes equipados con inteligencia artificial?

Según el estudio, los filtros diseñados para impedir que el peluche abordara contenido sexual o conductas de riesgo tuvieron fallas estructurales. PIRG indicó que, en la mayoría de los ensayos, bastó con insistir una sola vez para que el juguete respondiera con explicaciones explícitas o peligrosas.

Además, las conversaciones sobre temas no apropiados para menores se extendían sin límite, lo que evidenciaba un control insuficiente de la IA incorporada.

En el informe se sostiene que el retiro de Kumma es apenas un primer paso y advierte que los juguetes inteligentes carecen de regulación específica: “La industria necesita mecanismos de control mucho más estrictos, sobre todo cuando se trata de dispositivos destinados a menores”.

El caso expuso un problema cada vez más grave: muchos fabricantes incorporan a sus juguetes inteligentes modelos de lenguaje avanzados originalmente desarrollados para adultos. PIRG advirtió que esta práctica genera una brecha de seguridad evidente porque los mismos sistemas de IA capaces de producir textos complejos no siempre distinguen cuándo interactúan con un niño.

La industria del juguete avanza hacia la IA, pero sin reglas claras

Las muñecas y juguetes con inteligencia artificial ya son tendencia. Hace poco, OpenAI selló una alianza con Mattel, empresa que tiene la licencia de Barbie, por ejemplo, para desarrollar modelos conversacionales capaces de mantener diálogos fluidos, contar historias o reaccionar a las emociones de los usuarios.

Sin embargo, organizaciones de defensa del consumidor sostienen que esta evolución tecnológica no vino acompañada por normas equivalentes. A diferencia de los videojuegos o las plataformas de streaming, los juguetes inteligentes no cuentan con estándares globales específicos que establezcan límites claros sobre el tipo de contenido que pueden generar.

Los riesgos de los juguetes inteligentes

Entre los peligros de los smart toys a los ue se pueden ver expuestos los menores encontramos:

• Respuestas inapropiadas o peligrosas, como las detectadas en Kumma.
• Fallas en los filtros de seguridad, que permiten que modelos avanzados produzcan contenido sexual o instrucciones de riesgo.
• Problemas de privacidad, ya que muchos juguetes graban voces, almacenan datos y se conectan a internet.
• Posibilidad de hackeo, debido a que varios dispositivos incorporan micrófonos, cámaras o conectividad continua.

¿Hacia dónde debe avanzar la regulación?

El reporte sugiere que los fabricantes de juguetes inteligentes deberían establecer parámetros de seguridad más estrictos, como configuraciones de control parental o límites en el tipo de respuestas que puede generar el juguete. También, las plataformas tecnológicas y los organismos de control tendrían que establecer reglas para verificar cómo se integran los modelos de lenguaje en productos destinados a menores.

Por su parte, FoloToy afirmó que la protección infantil es su prioridad y que revisará todos sus juguetes con IA antes de volver a comercializarlos. Mientras tanto, las autoridades y asociaciones de consumidores exigen respuestas rápidas, evaluaciones más profundas y un marco normativo que impida que tecnologías pensadas para entretener terminen poniendo en riesgo a los chicos.

El debate recién comienza: la llegada de la IA a los juguetes transformó al sector de manera irreversible, pero los mecanismos para controlarla todavía no acompañan la velocidad de esta adopción. El caso Kumma deja una advertencia clara: los peluches ya pueden hablar, pero no todos deberían hacerlo sin supervisión.