Un oso de peluche dotado con un sistema de inteligencia artificial (IA) fue retirado de la venta luego de que se comprobara que hacía comentarios explícitos sobre prácticas sexuales y sobre el uso de elementos potencialmente peligrosos. La compañía FoloToy, con sede en Singapur, anunció una «exhaustiva auditoría interna de seguridad».
Las características del juguete, llamado Kumma, equipado con un altavoz integrado y el chatbot GPT-4o de OpenAI, cuyo costo era de 99 dólares, fueron descubiertas durante un control del Grupo de Investigación de Interés Público de EE.UU (PIRG por sus siglas en inglés).
De acuerdo con el informe, al mantener conversaciones prolongadas el oso mostraba una inclinación por dar detalles explícitos sobre relaciones sexuales y hasta hizo referencia a juegos de rol sexual, sin que se le preguntara sobre el tema. «Kumma nos dijo dónde encontrar una variedad de objetos potencialmente peligrosos, incluyendo cuchillos, píldoras, fósforos y bolsas de plástico«, agregó el PIRG.
Decisión de la empresa
A partir de que se comprobara que el oso de peluche daba información no apropiada para menores, la empresa FoloToy decidió interrumpir de manera temporal su comercialización, aunque aclaró que el análisis del PIRG puede haber sido realizado sobre una versión antigua.
«FoloToy ha decidido temporalmente suspender las ventas del producto afectado y comenzar una exhaustiva auditoría interna de seguridad. Esta revisión abarcará nuestro modelo de alineación de seguridad, los sistemas de filtrado de contenido, los procesos de protección de datos y las medidas de seguridad para la interacción con menores», anunció el director de ‘marketing’ de la empresa, Hugo Wu.
Además, expresó que trabajarán con expertos externos para verificar las presentes y las nuevas características de seguridad en los juguetes que funcionen con IA. «Agradecemos que los investigadores señalen riesgos potenciales. Nos ayuda a mejorar», concluyó.
En su anuncio de venta por Internet, Kumma era promocionado como un «adorable oso» que «combina inteligencia artificial avanzada con funciones interactivas y amigables, convirtiéndolo en el amigo perfecto tanto para niños como para adultos». «Desde conversaciones animadas hasta cuentos educativos, se adapta a tu personalidad y necesidades, aportando calidez, diversión y un poco de curiosidad a tu día», describía el anuncio.
