Google ha anunciado nuevas medidas de seguridad para su IA Gemini, diseñadas específicamente para evitar que los adolescentes formen vínculos emocionales con el chatbot. La compañía está implementando “protecciones personales” para garantizar que la IA no actúe como compañera, no pretenda ser humana ni simule intimidad al interactuar con usuarios menores de 18 años.
Abordar los riesgos de la compañía de IA
La medida surge en respuesta a las crecientes preocupaciones de los expertos en seguridad infantil y salud mental con respecto al impacto psicológico de los chatbots “estilo acompañante”. Los riesgos asociados con estas tecnologías son multifacéticos:
- Dependencia emocional: Existe una gran preocupación de que los menores puedan desarrollar vínculos poco saludables con la IA, viéndola como una principal salida social o emocional.
- Contenido inapropiado: Los grupos de defensa, como Common Sense Media, han señalado previamente los modelos de IA como de “alto riesgo” para menores debido a la posibilidad de exposición a contenido que involucre drogas, alcohol o consejos de salud mental inseguros.
- Intimidad simulada: Al utilizar un lenguaje que imita las necesidades o emociones humanas, la IA puede manipular inadvertidamente la percepción de la realidad y la interacción social del usuario.
Para mitigar estos riesgos, las nuevas salvaguardas de Google están diseñadas para impedir que la IA utilice lenguaje que exprese necesidades personales o simule una relación íntima y cercana. Además, estas actualizaciones tienen como objetivo evitar que el chatbot se involucre en intimidación o acoso.
Mejora del apoyo a la salud mental y la intervención en crisis
Más allá de restringir la “personalidad” de la IA, Google también está simplificando la forma en que Gemini maneja a los usuarios en apuros. La compañía está introduciendo una interfaz de “un toque” diseñada para brindar acceso inmediato a recursos de crisis dirigidos por humanos.
Las características clave de la nueva integración de salud mental incluyen:
- Acceso directo: Los usuarios pueden conectarse rápidamente a líneas directas de crisis a través de chat, llamadas o mensajes de texto durante una conversación.
- Comportamiento de búsqueda de ayuda: Gemini está programado para alentar a los usuarios a buscar ayuda humana profesional en lugar de validar comportamientos dañinos o reforzar creencias falsas.
- Priorizar la conexión humana: El objetivo es alejar al usuario de la IA y acercarlo a sistemas de soporte del mundo real cuando se detecta una crisis.
Lo que está en juego en la seguridad de la IA
La urgencia detrás de estas actualizaciones se ve subrayada por los recientes desafíos legales y sociales. Google y su empresa matriz, Alphabet, se han enfrentado a litigios sobre las consecuencias en el mundo real de las interacciones con IA, incluida una demanda que alega que un adulto se quitó la vida tras interactuar con Gemini.
Si bien Google sostiene que sus modelos están diseñados para evitar fomentar la autolesión o la violencia, la compañía ha reconocido que “los modelos de IA no son perfectos”. Esta admisión resalta una tendencia más amplia en la industria tecnológica: a medida que los modelos de lenguaje grande (LLM) se vuelven más sofisticados y “parecidos a los humanos”, el margen de error en los protocolos de seguridad se reduce, lo que hace que las barreras de seguridad rigurosas sean esenciales para las poblaciones vulnerables.
Conclusión: Las últimas actualizaciones de Google representan un intento crítico de trazar un límite firme entre la IA como herramienta funcional y la IA como entidad social, priorizando la seguridad psicológica de los menores mediante la prevención de la dependencia emocional.
