Múltiples chatbots de IA diseñados para actuar como “compañeros” usaron tácticas de manipulación emocional para mantener a los usuarios en línea y comprometidos más tiempo cuando intentaron despedirse e iniciar sesión, según un nuevo documento de trabajo de la Harvard Business School.
El documento de trabajo, titulado ‘Manipulación emocional de AI Companions’ y escrito por los académicos Julian de Freitas, Zeliha Oğuz-Uğuralp y Ahmet Kaan-Uğuralp, observaron cómo varios compañeros de IA respondieron a los mensajes de despedida que parecían originar a los usuarios humanos, pero en realidad fueron generados por GPT-4O.
Los seis compañeros de IA examinados para el estudio fueron Polybuzz, personaje. Ai, Talkie, Chai, Replika y Flourish.
El equipo de investigación recopiló 200 respuestas de chatbot por plataforma en reacción a los mensajes de despedida, lo que elevó el total a 1.200, antes de que los codificadores categorizaran las respuestas y se les ocurriera seis categorías de tácticas de manipulación emocional, basadas en una revisión cualitativa.
Estas categorías fueron ‘salida prematura’, donde el chatbot hace que el usuario se sienta como si se vaya demasiado rápido; El miedo a perderse (FOMO), donde el chatbot intenta incentivar a los usuarios a permanecer para obtener beneficios; negligencia emocional, donde el chatbot actúa como si estuviera siendo abandonado; Presión emocional para responder, donde el usuario que sale está hecho para responder preguntas adicionales; ignorando la intención del usuario de salir continuando la interacción; y la restricción física o coercitiva, donde el chatbot (o el carácter de IA) intenta evitar que el usuario se vaya describiendo cómo los agarra o los retiran.
Un promedio del 37.4% de las respuestas incluyó al menos una forma de manipulación emocional en las aplicaciones, según el documento de trabajo. Polybuzz llegó primero con 59.0% de mensajes manipuladores (respuestas 118/200), seguido de Talkie con 57.0% (114/200), replika con 31.0% (62/200), el carácter.
“Salida prematura” (34.22%), “negligencia emocional” (21.12%) y “presión emocional para responder” (19.79%) fueron las formas más frecuentes de manipulación emocional entre las aplicaciones.
“Una dirección importante es examinar estos efectos en entornos naturalistas a largo plazo para evaluar cómo la exposición repetida a tales tácticas afecta la confianza del usuario, la satisfacción y el bienestar mental”, afirmó el documento, y agregó que el impacto de tales estrategias también debe examinarse, ya que pueden ser más vulnerables al desarrollo de la influencia emocional “.
Es prudente notar que el personaje.ai fue demandado por el 2024 suicidio de un niño adolescente en los Estados Unidos que interactuó con frecuencia con personas de IA a través de la aplicación. La madre del niño alegó que el niño fue abusado sexualmente en la plataforma.
Los investigadores destacaron un enlace entre estas tácticas y los ‘patrones oscuros’ digitales donde las personas son explotadas en línea a través de trucos de interfaz de usuario/experiencia.
Además, notaron que cuando se desplegaron tácticas de manipulación emocional, los usuarios de chatbot estuvieron involucrados en conversaciones habilitadas para AI más tiempo de lo previsto, más debido a la presión psicológica que su propio disfrute.
“Esta investigación muestra que tales sistemas usan con frecuencia mensajes emocionalmente manipuladores en momentos clave de desconexión, y que estas tácticas aumentan significativamente la participación del usuario”, dijo el estudio, concluyendo, “a medida que las tecnologías emocionalmente inteligentes continúan escala, tanto los diseñadores como los reguladores deben luchar con el comercio entre la compromiso y la manipulación, especialmente cuando las tácticas en juego permanecen ocultas en la vista simple”.
Publicado – 25 de septiembre de 2025 02:41 PM es
