Los comediantes que dependen de juegos de palabras inteligentes y escritores de titulares ingeniosos pueden estar un poco más tranquilos, al menos por ahora, sugiere una investigación de IA.
Expertos de universidades del Reino Unido e Italia han estado investigando si los modelos de lenguaje grandes (LLM) entienden los juegos de palabras, y han descubierto que son insuficientes.
el equipo de Universidad de Cardiffen el sur de Gales y Universidad Ca’Foscari de Venecia Llegó a la conclusión de que los LLM podían identificar la estructura de un juego de palabras, pero en realidad no entendían el chiste.
Un ejemplo que probaron fue: “Yo era comediante, pero mi vida se convirtió en una broma”. Si lo reemplazara con: “Yo era comediante, pero mi vida se volvió caótica”, los LLM aún tenderían a notar la presencia de un juego de palabras.
También lo intentaron: “Los cuentos de hadas largos son propensos a los dragones”. Si reemplazaban “dragón” con el sinónimo “prolongar” o incluso una palabra aleatoria, los LLM parecían creer que había un juego de palabras ahí.
Prof. José Camacho Colladosde la Facultad de Informática y Ciencias de la Computación de la Universidad de Cardiff, dijo que la investigación sugería que la comprensión del humor de los estudiantes de maestría en Derecho era débil.
“En general, los LLM tienden a memorizar lo que aprenden en su formación. Como tal, captan bien los juegos de palabras existentes, pero eso no significa que realmente los comprendan”, dijo.
“Pudimos engañar constantemente a los LLM modificando los juegos de palabras existentes, eliminando el doble significado que constituía el juego de palabras original. En estos casos, los modelos asocian estas frases con juegos de palabras anteriores y proponen todo tipo de razones por las que son un juego de palabras. Al final, descubrimos que su comprensión de los juegos de palabras es una ilusión”.
El equipo concluyó que cuando se enfrentan a juegos de palabras desconocidos, la tasa de éxito de los LLM para distinguir los juegos de palabras de las frases que no lo son podría caer al 20%.
Otro juego de palabras probado fue: “Los viejos LLM nunca mueren, simplemente pierden atención”. Cuando la atención se centró en “ukelele”, LLM todavía lo percibió como un juego de palabras, ya que “ukelele” sonaba un poco como “tú-matas-LLM”.
después de la promoción del boletín
El equipo quedó sorprendido por la creatividad, pero LLM aún no entendió el chiste.
Los investigadores dijeron que el trabajo subraya por qué las personas deben tener cuidado al utilizar LLM para aplicaciones que requieren comprensión del humor, la empatía o los matices culturales.
Su investigación se presentó a principios de este mes en la Conferencia 2025 sobre métodos empíricos en el procesamiento del lenguaje natural en Suzhou, China. Se detalla en un artículo titulado Juego de palabras involuntario: LLM y la ilusión de la comprensión del humor.
