Noticias

Aug 14, 2023

Las IA pueden escribir chistes, pero no participan en la broma

Complete el formulario a continuación y le enviaremos por correo electrónico una versión en PDF de "Las IA pueden escribir chistes, pero no participan en la broma". Complete el formulario a continuación para desbloquear el acceso a TODOS los artículos de audio. Grandes redes neuronales, una

Complete el siguiente formulario y le enviaremos por correo electrónico una versión en PDF de "Las IA pueden escribir chistes, pero no participan en la broma".

Complete el siguiente formulario para desbloquear el acceso a TODOS los artículos de audio.

Las grandes redes neuronales, una forma de inteligencia artificial, pueden generar miles de chistes del tipo “¿Por qué la gallina cruzó la calle?” ¿Pero entienden por qué son graciosos?

Utilizando cientos de entradas del concurso de subtítulos de dibujos animados de la revista New Yorker como banco de pruebas, los investigadores desafiaron a los modelos de IA y a los humanos con tres tareas: relacionar un chiste con una caricatura; identificar un título ganador; y explicar por qué un título ganador es divertido.

En todas las tareas, los humanos se desempeñaron claramente mejor que las máquinas, incluso cuando los avances de la IA, como ChatGPT, han cerrado la brecha de rendimiento. Entonces, ¿están las máquinas empezando a “comprender” el humor? En resumen, están logrando algunos avances, pero aún no han llegado a ese punto.

Suscríbase al boletín diario de Technology Networks, que ofrece noticias científicas de última hora directamente en su bandeja de entrada todos los días.

"La forma en que las personas cuestionan la comprensión de los modelos de IA es crear pruebas para ellos: pruebas de opción múltiple u otras evaluaciones con una puntuación de precisión", dijo Jack Hessel, Ph.D. '20, científico investigador del Instituto Allen de IA (AI2). “Y si un modelo finalmente supera lo que los humanos obtienen en esta prueba, piensas: 'Está bien, ¿eso significa que realmente entiende?' Es una posición defendible decir que ninguna máquina puede realmente "comprender" porque la comprensión es algo humano. Pero, independientemente de que la máquina lo entienda o no, sigue siendo impresionante lo bien que lo hacen en estas tareas”.

Hessel es el autor principal de “¿Los androides se ríen de las ovejas eléctricas?” Puntos de referencia de 'comprensión' del humor del concurso de subtítulos del New Yorker”, que ganó el premio al mejor artículo en la 61ª reunión anual de la Asociación de Lingüística Computacional, celebrada del 9 al 14 de julio en Toronto.

Lillian Lee '93, profesora Charles Roy Davis en la Facultad de Computación y Ciencias de la Información Cornell Ann S. Bowers, y Yejin Choi, Ph.D. '10, profesor de la Escuela Paul G. Allen de Ciencias de la Computación e Ingeniería de la Universidad de Washington y director senior de investigación de inteligencia de sentido común en AI2, también son coautores del artículo.

Para su estudio, los investigadores recopilaron 14 años de concursos de subtítulos del New Yorker: más de 700 en total. Cada concurso incluyó: una caricatura sin subtítulos; las entradas de esa semana; los tres finalistas seleccionados por los editores del New Yorker; y, para algunos concursos, estimaciones de la calidad del público para cada presentación.

Para cada concurso, los investigadores probaron dos tipos de IA – “a partir de píxeles” (visión por computadora) y “a partir de descripción” (análisis de resúmenes humanos de dibujos animados) – para las tres tareas.

"Hay conjuntos de datos de fotografías de Flickr con leyendas como 'Este es mi perro'", dijo Hessel. “Lo interesante del caso del New Yorker es que las relaciones entre las imágenes y los pies de foto son indirectas, divertidas y hacen referencia a muchas entidades y normas del mundo real. Por eso, la tarea de 'comprender' la relación entre estas cosas requiere un poco más de sofisticación”.

En el experimento, la comparación requería que los modelos de IA seleccionaran el título finalista de la caricatura dada entre los "distractores" que eran finalistas pero de otros concursos; la clasificación de calidad requería modelos para diferenciar un título finalista de uno no finalista; y la explicación requirió modelos para generar texto libre que dijera cómo se relaciona un título de alta calidad con la caricatura.

Hessel escribió él mismo la mayoría de las explicaciones generadas por humanos, después de que la tarea mediante crowdsourcing resultó insatisfactoria. Generó explicaciones de 60 palabras para más de 650 caricaturas.

"Un número como 650 no parece muy grande en un contexto de aprendizaje automático, donde a menudo tienes miles o millones de puntos de datos", dijo Hessel, "hasta que empiezas a escribirlos".

Este estudio reveló una brecha significativa entre la “comprensión” a nivel humano y de IA de por qué una caricatura es divertida. El mejor rendimiento de la IA en una prueba de opción múltiple para hacer coincidir la caricatura con el título fue de solo un 62% de precisión, muy por detrás del 94% de los humanos en el mismo entorno. Y cuando se trataba de comparar explicaciones generadas por humanos versus explicaciones generadas por IA, se prefirieron las de los humanos aproximadamente 2 a 1.

Si bien es posible que la IA aún no pueda "comprender" el humor, escribieron los autores, podría ser una herramienta colaborativa que los humoristas podrían utilizar para generar ideas.

Otros contribuyentes incluyen a Ana Marasovic, profesora asistente de la Escuela de Computación de la Universidad de Utah; Jena D. Hwang, científica investigadora de AI2; Jeff Da, asistente de investigación de la Universidad de Washington Rowan Zellers, investigador de OpenAI; y el humorista Robert Mankoff, presidente de Cartoon Collections y editor de dibujos animados del New Yorker desde hace mucho tiempo.

Los autores escribieron este artículo en el espíritu del tema, con comentarios divertidos y notas a pie de página.

"Estos tres o cuatro años de investigación no siempre fueron muy divertidos", dijo Lee, "pero algo que intentamos hacer en nuestro trabajo, o al menos en nuestros escritos, es fomentar un mayor espíritu de diversión".

Referencia: Jack Hessel, Ana Marasovic, Jena D. Hwang, Lillian Lee, Jeff Da, Rowan Zellers, Robert Mankoff y Yejin Choi. ¿Se ríen los androides de las ovejas eléctricas? Puntos de referencia de "comprensión" del humor del concurso de subtítulos del New Yorker. Proc conf Assoc Comput Linguist (Volumen 1: Artículos extensos), 2023. páginas 688–714. doi:

Este artículo se ha vuelto a publicar a partir de los siguientes materiales. Nota: es posible que el material haya sido editado en cuanto a extensión y contenido. Para obtener más información, póngase en contacto con la fuente citada.