¿Es la diversidad la clave de la colaboración?  Así lo sugiere una nueva investigación de IA |  Noticias del MIT

¿Es la diversidad la clave de la colaboración? Así lo sugiere una nueva investigación de IA | Noticias del MIT



A medida que la inteligencia artificial mejora en la realización de tareas que antes estaban únicamente en manos de humanos, como conducir automóviles, muchos ven la inteligencia de equipo como la próxima frontera. En este futuro, los humanos y la IA son verdaderos socios en trabajos exigentes, como realizar operaciones complejas o defenderse de misiles. Pero antes de que la inteligencia en equipo pueda despegar, los investigadores deben superar un problema que dificulta la colaboración: a las personas a menudo no les agradan o no confían en sus socios de IA.

Ahora, una nueva investigación sugiere que la diversidad es un parámetro clave para hacer de la IA un mejor jugador de equipo.

Investigadores del Laboratorio Lincoln del MIT descubrieron que entrenar un modelo de IA con compañeros de equipo matemáticamente «diversos» mejora su capacidad para colaborar con otras IA con las que nunca antes había trabajado en el juego de cartas Hanabi. Además, tanto Facebook como DeepMind de Google publicaron simultáneamente documentos independientes que también aportaron diversidad a la capacitación para mejorar los resultados en juegos colaborativos humanos-IA.

En general, los resultados podrían ofrecer a los investigadores un camino prometedor para desarrollar IA que pueda funcionar bien y ser vista como buenos empleados por los compañeros de equipo humanos.

«El hecho de que todos estuviéramos de acuerdo en la misma idea, que tienes que entrenar en un entorno diverso si quieres trabajar juntos, es emocionante y creo que realmente sienta las bases para el trabajo futuro en IA colaborativa», dice Ross Allen. , investigador del Grupo de Tecnología de Inteligencia Artificial del Laboratorio Lincoln y coautor de un artículo que detalla este trabajo, presentado recientemente en la Conferencia Internacional sobre Agentes Autónomos y Sistemas Multiagente.

Adaptación a diferentes comportamientos.

Para desarrollar IA cooperativa, muchos investigadores utilizan Hanabi como banco de pruebas. Hanabi desafía a los jugadores a trabajar juntos para apilar las cartas en el orden correcto, pero los jugadores solo pueden ver las cartas de sus compañeros de equipo y solo se dan pistas tenues sobre qué cartas tienen.

En un experimento anterior, los investigadores del Laboratorio Lincoln probaron uno de los modelos de IA de Hanabi más poderosos del mundo en humanos. Se sorprendieron al descubrir que a los humanos no les gustaba en absoluto jugar con este modelo de IA, llamándolo un compañero de equipo confuso e impredecible. «La conclusión fue que nos faltan un poco las preferencias humanas y aún no somos buenos para crear modelos que puedan funcionar en el mundo real», dice Allen.

El equipo se preguntó si la IA cooperativa necesita ser entrenada de manera diferente. El tipo de IA utilizado, llamado aprendizaje por refuerzo, tradicionalmente aprende cómo tener éxito en tareas complejas al descubrir qué acciones brindan la mayor recompensa. A menudo se entrena y evalúa utilizando modelos similares. Este proceso ha producido jugadores de IA inigualables en juegos competitivos como Go y StarCraft.

Pero para que AI sea un colaborador exitoso, es posible que no solo deba preocuparse por maximizar las recompensas de trabajar con otros agentes de AI, sino también por algo más fundamental: comprender y adaptarse a las fortalezas y preferencias de los demás. En otras palabras, debe aprender de la diversidad y adaptarse a ella.

¿Cómo se entrena una IA tan orientada a la diversidad? Los investigadores desarrollaron «Any-Play». Any-Play agrega otro objetivo al proceso de entrenamiento de un agente de AI Hanabi, además de maximizar la puntuación del juego: la IA debe identificar correctamente el estilo de juego de su compañero de entrenamiento.

Este estilo de juego está codificado en el compañero de entrenamiento como una variable latente u oculta que el agente debe estimar. Lo hace observando las diferencias en el comportamiento de su pareja. Este objetivo también requiere que su socio aprenda comportamientos diferentes y reconocibles para transmitir esas diferencias al agente de IA receptor.

Aunque este método de generar diversidad no es nuevo en el campo de la IA, el equipo amplió el concepto a los juegos colaborativos aprovechando estos diferentes comportamientos como diferentes estilos de juego.

“El agente de IA debe observar el comportamiento de sus socios para identificar estas entradas secretas que recibieron y debe tener en cuenta estas diferentes formas de jugar para tener un buen desempeño en el juego. La idea es que esto sería un buen agente de IA cuando se juega con diferentes estilos de juego», dice el primer autor y estudiante graduado de la Universidad Carnegie Mellon, Keane Lucas, quien dirigió los experimentos como ex pasante en el laboratorio.

Jugar con otros, a diferencia de ellos mismos.

El equipo amplió este modelo anterior de hanabi (que probaron en su experimento humano anterior) con el proceso de entrenamiento de cualquier juego. Para evaluar si el enfoque mejoró la colaboración, los investigadores compararon el modelo con «extraños» (más de otros 100 modelos de hanabi que nunca antes había visto y que fueron entrenados por algoritmos separados) en millones de juegos de dos jugadores -Partidos reunidos.

Los emparejamientos de cualquier juego superaron a todos los demás equipos cuando esos equipos también estaban formados por socios que eran algorítmicamente distintos entre sí. También se desempeñó mejor cuando se colaboró ​​con la versión original de sí mismo que no estaba entrenada con Any-Play.

Los investigadores consideran que este tipo de evaluación, llamada juego cruzado entre algoritmos, es el mejor predictor de cómo se desempeñaría la IA cooperativa en el mundo real con los humanos. El juego cruzado entre algoritmos contrasta con las evaluaciones más utilizadas, en las que un modelo se prueba con copias de sí mismo o con modelos entrenados con el mismo algoritmo.

«Argumentamos que estas otras métricas pueden ser engañosas y aumentar artificialmente el rendimiento aparente de algunos algoritmos. En cambio, queremos saber, ‘si visita a un socio de la nada sin saber primero cómo juega, qué tan bien puede trabajar’. ¿Juntos? Creemos que este tipo de evaluación es más realista cuando se evalúa la IA cooperativa con otra IA cuando no se puede probar con humanos», dice Allen.

De hecho, este trabajo no ha probado Any-Play con humanos. Sin embargo, la investigación publicada por DeepMind, publicada simultáneamente con el trabajo del laboratorio, utilizó un enfoque de entrenamiento de diversidad similar para desarrollar un agente de IA que juega el juego colaborativo Overcooked con humanos. «El agente de IA y el ser humano han mostrado una colaboración notablemente buena, y este resultado nos lleva a creer que nuestro enfoque, que creemos que es aún más general, también funcionaría bien con los humanos», dice Allen. Facebook usó de manera similar la diversidad en el entrenamiento para mejorar la colaboración entre los agentes de IA de Hanabi, pero usó un algoritmo más complicado que requería cambios en las reglas del juego de Hanabi para ser manejable.

Si las puntuaciones de juego cruzado entre algoritmos son realmente buenos indicadores de las preferencias humanas, sigue siendo una hipótesis. Para recuperar la perspectiva humana en el proceso, los investigadores quieren tratar de correlacionar los sentimientos de una persona hacia una IA, como desconfianza o confusión, con objetivos específicos utilizados para entrenar la IA. Descubrir estos vínculos podría ayudar a acelerar el progreso en este campo.

“El desafío de desarrollar IA para que funcione mejor con humanos es que no podemos mantener a los humanos sintonizados mientras entrenamos para decirle a la IA lo que les gusta y lo que no les gusta. Requeriría millones de horas y personalidades. Pero si pudiéramos encontrar algún tipo de indicador cuantificable de las preferencias humanas, y tal vez la diversidad en la educación sea uno de esos indicadores, entonces podríamos haber encontrado una manera de enfrentar este desafío”, dice Allen.

Related post

puede tesla [TSLA] ¿Alcanzar una capitalización de mercado de 2 billones de dólares para 2025?

puede tesla [TSLA] ¿Alcanzar una capitalización de mercado de…

Las acciones de Tesla se han polarizado desde la salida a bolsa inicial del fabricante de automóviles, pero después de que…
Asista a una feria de empleo de Metaverse en realidad virtual a finales de este mes

Asista a una feria de empleo de Metaverse en…

Conéctese con expertos en tecnología inmersiva en realidad virtual a través de Mozilla Hubs. ¿Está interesado en un trabajo en el…
Investigadores de Argonne: nueva forma de calcular el impacto ambiental de la producción de amoníaco

Investigadores de Argonne: nueva forma de calcular el impacto…

Los científicos evalúan cómo se puede hacer que la producción de amoníaco sea más sostenible. ¿Alguna vez te has preguntado sobre…

Leave a Reply

Tu dirección de correo electrónico no será publicada.