Replanteamiento de Human-in-the-Loop para la inteligencia artificial aumentada: el blog de investigación de inteligencia artificial de Berkeley

Replanteamiento de Human-in-the-Loop para la inteligencia artificial aumentada: el blog de investigación de inteligencia artificial de Berkeley





Figura 1: En las aplicaciones del mundo real, creemos que existe un ciclo humano-máquina donde los humanos y las máquinas se complementan entre sí. Lo llamamos Inteligencia Artificial Aumentada.

¿Cómo construimos y evaluamos un sistema de IA para aplicaciones reales? En la mayoría de las investigaciones de IA, la evaluación de los métodos de IA implica un proceso de entrenamiento, validación y prueba. Los experimentos generalmente finalizan cuando los modelos muestran un buen rendimiento de prueba para los conjuntos de datos informados, ya que se supone que los datos de validación y prueba modelan la distribución de datos del mundo real. Sin embargo, las aplicaciones del mundo real suelen ser más complicadas que un solo proceso de capacitación, validación y prueba. La mayor diferencia son los datos que cambian constantemente. Por ejemplo, la composición de clases de los registros de vida silvestre cambia constantemente debido a la invasión, reintroducción, recolonización y movimientos estacionales de animales. Un modelo que ha sido entrenado, validado y probado en conjuntos de datos existentes puede corromperse fácilmente cuando los datos recién recopilados contienen nuevas especies. Afortunadamente, contamos con métodos de detección de no distribución que pueden ayudarnos a identificar muestras de nuevas especies. Sin embargo, si queremos aumentar la capacidad de detección (es decir, ser capaces de detectar nuevas especies en el futuro), lo mejor que podemos hacer es refinar los modelos con nuevas anotaciones reales. En otras palabras, necesitamos incluir anotaciones/esfuerzo humano independientemente de cómo se desempeñen los modelos en conjuntos de pruebas anteriores.

Cuando las anotaciones humanas son inevitables, los sistemas de reconocimiento del mundo real se convierten en un bucle sin fin Recopilación de datos → Anotación → Ajuste fino del modelo (Figura 2). Como resultado, realizar un solo paso de evaluación del modelo no representa la generalización real de todo el sistema de reconocimiento, ya que el modelo se actualiza con nuevas anotaciones de datos y se realiza una nueva ronda de evaluación. Con ese ciclo en mente, pensamos que en lugar de construir un modelo con mejor rendimiento de la pruebaconcentrarse en cuanto esfuerzo humano se puede ahorrar es un objetivo más general y práctico en aplicaciones reales.



Figura 2: en el ciclo de recopilación de datos, anotación y actualización del modelo, el objetivo de la optimización es minimizar la necesidad de anotación humana, en lugar de aumentar el rendimiento del reconocimiento en un solo paso.

En el artículo que publicamos en Nature-Machine Intelligence el año pasado [1], discutimos la incorporación de humanos en el circuito en la detección de vida silvestre y sugerimos investigar la eficiencia del esfuerzo humano en las actualizaciones del modelo en lugar de simplemente probar el rendimiento. Para demostrarlo, diseñamos un marco de reconocimiento que era una combinación de aprendizaje activo, aprendizaje semisupervisado y human-in-the-loop (Figura 3). También construimos un componente de tiempo en este marco para indicar que los modelos de reconocimiento no terminan en un solo paso de tiempo. En términos generales, en el marco, en cada paso de tiempo a medida que se recopilan nuevos datos, un modelo de reconocimiento selecciona activamente qué datos deben anotarse en función de una métrica de confianza de predicción. Las predicciones de baja confianza se envían para las anotaciones humanas y las predicciones de alta confianza se confían en las tareas posteriores o las pseudoetiquetas para las actualizaciones del modelo.



Figura 3: aquí presentamos un marco de reconocimiento iterativo que puede maximizar la utilidad de los métodos modernos de reconocimiento de imágenes y minimizar la dependencia de las anotaciones manuales para la actualización del modelo.

Con respecto a la eficiencia de la anotación humana para las actualizaciones del modelo, dividimos la evaluación en 1) el porcentaje de predicciones con alta confianza en la validación (es decir, esfuerzo humano ahorrado en la anotación); 2) la precisión de las predicciones de alta confianza (es decir, confiabilidad); y 3) el porcentaje de categorías nuevas reconocidas como predicciones de baja confianza (es decir, sensibilidad a la novedad). Con estas tres métricas, ajuste el marco para minimizar el esfuerzo humano (es decir, maximizar el porcentaje de confianza alto) y maximizar el rendimiento de actualización del modelo y la precisión de confianza alta.

Informamos sobre un experimento de dos etapas utilizando un conjunto de datos de trampas de cámara de senderos a gran escala recopilados en el Parque Nacional de Mozambique con fines de demostración. El primer paso fue un paso de inicialización para inicializar un modelo con solo una parte del conjunto de datos. En el segundo paso, se aplicó un nuevo conjunto de datos con clases conocidas y novedosas al modelo inicializado. Siguiendo el marco, el modelo hizo predicciones para el nuevo conjunto de datos con confianza, con predicciones de alta confianza como pseudoetiquetas y predicciones de baja confianza con anotaciones humanas. Luego, el modelo se actualizó con pseudoetiquetas y anotaciones y estuvo listo para los pasos de tiempo futuros. Como resultado, el porcentaje de predicciones de alta confianza en la validación del segundo paso fue del 72,2 %, la precisión de las predicciones de alta confianza fue del 90,2 % y el porcentaje de clases nuevas reconocidas como de baja confianza fue del 82,6 %. En otras palabras, nuestro marco ahorró el 72 % del esfuerzo humano al anotar todos los datos del segundo paso. Siempre que el modelo fuera seguro, el 90 % de las predicciones eran correctas. Además, el 82 % de las nuevas muestras se detectaron con éxito. Los detalles sobre el marco y los experimentos se pueden encontrar en el documento original.

Si observa detenidamente la Figura 3, puede ver junto a la Adquisición de datos – anotación humana – actualización del modelo bucle, hay otro hombre máquina bucle oculto en el marco (Figura 1). Este es un ciclo en el que tanto los humanos como las máquinas se mejoran constantemente entre sí a través de actualizaciones de modelos e intervención humana. Por ejemplo, cuando los modelos de IA no pueden reconocer nuevas clases, la intervención humana puede proporcionar información para ampliar la capacidad de reconocimiento del modelo. Por otro lado, a medida que los modelos de IA se generalizan cada vez más, la necesidad de esfuerzo humano disminuye. En otras palabras, el uso del esfuerzo humano se vuelve más eficiente.

Además, el marco human-in-the-loop basado en la confianza que proponemos no se limita a detectar nuevas clases, sino que también puede ayudar con problemas como la distribución de cola larga y las discrepancias en múltiples dominios. Mientras los modelos de IA se sientan menos seguros, la intervención humana ayudará a mejorar el modelo. Del mismo modo, el esfuerzo humano se ahorra siempre que los modelos de IA se sientan seguros y, a veces, incluso se pueden corregir los errores humanos (Figura 4). En este caso, la relación entre el hombre y la máquina se vuelve sinérgica. Esto cambia el objetivo del desarrollo de IA de reemplazar la inteligencia humana a complementar la inteligencia humana y la de las máquinas. Llamamos a este tipo de IA: Inteligencia Artificial Aumentada (A2YO).

Desde que comenzamos a trabajar en inteligencia artificial, nos hemos estado preguntando: ¿para qué estamos construyendo IA? Inicialmente, creíamos que, idealmente, la IA debería reemplazar por completo el esfuerzo humano en tareas simples y tediosas, como el reconocimiento de imágenes y la conducción en áreas extensas. Así que llevamos mucho tiempo empujando nuestros modelos hacia una idea llamada «rendimiento a escala humana». Sin embargo, este objetivo de reemplazar el esfuerzo humano construye inherentemente una oposición o una relación mutuamente excluyente entre el hombre y la máquina. En las aplicaciones del mundo real, el rendimiento de los métodos de IA solo está limitado por muchos factores que influyen, como la distribución de cola larga, las discrepancias de múltiples dominios, el ruido de etiquetas, el monitoreo débil, la detección fuera de distribución, etc. La mayoría de estos problemas pueden aliviarse de alguna manera mediante una intervención humana razonable. El marco que proponemos es solo un ejemplo de cómo estos problemas separados se pueden combinar en problemas de predicción de alta y baja confianza y cómo se puede inyectar el esfuerzo humano en el sistema general de IA. Creemos que no es hacer trampa ni caer en problemas difíciles. Es una forma de desarrollo de IA más centrada en el ser humano que se enfoca en cuánto esfuerzo humano se ahorra, en lugar de cuántas imágenes de prueba puede reconocer un modelo. Antes de la realización de la Inteligencia General Artificial (AGI), creemos que vale la pena cambiar la dirección de las interacciones máquina-humano y A2Estoy para que la IA pueda tener más impacto en varias áreas prácticas.



Figura 4: Ejemplos de predicciones de alta confianza que no coincidían con las anotaciones originales. Muchas predicciones de alta confianza marcadas como incorrectas según las etiquetas de validación (proporcionadas por estudiantes y científicos ciudadanos) fueron en realidad correctas luego de un examen más detallado por parte de expertos en vida silvestre.

Agradecimientos: Nos gustaría agradecer a todos los coautores del artículo Identificación iterativa humana y automatizada de imágenes de vida silvestre por sus contribuciones y discusiones en la preparación de este blog. Los puntos de vista y opiniones expresados ​​en este blog pertenecen únicamente a los autores de este documento.

Esta publicación de blog se basa en el siguiente artículo publicado por Nature – Machine Intelligence:
[1] Miao, Zhongqi, Ziwei Liu, Kaitlyn M Gaynor, Meredith S Palmer, Stella X Yu y Wayne M Getz. «Identificación iterativa humana y automatizada de imágenes de vida silvestre». Nature Machine Intelligence 3, No. 10 (2021): 885-895. (Enlace a la preimpresión)

Related post

Fecha de lanzamiento de Ruinsmagus confirmada para la próxima semana

Fecha de lanzamiento de Ruinsmagus confirmada para la próxima…

El próximo rastreador de mazmorras de realidad virtual Ruinsmagus finalmente tiene una fecha de lanzamiento. La gran experiencia RPG se lanza…
El equipo Autopilot de Tesla y Cybertruck visitan Nueva Orleans para CVPR

El equipo Autopilot de Tesla y Cybertruck visitan Nueva…

El equipo de piloto automático de Tesla visitó recientemente Nueva Orleans para la Conferencia sobre visión artificial y reconocimiento de patrones…
El programa interactivo de los científicos informáticos ayuda a planificar el movimiento para entornos con obstáculos – ScienceDaily

El programa interactivo de los científicos informáticos ayuda a…

Al igual que nosotros, los robots no pueden ver a través de las paredes. A veces necesitan un poco de ayuda…

Leave a Reply

Tu dirección de correo electrónico no será publicada.