Robots que pueden aprender a navegar con seguridad en los almacenes

Robots que pueden aprender a navegar con seguridad en los almacenes


23 de abril de 2022

(Noticias de Nanowerk) Los robots han estado trabajando en las fábricas durante muchos años. Pero dadas las tareas complejas y variadas que realizan, así como las preocupaciones de seguridad involucradas, la mayoría de ellos trabajan en jaulas o detrás de vidrios de seguridad para limitar o prevenir la interacción humana.

En los almacenes donde las mercancías se clasifican y mueven continuamente, los robots no pueden bloquearse ni utilizarse de forma estacionaria. Y aunque las grandes empresas como Amazon ya han integrado robots en sus almacenes, son sistemas altamente personalizados y costosos, donde los robots están diseñados para operar dentro de una instalación determinada en cuadrículas predefinidas o rutas bien definidas bajo la guía de un trabajo de programación centralizado específico. que dirige cuidadosamente su actividad.

“Para que los robots sean más útiles en un almacén, deben ser lo suficientemente inteligentes como para implementarse fácil y rápidamente en cualquier instalación. ser capaz de practicar la navegación en nuevos entornos dinámicos; y lo que es más importante, poder trabajar de manera segura con humanos, así como con flotas considerables de otros robots», dijo Ding Zhao, investigador principal y profesor asistente de ingeniería mecánica. Se abre en una ventana nueva.

En la Universidad Carnegie Mellon, un equipo de ingenieros e informáticos utilizó su experiencia en fabricación avanzada, robótica e inteligencia artificial para crear los robots de almacén del futuro.

La colaboración se originó en el Manufacturing Future’s Institute (MFI) de la universidad, que financia dicha investigación con subvenciones de la Fundación Richard King Mellon. La fundación otorgó una subvención principal de $ 20 millones en 2016 y puso a disposición $ 30 millones adicionales en mayo de 2021 para apoyar la investigación y el desarrollo de fabricación avanzada en MFI.

Zhao y Martial Hebert Opens in a new window, decano de la Facultad de Informática y profesor del Instituto de Robótica, lideran el proyecto de robot de almacén. Examinaron varias técnicas de aprendizaje por refuerzo que mostraron mejoras medibles con respecto a métodos anteriores en experimentos de planificación de movimiento simulado. El software utilizado en su robot de prueba también se ha desempeñado bien en los experimentos de planificación de rutas en Mill 19, el espacio de trabajo colaborativo de MFI para la fabricación avanzada.

«Gracias a los avances en chips, sensores y algoritmos avanzados de inteligencia artificial, estamos a punto de revolucionar los robots de fabricación», dijo Zhao. El equipo aprovecha el trabajo previo en automóviles autónomos para desarrollar robots de almacén que pueden aprender a planificar rutas multitarea a través de un aprendizaje reforzado seguro y capacitar a los robots para que se adapten rápidamente a nuevos entornos y trabajen de manera segura con trabajadores y vehículos operados por humanos.

MAPPER: Robots que pueden aprender a planificar sus propios caminos

El grupo primero desarrolló un método (Conferencia internacional IEEE/RSJ 2020 sobre robots y sistemas inteligentes, «MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments»), que podría permitir que los robots aprendan continuamente a planificar rutas en grandes entornos dinámicos. Ese Planificación de ruta multiagente con refuerzo evolutivo El método de aprendizaje (MAPPER) permitirá a los robots autoexplorarse y aprender a través de prueba y error, de forma similar a cómo los bebés humanos adquieren más experiencia con el tiempo para lidiar con diferentes situaciones.

El proceso descentralizado elimina la necesidad de programar los robots desde una poderosa computadora maestra central. En cambio, los robots toman decisiones independientes basadas en sus propias observaciones locales. Las capacidades parcialmente observables de los robots permitirán que sus sensores a bordo observen obstáculos dinámicos dentro de un rango de 10 a 30 metros. Pero con un mayor aprendizaje, los robots se entrenarán de forma continua, si no indefinida, sobre cómo lidiar con obstáculos dinámicos desconocidos. Grupo de personas afuera mirando un robot En noviembre de 2021, Ding Zhao y sus estudiantes demostraron las capacidades de su robot de almacén a los senadores de Pensilvania Ryan Aument, Joe Pittman y Pat Stefano, y a los representantes Josh Kail y Natalie Mihalek, quienes estaban de gira por la Facultad de Ingeniería Carnegie Mellon. (Imagen: Universidad Carnegie Mellon)

Dichos robots inteligentes pueden permitir que los almacenes implementen grandes flotas de robots de manera más fácil y rápida. Dado que el cálculo se realiza utilizando los recursos integrados de cada robot, la complejidad del cálculo aumentará ligeramente a medida que aumente la cantidad de robots, lo que facilitará la adición, eliminación o sustitución de robots.

El consumo de energía también podría reducirse en distancias más cortas porque los robots aprenden de forma independiente a planificar sus propios caminos eficientes. Y la actitud «descentralizada y parcialmente observable» reducirá la comunicación y la energía computacional en comparación con los métodos centralizados clásicos.

RCE: Robots que priorizan la seguridad mientras persiguen un objetivo programado

Otro estudio exitoso («Aprendizaje por refuerzo basado en modelos restringidos con método de entropía cruzada robusta») aplicó el uso de un aprendizaje por refuerzo basado en modelos restringidos con método de entropía cruzada robusta (RCE).

Los investigadores deben considerar explícitamente las restricciones de seguridad para un robot aprendido para que no sacrifique la seguridad para completar las tareas. Por ejemplo, el robot debe evitar colisionar con otros robots, dañar bienes o interferir con dispositivos para alcanzar su objetivo.

“Aunque los métodos de aprendizaje por refuerzo han logrado un gran éxito en aplicaciones virtuales como los juegos de computadora, todavía hay una serie de dificultades para aplicarlos a aplicaciones robóticas en el mundo real. Entre ellos, la seguridad es lo primero”, dijo Zhao.

La creación de tales restricciones de seguridad, respetadas en todo momento y bajo todas las condiciones, va más allá de las metodologías de aprendizaje por refuerzo tradicionales hacia el área cada vez más importante del aprendizaje por refuerzo seguro que es esencial para el despliegue de tales nuevas tecnologías. Dos estudiantes en un trabajo de laboratorio con un brazo robótico Mengdi Xu, un doctorado de tercer año. Estudiante del laboratorio de inteligencia artificial segura de CMU, trabaja con un robot de manipulación de fabricación inteligente. (Imagen: Universidad Carnegie Mellon)

El equipo evaluó su nueva metodología RCE en Safety Gym, un conjunto de entornos virtuales y herramientas para medir el progreso hacia agentes de aprendizaje de refuerzo que tienen en cuenta las restricciones de seguridad durante el entrenamiento. Los resultados mostraron que su enfoque permitió que el robot aprendiera a realizar sus tareas con un número mucho menor de violaciones de restricciones que las líneas de base de la técnica anterior. Además, pudieron lograr una mejor eficiencia de la muestra en varios órdenes de magnitud en comparación con los enfoques de RL sin modelo restringido.

CASRL: Robots que pueden aprender a adaptarse a las condiciones actuales

Para investigar más a fondo cómo los robots pueden navegar de forma segura en entornos de almacén típicos donde los humanos y otros robots deambulan libremente, o lo que los investigadores denominan perturbaciones no estacionarias, el grupo empleó el uso de un Aprendizaje de refuerzo seguro consciente del contexto (CASRL), un marco de metaaprendizaje en el que los robots pueden aprender a adaptarse de forma segura a las perturbaciones transitorias que se producen (Conferencia internacional IEEE 2021 sobre robótica y automatización«Aprendizaje de refuerzo seguro sensible al contexto para entornos no estacionarios»).

Además de los trabajadores u otros robots que se mueven por un almacén, el método CARSL también permitiría que los robots aprendan a navegar de manera segura en otras situaciones que involucren lecturas de sensores inexactas, partes rotas del robot u obstáculos como basura u otros obstáculos en el área. incluir . El equipo también aplica CARSL a la manipulación de herramientas y la interacción humana, que se puede aplicar directamente al ensamblaje en el taller.

“Las perturbaciones transitorias están en todas partes en las aplicaciones del mundo real y ofrecen infinitas variaciones de escenarios. Un robot inteligente debería poder generalizar a casos no vistos en lugar de simplemente recordar los ejemplos proporcionados por humanos. Este es uno de los mayores desafíos para la IA confiable”, dijo Zuxin Liu, Ph.D. de tercer año. Estudiante en Safe AI Lab en CMU, apoyado por el premio MFI.

Zhao explica que el robot debe aprender a determinar si las pautas de planificación previamente entrenadas siguen siendo apropiadas para la situación actual. El robot actualiza las pautas en función de las últimas observaciones locales en forma de capacitación en línea, por lo que puede adaptarse fácilmente a nuevas situaciones con interferencias invisibles, al tiempo que garantiza la seguridad con una alta probabilidad. A partir de la recopilación de datos de los últimos minutos/segundos, el robot puede inferir y modelar automáticamente las posibles interrupciones en función de los datos y actualizar la guía de planificación.

El equipo de Zhao amplía el método con aprendizaje forzado agnóstico de tareas en línea, que puede aprender continuamente a resolver tareas invisibles con aprendizaje de refuerzo en línea, que no solo puede adaptarse a tareas invisibles pero similares, sino también identificar y resolver tareas diferentes.

En cada uno de los estudios anteriores, los nuevos modelos y métodos mejoraron las formas anteriores de entrenar robots para moverse con seguridad y eficacia en entornos nuevos y cambiantes. Tales pasos incrementales exitosos son esenciales para lograr el objetivo final de confiabilidad verificable requerida para mejores robots de almacén.

El equipo continuará trabajando para proporcionar logística de fabricación y manipulación de montaje. Zhao también trabajará en un nuevo proyecto financiado por una IMF para generar gemelos/metaversos digitales críticos para la seguridad, que serán una herramienta crucial en el desarrollo seguro y eficiente de robots de fabricación inteligentes confiables.

«El futuro de la fabricación de próxima generación es ahora», dijo Zhao.



Related post

Hacia la optimización universal de hiperparámetros con transformadores

Hacia la optimización universal de hiperparámetros con transformadores

Publicado por Yutian Chen, científico investigador, DeepMind, y Xingyou (Richard) Song, científico investigador, Google Research, Brain Team Uno de los aspectos…
Los investigadores están desarrollando tintas de nanotecnología para la bioelectrónica portátil imprimible en 3D

Los investigadores están desarrollando tintas de nanotecnología para la…

18 de agosto de 2022 (Noticias de Nanowerk) La electrónica flexible ha permitido el diseño de sensores, actuadores, microfluidos y electrónica…
Visualización de estructuras a nanoescala en tiempo real (con video)

Visualización de estructuras a nanoescala en tiempo real (con…

18 de agosto de 2022 (Noticias de Nanowerk) Los diseñadores de chips de computadora, científicos de materiales, biólogos y otros científicos…

Leave a Reply

Tu dirección de correo electrónico no será publicada.