Acelerar el aprendizaje automático – ScienceDaily

Acelerar el aprendizaje automático – ScienceDaily


El aprendizaje automático ocurre de manera similar a la erosión.

Los datos se arrojan sobre un modelo matemático como granos de arena que se deslizan por un paisaje rocoso. Algunos de estos granos simplemente navegan con poco o ningún efecto. Pero algunos de ellos dejan marcas: prueban, endurecen y, finalmente, dan forma al paisaje de acuerdo con los patrones inherentes y las fluctuaciones que surgen con el tiempo.

¿Eficaz? Sí. ¿Eficiente? No tanto.

Rick Blum, profesor de ingeniería eléctrica e informática Robert W. Wieseman en la Universidad de Lehigh, está intentando hacer que las técnicas de aprendizaje distribuido, que están demostrando ser críticas para la inteligencia artificial (IA) moderna y el aprendizaje automático (ML), sean más eficientes. Esencialmente, su objetivo es arrojar muchos menos granos de datos sin sacrificar el efecto general.

En el artículo «Aprendizaje distribuido con diferencias de gradiente dispersas», publicado en una edición especial centrada en ML de la Revista IEEE de temas seleccionados en procesamiento de señales, Blum y colaboradores proponen usar el método Gradient Descent with Sparsification and Error Correction, o GD-SEC, para mejorar la eficiencia de comunicación del aprendizaje automático realizado en una arquitectura de trabajador-servidor inalámbrico. El número fue publicado el 17 de mayo de 2022.

«Los problemas de optimización distribuida surgen en varios escenarios que generalmente dependen de la comunicación inalámbrica», dice. «Latencia, escalabilidad y privacidad son desafíos fundamentales».

«Se han desarrollado varios algoritmos de optimización distribuida para resolver este problema», continúa, «y un método principal es implementar GD clásico en una arquitectura de servidor de trabajo». En este entorno, el servidor central actualiza los parámetros del modelo, después de agrega los datos recibidos de todos los trabajadores y luego envía los parámetros actualizados a los trabajadores, pero el rendimiento general está limitado por el hecho de que cada trabajador debe enviar todo sus datos todo todo el tiempo. Cuando se entrena una red neuronal profunda, esto puede ser del orden de 200 MB de cada implemento en cada iteración. Este paso de comunicación puede convertirse fácilmente en un cuello de botella importante para el rendimiento general, especialmente en el aprendizaje federado y los sistemas de IA perimetral”.

Al usar GD-SEC, explica Blum, el esfuerzo de comunicación se reduce significativamente. La técnica utiliza un enfoque de compresión de datos en el que cada trabajador pone a cero pequeños componentes de gradiente, el equivalente al procesamiento de señales para evitar que las pequeñas cosas suden. Luego, el trabajador transfiere solo los componentes restantes distintos de cero al servidor. En otras palabras, los datos significativos y utilizables son el único paquete que se envía al modelo.

«Los métodos actuales crean una situación en la que cada trabajador tiene costos computacionales elevados; GD-SEC es relativamente económico cuando solo se necesita un paso de GD en cada ronda», dice Blum.

Los colaboradores del profesor Blum en este proyecto incluyen al ex alumno Yicheng Chen ’19G ’21PhD, ahora ingeniero de software en LinkedIn; Martin Takác, profesor asociado de la Universidad de Inteligencia Artificial Mohamed bin Zayed; y Brian M. Sadler, miembro vitalicio del IEEE, científico jefe del ejército de EE. UU. para sistemas inteligentes y miembro del laboratorio de investigación del ejército.

fuente de la historia:

Materiales proporcionados por Universidad de Lehigh. Nota: El contenido se puede editar por estilo y longitud.

Related post

El programa interactivo de los científicos informáticos ayuda a planificar el movimiento para entornos con obstáculos – ScienceDaily

El programa interactivo de los científicos informáticos ayuda a…

Al igual que nosotros, los robots no pueden ver a través de las paredes. A veces necesitan un poco de ayuda…
¿Cuál es el uso de las estructuras de datos para el aprendizaje automático?

¿Cuál es el uso de las estructuras de datos…

Introducción La estructura de datos es la forma de organizar los datos para recuperarlos con el mínimo costo y uso de…
El aprendizaje automático se encuentra con los dedos, las manos y los codos para mejorar la terapia robótica

El aprendizaje automático se encuentra con los dedos, las…

25 de junio de 2022 (Noticias de Nanowerk) Los accidentes cerebrovasculares y las lesiones de la médula espinal dejan a millones…

Leave a Reply

Tu dirección de correo electrónico no será publicada.