Anuncio de compatibilidad con Databricks para AWS Graviton2 con una relación precio/rendimiento hasta 3 veces mejor

Anuncio de compatibilidad con Databricks para AWS Graviton2 con una relación precio/rendimiento hasta 3 veces mejor

  • Big Data
  • abril 18, 2022
  • No Comment
  • 47
  • 6 minutes read


Hoy nos complace anunciar la versión preliminar pública de la compatibilidad de Databricks con las instancias de Amazon Elastic Compute Cloud (Amazon EC2) basadas en Graviton2 de AWS. Los procesadores Graviton están especialmente diseñados y optimizados por AWS para ofrecer la mejor relación precio/rendimiento para las cargas de trabajo en la nube que se ejecutan en Amazon EC2. Cuando se usa con Photon, el potente motor de consultas de Databricks, las instancias de Amazon EC2 basadas en Graviton2 pueden admitir hasta 3x-4x mejor relación calidad-precio que las instancias comparables de Amazon EC2 para sus cargas de trabajo de Data Lakehouse. En esta publicación de blog, analizamos la relación precio/rendimiento de Photon con Graviton2 y también le brindamos consejos adicionales para reducir aún más los costos de su infraestructura de AWS.

Relación calidad-precio con Photon y Graviton2

Para determinar la relación precio/rendimiento de Photon + Graviton2, realizamos una prueba simple con dos cargas de trabajo diferentes (TPC-DS y una carga de trabajo ETL estándar con inserciones masivas e instrucciones de combinación) en una instancia R6gd EC2 basada en Graviton2 y una instancia I3 EC2 comparable. . Descubrimos que el motor Photon solo ha mejorado significativamente la relación precio/rendimiento para una instancia EC2. Pero Photon en la instancia basada en Graviton2 fue un paso más allá y entregó 3,3 veces mejor precio/rendimiento para la carga de trabajo ETL y 3,7 veces mejor precio/rendimiento para la carga de trabajo TPC-DS en comparación con el tiempo de ejecución anterior de Databricks en la instancia I3. ¡Los clientes que han probado instancias basadas en Graviton2 han informado resultados similares y comparten nuestra emoción! Esta es una cita de un cliente de Databricks que sabe todo acerca de las instancias de Graviton basadas en Arm.

“La computación en la nube está impulsando una innovación significativa en el diseño de semiconductores, y al mover nuestras cargas de trabajo de diseño a instancias basadas en AWS Graviton2 basadas en Arm, que ofrecen ganancias significativas en relación precio-rendimiento, estamos viendo de primera mano los beneficios que la plataforma Arm Neoverse N1”, dijo Mark Galbraith, vicepresidente de ingeniería de productividad, Arm. «Esto es particularmente evidente para Databricks en Graviton2, y esperamos migrar nuestro uso de producción de Databricks a Graviton2 para mejorar aún más la experiencia del usuario y reducir los costos».

Comparación de precio-rendimiento para Graviton y Photon
Comparación de precio-rendimiento para Graviton y Photon

Ahorro de costos adicional con instancias de spot de Amazon EC2 y soporte para volúmenes gp3 de Amazon EBS

Además de Graviton2 y Photon, existen otras formas de mejorar la relación precio/rendimiento de sus cargas de trabajo de Databricks en AWS. Éstos incluyen:

  • Instancias de spot de Amazon EC2 – Las instancias de spot le permiten usar capacidad EC2 gratuita y están disponibles con hasta un 90 % de descuento en comparación con los precios bajo demanda. Según la naturaleza de su carga de trabajo, es posible que pueda reemplazar las instancias EC2 reservadas o bajo demanda en su clúster de Databricks con instancias de spot y ahorrar costos.
  • Volúmenes gp3 de Amazon EBS – El almacenamiento puede representar una gran parte del costo de su infraestructura en la nube. Databricks admite volúmenes gp3. Los volúmenes SSD gp3 de Amazon Elastic Block Store (Amazon EBS) le permiten ofrecer rendimiento independientemente de la capacidad de almacenamiento y pueden ofrecer una relación precio/rendimiento por GB hasta un 20 % mejor que los volúmenes gp2 existentes.

Para obtener más información sobre las optimizaciones de precio/rendimiento, lea nuestra documentación de mejores prácticas de clúster.

Comience con Graviton2

La compatibilidad con instancias basadas en Graviton2 de AWS en versión preliminar pública se está implementando y estará disponible en todas las regiones admitidas durante las próximas semanas. Para comenzar y obtener instrucciones sobre cómo migrar a Graviton2 y Photon, lea nuestra documentación de Graviton.



Related post

El equipo Autopilot de Tesla y Cybertruck visitan Nueva Orleans para CVPR

El equipo Autopilot de Tesla y Cybertruck visitan Nueva…

El equipo de piloto automático de Tesla visitó recientemente Nueva Orleans para la Conferencia sobre visión artificial y reconocimiento de patrones…
El programa interactivo de los científicos informáticos ayuda a planificar el movimiento para entornos con obstáculos – ScienceDaily

El programa interactivo de los científicos informáticos ayuda a…

Al igual que nosotros, los robots no pueden ver a través de las paredes. A veces necesitan un poco de ayuda…
Toma lecciones en realidad virtual con Immerse, una aplicación de voz para Quest 2

Toma lecciones en realidad virtual con Immerse, una aplicación…

En el metaverso, imagínese llegando tarde a la escuela. Bucear es una plataforma educativa de metaverso desarrollada en colaboración con los…

Leave a Reply

Tu dirección de correo electrónico no será publicada.