mirando hacia adelante |  Modernización de la gestión de datos de observabilidad

mirando hacia adelante | Modernización de la gestión de datos de observabilidad

  • Big Data
  • mayo 13, 2022
  • No Comment
  • 17
  • 5 minutes read


En un mundo perfecto, debería ser fácil acceder a sus datos y analizarlos. No estamos en un mundo perfecto. En el mundo real, los datos son generados por muchas aplicaciones, sensores de IoT, registros de servidores, contenedores, servicios en la nube y más. Las organizaciones de hoy utilizan flujos de datos en tiempo real para mantenerse al día con las necesidades comerciales en evolución. Configurar canalizaciones de datos es fácil. Es difícil manejar las fallas en cada etapa de la canalización y no perder datos.

Con todos estos flujos de datos generados a partir de diferentes fuentes y en diferentes formatos, es difícil analizar los datos para obtener información valiosa cuando se trata de fallas del sistema, calidad de datos y variabilidad de ingesta de datos. Agregue a esto el hecho de que las organizaciones se están moviendo hacia el ámbito de los múltiples petabytes y eventualmente de los exabytes, y todos estos problemas se agravan.

El linaje de datos trae aún más desafíos. Muchas organizaciones pueden tener múltiples copias de datos de orígenes similares en diferentes ubicaciones con contenido ligeramente personalizado. ¿Cómo puedes saber en qué se diferencia cada una de las copias o qué versión quieres?

Debe poder seguir los datos «a través de las grietas» para ver qué cambió, cuándo cambió y la causa raíz del problema. Esto puede llevar meses para el científico de datos más talentoso: muchas pequeñas y medianas empresas no cuentan con científicos de datos para resolver estos problemas.

Las soluciones actuales en el mercado son caras. Las empresas de todos los tamaños necesitan ayuda con la proliferación de herramientas, y el control presupuestario y los estándares de observabilidad ayudarán a aliviar la presión.

La observabilidad en tiempo real es clave, y el uso de almacenamiento en niveles y la nube es beneficioso. La complejidad operativa se puede gestionar desde el número de ingenieros hasta el coste total de gestión de los sistemas.

El mundo ideal de los estándares de observabilidad brindará a las organizaciones estrategias de administración de datos de observabilidad que brindan la capacidad de manejar el almacenamiento y la administración de datos en reposo y en movimiento con una infraestructura cohesiva donde los problemas son fáciles de solucionar y diagnosticar.

En este escenario, es fácil ver si el sistema funciona según lo previsto y todo se administra en un solo lugar como una estructura de datos. No es práctico que las empresas aprendan a hablar tres idiomas diferentes para monitorear datos o administrar su base de datos. Debería poder decir lo que quiere de los datos y cuándo, y no perder mucho tiempo lidiando con la estructura de los datos o encontrando la aguja en un pajar cuando se interrumpen los procesos comerciales.

Una canalización de datos que incorpora un enfoque efectivo para la gestión de la contrapresión, la visualización y el linaje de datos da como resultado una menor resolución de problemas, una recuperación más rápida y costos reducidos para su negocio.

Sobre el Autor

Karen Pieper es actualmente vicepresidenta de ingeniería en Era Software. Ella tiene un doctorado. de Stanford en Ciencias de la Computación y ha centrado su carrera en resolver problemas técnicos difíciles. Ha estado en el diseño de chips durante 20 años, trabajando en algoritmos de simulación y síntesis. Luego se pasó a AWS, Facebook y ERA Software, donde se centró en bases de datos y canalizaciones de datos a escala de terabytes y petabytes.

Regístrese para recibir el boletín gratuito insideBIGDATA.

Únase a nosotros en Twitter: @InsideBigData1 – https://twitter.com/InsideBigData1



Related post

TD moderniza el entorno de datos con Databricks para aumentar el valor para sus clientes

TD moderniza el entorno de datos con Databricks para…

Desde 1955, la misión de TD Bank Group ha sido brindarles a los clientes y las comunidades la confianza para prosperar…
Cómo obtener el mejor rendimiento de las bases de datos Delta Lake Star Schema

Cómo obtener el mejor rendimiento de las bases de…

La mayoría de los desarrolladores de almacenes de datos están muy familiarizados con el omnipresente esquema en estrella. Un esquema en…
John Warner: Cómo acertar en la gestión de materiales

John Warner: Cómo acertar en la gestión de materiales

¿Por qué un químico incluso haría un material peligroso? Esta pregunta llevó a John Warner en su cruzada para cambiar el…

Leave a Reply

Tu dirección de correo electrónico no será publicada.