El desarrollador de plataformas de datos e inteligencia artificial ahora está comercializando su nuevo software Zerobus Ingest como una alternativa al software heredado basado en mensajes para el movimiento de datos en tiempo real y casi en tiempo real.
Databricks aumenta la capacidad de la plataforma de datos e inteligencia artificial para procesar rápidamente la transmisión de datos; esta es una capacidad crítica debido a la creciente ola de flujos de datos. inteligencia artificial Las aplicaciones y agentes implementados están aumentando la demanda de ingesta de datos casi en tiempo real.
Esta semana, Databricks anunció la disponibilidad general de Zerobus Ingest, un servicio sin servidor totalmente administrado que transmite datos directamente a un lago de datos desde fuentes de datos como sistemas de producción operativa, aplicaciones de comercio financiero o telemetría desde herramientas de ciberseguridad y dispositivos de IoT.
ladrillos de datos Comercializa Zerobus Ingest, parte de las capacidades de Lakeflow Connect dentro de la plataforma Databricks Data Intelligence, como una alternativa a tecnologías como la plataforma de transmisión de eventos de datos Apache Kafka.
[Related: Databricks Reports $5.4 Billion Revenue Run Rate As It Closes A $7B Investment Round]
“Comenzamos a notar que nuestros clientes estaban creando cada vez más casos de uso de datos en tiempo real”, dijo Bilal Aslam, director senior de gestión de productos de Databricks. CRN. Pero muchos están combinando arquitecturas de TI “súper complejas” utilizando software como Kafka o Apache Flink, afirmó.
Aslam estima que entre el 30 y el 40 por ciento de los clientes de Databricks utilizan aplicaciones de transmisión de datos en tiempo real o casi en tiempo real.
Databricks dijo que Zerobus Ingest puede lograr una latencia inferior a cinco segundos al tiempo que admite miles de clientes simultáneos y entrega hasta 100 MB/s de datos por conexión para un rendimiento total de más de 10 GB/s a una única tabla Delta dentro de un lago de datos. (Las tablas delta son el formato de tabla de datos de Delta Lake, un marco de almacenamiento de datos de código abierto para sistemas de data lakehouse desarrollado por Databricks).
Además de ofrecer un mayor rendimiento de procesamiento de datos y una menor latencia, Databricks dice que Zerobus Ingest reduce el costo y la complejidad y ofrece mejoras al eliminar la necesidad de buses de mensajería como Kafka. seguridad de datos Reduciendo o eliminando el tiempo que los datos en tránsito permanecen fuera de los sistemas centralizados de gobierno de datos.
Aslam dijo que Zerobus Ingest está diseñado para aprovechar las capacidades de gobernanza de datos de Databricks Unity Catalog, que proporciona gestión de datos unificada en la plataforma Databricks.
“Esto se construye desde cero como una arquitectura moderna sin servidor”, dijo Zerobus sobre Ingest, comparándolo con sistemas heredados basados en mensajes como Kafka que “no fueron diseñados teniendo en mente la computación sin servidor” y, por lo tanto, requerían mucha infraestructura de soporte y gestión práctica de datos.
Perspectiva del socio
Databricks trabaja con socios integradores de sistemas y proveedores de soluciones y Aslam dijo que Zerobus Ingest les ofrece una variedad de propuestas de valor y oportunidades; El más obvio es el tiempo de obtención de valor más rápido para implementar sistemas basados en Databricks para aplicaciones analíticas en tiempo real y casi en tiempo real.
“Este es un desarrollo que lleva minutos u horas, no semanas o meses”, dijo.
El nuevo producto también crea oportunidades para que los socios propongan proyectos de modernización relacionados con la ciberseguridad heredada y los sistemas de IoT para sus clientes.
“Ahora los socios pueden recibir grandes volúmenes de telemetría de sensores sin tener que construir mucha infraestructura de borde. Eso es algo enorme”, afirmó Aslam. “Estamos viendo un crecimiento en la ciberseguridad, por lo que al transmitir eventos y registros de seguridad a la casa del lago se pueden realizar detección de anomalías, consultas en tiempo real y detección de amenazas”.
“Creo que esto abre una puerta bastante grande [sales] embudo para socios”, dijo.
