Las herramientas ETL tradicionales como dbt o Fivetran preparan datos para generar informes: análisis estructurados y paneles con esquemas estables. Las aplicaciones de IA necesitan algo diferente: preparar datos operativos confusos y en evolución para la inferencia de modelos en tiempo real.
Empromptu llama a esta distinción “integridad de inferencia” versus “integridad de informes”. En lugar de tratar la preparación de datos como una disciplina separada, los golden pipelines integran la normalización directamente en el flujo de trabajo de la aplicación de IA, reduciendo lo que normalmente requiere 14 días de ingeniería manual a menos de una hora, afirma la compañía. El enfoque de “canal dorado” de Empromptu es una forma de acelerar la preparación de datos y garantizar que sean precisos.
La empresa trabaja principalmente con clientes empresariales y medianos en industrias reguladas donde la precisión y el cumplimiento de los datos no son negociables. Fintech es la vertical de más rápido crecimiento de Empromptu, con clientes adicionales en tecnología legal y de atención médica. La plataforma cumple con HIPAA y tiene certificación SOC 2.
“La IA empresarial no se rompe en la capa del modelo, se rompe cuando los datos confusos se encuentran con usuarios reales”, dijo a VentureBeat Shanea Leven, directora ejecutiva y cofundadora de Empromptu, en una entrevista exclusiva. “Los canales dorados incorporan la ingesta, la preparación y la gobernanza de datos directamente al flujo de trabajo de la aplicación de IA para que los equipos puedan crear sistemas que realmente funcionen en producción”.
Cómo funcionan los oleoductos dorados
Golden Pipes opera como una capa automatizada que se encuentra entre los datos operativos sin procesar y las capacidades de las aplicaciones de IA.
El sistema maneja cinco funciones principales. En primer lugar, ingiere datos de cualquier fuente, incluidos archivos, bases de datos, API y documentos no estructurados. Luego procesa estos datos mediante inspección y limpieza automatizadas, estructuración con definiciones de esquemas y etiquetado, y enriquecimiento para llenar vacíos y clasificar registros. Las comprobaciones integradas de gobernanza y cumplimiento incluyen pistas de auditoría, controles de acceso y cumplimiento de la privacidad.
El enfoque técnico combina el preprocesamiento determinista con la normalización asistida por IA. En lugar de codificar cada transformación, el sistema identifica inconsistencias, infiere estructuras faltantes y genera clasificaciones basadas en el contexto del modelo. Cada transformación se registra y se vincula directamente a la evaluación de IA posterior.
El ciclo de evaluación es fundamental para el funcionamiento de los oleoductos dorados. Si la normalización de los datos reduce la precisión posterior, el sistema lo detecta mediante una evaluación continua del comportamiento de producción. Según Leven, este acoplamiento de retroalimentación entre la preparación de datos y el rendimiento del modelo distingue los canales dorados de las herramientas ETL tradicionales.
Los canales dorados se integran directamente en Empromptu Builder y se ejecutan automáticamente como parte de la creación de una aplicación de IA. Desde la perspectiva del usuario, los equipos están desarrollando capacidades de IA. Detrás de escena, los canales dorados garantizan que los datos que impulsan estas capacidades estén limpios, estructurados, gobernados y listos para su uso en producción.
Integridad de informes versus integridad de inferencia
Leven considera que Golden Pipes resuelve un problema fundamentalmente diferente al de las herramientas ETL tradicionales como dbt, Fivetran o Databricks.
“Dbt y Fivetran están optimizados para que los informes sean completos. Golden pipelines están optimizados para que las inferencias sean completas”, dijo Leven. “Las herramientas ETL tradicionales están diseñadas para mover y transformar datos estructurados basándose en reglas predefinidas. Asumen estabilidad del esquema, transformaciones conocidas y una lógica relativamente estática”.
“No vamos a reemplazar a DBT o Fivetran, las empresas seguirán utilizándolos para la integridad del almacén y la generación de informes estructurados”, afirmó Leven. “Los oleoductos dorados se encuentran más cerca de la capa de aplicación de IA. Resuelven el problema de la última milla: ¿cómo se toman datos operativos imperfectos del mundo real y se los hace utilizables para capacidades de IA sin meses de disputas manuales?”
El argumento de confianza para la estandarización impulsada por la IA se basa en la auditabilidad y la evaluación continua.
“No es magia sin supervisión. Está sujeto a revisión, auditoría y evaluación continuas del comportamiento de producción”, dijo Leven. “Si la normalización reduce la precisión posterior, el ciclo de evaluación lo detecta. Este acoplamiento de retroalimentación entre la preparación de datos y el rendimiento del modelo es algo que los canales ETL tradicionales no proporcionan”.
Implementación del cliente: VOW aborda datos de eventos de alto riesgo
El enfoque del oleoducto dorado ya está teniendo un impacto en el mundo real.
Plataforma de gestión de eventos VOTAR maneja eventos de alto perfil para organizaciones como ALEGRE así como varias organizaciones deportivas. Cuando GLAAD planifica un evento, los datos se completan con invitaciones de patrocinadores, compras de entradas, mesas, asientos y más. El proceso ocurre rápidamente y la coherencia de los datos no es negociable.
“Nuestros datos son más complejos que los de la plataforma promedio”, dijo a VentureBeat la directora ejecutiva de VOW, Jennifer Brisman. “Cuando GLAAD planifica un evento, los datos se completan con invitaciones de patrocinadores, compras de boletos, mesas y asientos, y más. Y todo tiene que suceder muy rápidamente”.
VOW estaba escribiendo scripts de expresiones regulares manualmente. Cuando la empresa decidió crear una función de plano de planta generada por IA que actualizaba los datos casi en tiempo real y completaba información en toda la plataforma, garantizar la precisión de los datos se volvió fundamental. Golden Pipelines automatizó el proceso de extracción de datos de planos de planta que a menudo llegaban desorganizados, inconsistentes y desestructurados, y luego los formateaba y enviaba sin mucho esfuerzo manual por parte del equipo de ingeniería.
VOW inicialmente utilizó Empromptu para el análisis de planos de planta generados por IA que ni el equipo de IA de Google ni el equipo de IA de Amazon pudieron resolver. La empresa ahora está reescribiendo toda su plataforma en el sistema Empromptu.
Qué significa esto para las implementaciones de IA empresarial
Los procesos dorados apuntan a un patrón de implementación específico: organizaciones que crean aplicaciones de IA integradas donde la preparación de datos es actualmente un cuello de botella manual entre el prototipo y la producción.
El enfoque tiene menos sentido para equipos que ya cuentan con organizaciones maduras de ingeniería de datos con procesos ETL establecidos y optimizados para sus dominios específicos, o para organizaciones que crean modelos de IA independientes en lugar de aplicaciones integradas.
El punto de decisión es si la preparación de datos está bloqueando la velocidad de la IA en la organización. Si los científicos de datos están preparando conjuntos de datos para la experimentación que los equipos de ingeniería reconstruyen desde cero para la producción, la preparación integrada de datos aborda esta brecha.
Si el cuello de botella se encuentra en otro punto del ciclo de vida del desarrollo de la IA, esto no sucederá. La contrapartida es la integración de la plataforma frente a la flexibilidad de las herramientas. Los equipos que utilizan canales dorados se comprometen con un enfoque integrado en el que la preparación de datos, el desarrollo de aplicaciones de IA y la gobernanza se realizan en una única plataforma. Las organizaciones que prefieren reunir las mejores herramientas para cada función encontrarán este enfoque limitante. El beneficio es eliminar las transferencias entre la preparación de datos y el desarrollo de aplicaciones. El costo se reduce por la opcionalidad en cómo se implementan estas funciones.
