ETL y ELT

La diferencia entre ETL y ELT depende de dónde se transforman los datos y cuántos datos se retienen en almacenes de datos operativos. En VAILOS analizamos cada proyecto para definir la mejor estrategia de sincronización y transformación de datos.

Ambos enfoques son viables, porque tanto el proceso ETL como el ELT son metodologías contrastadas de producción de business intelligence a partir de datos en bruto.

No obstante, como sucede con prácticamente todo lo tecnológico, la cloud está cambiando la forma en la que las empresas abordan los retos.

La evolución del ELT

El ELT lleva tiempo en funcionamiento, pero cobró un interés renovado con herramientas como Apache Hadoop, un framework para distribuir y procesar grandes cargas de trabajo en pocos o muchos millares de nodos de trabajo para el procesamiento en paralelo. Una tarea ingente como la transformación de petabytes de datos en bruto se repartió en pequeñas tareas, procesadas remotamente, que se devuelven para la carga en la base de datos.

Pero las evoluciones en materia de potencia de procesamiento, especialmente la agrupación en clústeres virtual, han aportado a los recursos de servidores locales un aumento de potencia exponencial, reduciendo la necesidad de dividir las tareas. Las tareas de big data que solían distribuirse por toda la cloud, procesarse y devolverse ahora pueden gestionarse en un único lugar.

Cómo funciona un proceso ELT

A diferencia del ETL, el proceso de Extraer/Cargar/Transformar recaba información a partir de un número ilimitado de fuentes, la carga en una ubicación de procesamiento y la transforma en business intelligence que resulte explotable.

  • Extracción: la extracción, funciona de forma parecida en ambos enfoques de gestión de datos. Flujos de datos en bruto procedentes de infraestructuras virtuales, software y aplicaciones se ingieren o bien en su totalidad o bien conforme a unas reglas predefinidas.
  • Carga: aquí es donde el ELT y ETL toman caminos separados, diferenciándose porque el ETL entrega la carga en su conjunto y al punto donde acabarán residiendo. Esto acorta el ciclo entre la extracción y la entrega, pero exige mucho más trabajo previo hasta poder sacar partido a los datos.
  • Transformación: la base de datos o el almacén de datos clasifica y normaliza los datos, conserva una parte o la totalidad a mano y accesible para elaborar informes personalizados.

En conclusión ¿los procesos ELT son la opción adecuada? Dependiendo de la arquitectura de red y el presupuesto existente, sin embargo, cuando la velocidad de ingesta manda, cuando más información implica mejor información y sobre todo siendo conscientes que tendremos que redimensionar probablemente la respuesta sea afirmativa.

Ventajas del uso de un proceso en cloud

  • Cloud trae consigo un abanico de capacidades que muchos profesionales del sector consideran que, con el tiempo, volverán obsoletos los centros de datos locales. Cloud supera los obstáculos naturales del ELT ofreciendo:
  • Escalabilidad: las funcionalidades ELT en centros de datos in situ más antiguos podrían sobrecargar rápidamente la potencia de procesamiento y almacenamiento local.
  • Una infraestructura cloud virtual y los servicios alojados como una plataforma de integración de integración como servicio y un software como servicio (SaaS), sin duda aportan a las organizaciones la capacidad de ampliar recursos sobre la marcha.
  • Integración (prácticamente) sin fisuras: como el ELT cloud interactúa directamente con otros servicios y dispositivos en toda una plataforma cloud, las tareas que anteriormente eran complejas, como el mapeo de datos continuo, se simplifican radicalmente.
  • Código abierto: las mejores soluciones de ELT sacan partido a la potencia de las plataformas cloud dinámicas de código abierto, que operan de forma colectiva para promover mejoras, seguridad y cumplimiento normativo en toda la empresa.
  • Menor coste de la propiedad: cuando el estándar era el ETL, ampliar capacidades exigía ampliar también los costes, con grandes inversiones en hardware.

Como la mayoría de los servicios cloud, el ELT cloud es de pago por uso. Esto significa que los costes de computación y almacenamiento aumentarán al procesar grandes tareas de ETL, pero se reducirán prácticamente a cero cuando el entorno opere bajo una presión mínima.

Soluciones a los retos más habituales del ELT

  • Para ejecutar correctamente cualquier tarea, las organizaciones deben disponer de las herramientas y la competencia adecuadas., Desgraciadamente existen varios escollos habituales que pueden poner en peligro cualquier arquitectura de ELT.
  • Lagunas de seguridad: el traslado de petabytes de datos y su puesta a disposición de todas las aplicaciones y los usuarios llevan asociados riesgos de seguridad.
  • Complacencia en el cumplimiento: los instrumentos de cumplimiento cada vez más amplios, como HIPAA, PCI y el RGPD generan mayor presión sobre las organizaciones.
  • Saturación de recursos: las ventajas de extraer business intelligence de almacenes de datos se acompañan de un inconveniente porque todos esos datos requieren mantenimiento. Los proveedores de servicios cloud y tarifas de pago por uso permiten explotar los big data con precios más asequibles que nunca.
  • Gobernanza de datos ausente: del mismo modo que la seguridad de los datos que se manejan en un proceso de ELT es crítico, se hace fundamental saber: ¿Quién controla la gestión de datos maestro?, ¿Qué datos se recogen/conservan?, ¿Cuándo se realizan análisis y auditorías?, ¿Dónde se guardan los datos? Y ¿Por qué afectan en positivo los procesos ELT al rendimiento del negocio

Responder preguntas clave por adelantado crea prácticas responsables de ELT y posiciona a las empresas para que puedan recabar mucha información que repercute en la cuenta de resultados a diario.

Permítanos asesorarle en las políticas de ETL/ELT más adecuadas para su organización.

Otras capacidades destacadas en el área de proyectos de integración

Le mostramos algunos ejemplos destacados de experiencias en proyectos de integración

Desliza con el dedo 

Aviso legal

Política de privacidad

Aviso legal