Descubre Delta Lake y Optimiza tus Datos

Última actualización: 27/04/2024 – Oscar Fernandez

En el mundo de la gestión de datos, la eficiencia es clave. ¿Te imaginas poder descubrir una tecnología que no solo simplifica, sino que también optimiza el manejo de tus datos? Descubre Delta Lake. En este artículo, aprenderás cómo esta innovadora plataforma impulsa la calidad y la confiabilidad de tus datos.

Delta Lake al Descubierto: Una Visión General

Delta Lake es un sistema de almacenamiento open source que proporciona capacidades adicionales sobre el formato de datos Parquet. Entre estas capacidades se encuentra el soporte a las propiedades ACID, posibilitando transacciones sobre nuestro lago de datos.

Esta capa de almacenamiento ha sido desarrollado para Apache Spark y Databricks y se basa en el almacenamiento de datos en columnas, permitiendo una compresión eficiente y consultas ultrarrápidas. Se sitúa sobre el almacenamiento existente en el lago de datos, como puede ser ADLS y actúa proporcionando transacciones ACID y gestión avanzada de metadatos.

También es posible recuperar una versión anterior de un dato o de una tabla (time travel), por lo que resulta muy útil para garantizar el cumplimiento de determinadas regulaciones.

Además, Delta Lake permite acelerar las operaciones del lago mediante técnicas de optimizaciones en índices y compactación, que mejoran el rendimiento de las consultas interactivas.

Todos los datos almacenados en Delta Lake usan el formato de Parquet y permite especificar un esquema para los datos, estableciendo sus columnas y sus tipos. También es posible usar tablas definidas (Delta Tables) para escribir y leer directamente los datos con Spark Streaming.

Cómo Mejorar la Eficiencia con Delta Lake

Delta Lake proporciona una serie de capacidades adicionales al formato de datos Apache Parquet. Las más importantes son las siguientes:

Transacciones ACID

Mediante la estructura transaccional, Delta garantiza las propiedades ACID, evitando problemas comunes como la pérdida de información o la inconsistencia en los datos.

Una de las características destacadas de Delta Lake es su capacidad para realizar operaciones atómicas sobre grandes conjuntos de datos. Esto significa que las transacciones se llevan a cabo de manera completa o no se realizan en absoluto, asegurando una coherencia total incluso en entornos de procesamiento distribuido.

También aborda eficazmente los conflictos que pueden surgir en entornos concurrentes, garantizando que las operaciones de escritura sean coherentes y que los datos se mantengan en un estado consistente, incluso cuando múltiples procesos trabajan simultáneamente.

Gestión de Metadatos Integrada

Delta Lake realiza un seguimiento meticuloso de todas las operaciones que afectan a los datos. Cada modificación, ya sea una inserción, actualización o eliminación, queda registrada en los metadatos, también llamado transaction log.

Este rastreo detallado permite una comprensión profunda de la evolución de los conjuntos de datos a lo largo del tiempo. Facilita además tareas de auditoría de cambios en los datos y aporta una transparencia muy valorada en el ciclo de vida de la información.

Esta capacidad no solo facilita la identificación de posibles problemas, sino que también garantiza la conformidad con requisitos normativos y de calidad de datos.

Los metadatos de Delta Lake posibilitan la recuperación de estados, permitiendo regresar a un estado anterior de los datos con facilidad. Esto es fundamental para corregir errores, revertir cambios no deseados o explorar versiones anteriores de los conjuntos de datos.

Cada operación realizada crea una nueva versión de los datos, y cada versión es consultable. De esta forma, podemos realizar comparaciones históricas y entender cómo los conjuntos de datos han evolucionado con el tiempo.

Esquema Evolutivo

Delta Lake permite la evolución dinámica del esquema de datos, lo que significa que puedes realizar modificaciones en la estructura de tus conjuntos de datos sin interrumpir las operaciones existentes. Esta capacidad facilita la adaptación a cambios en los requisitos de datos sin comprometer la estabilidad del sistema.

Con el esquema evolutivo, puedes agregar nuevas columnas para incorporar información adicional, modificar columnas existentes para ajustar la estructura y eliminar aquellas que ya no son necesarias. Esta flexibilidad simplifica la gestión de la evolución de tus datos.

A medida que el esquema evoluciona, Delta Lake garantiza la compatibilidad con versiones anteriores de los datos. Esto es importante para preservar la integridad de las operaciones históricas y permitir la continuidad en el análisis de conjuntos de datos a lo largo del tiempo.

Las modificaciones en el esquema no afectan las operaciones en curso ni requieren la reescritura de datasets completos. Delta Lake gestiona de manera eficiente las transiciones entre esquemas, asegurando un impacto mínimo en las operaciones.

Cómo Integrar Delta Lake en tu Ecosistema de Datos

Delta Lake está diseñado para aprovechar el poder del procesamiento distribuido. Al escalar horizontalmente, puedes distribuir la carga de trabajo entre varios nodos, mejorando la velocidad de procesamiento y permitiendo el manejo eficiente de grandes volúmenes de datos.

No solo ofrece eficiencia y seguridad, sino que también se integra perfectamente con Apache Spark. Esta sinergia permite aprovechar la potencia del procesamiento en memoria y la capacidad de escalabilidad horizontal de Spark, brindando así un entorno robusto para el análisis de datos a gran escala.

Delta Lake y Databricks

Databricks, como plataforma de análisis de datos basada en Apache Spark, ofrece una integración nativa con Delta Lake. Esto significa que puedes aprovechar las funcionalidades de Delta Lake directamente dentro del entorno de Databricks, simplificando la implementación y utilización de esta tecnología.

La combinación de Delta Lake y Databricks proporciona un entorno altamente optimizado para el análisis y procesamiento eficiente de grandes conjuntos de datos.

Además, Databricks ofrece herramientas y utilidades que facilitan la gestión y exploración de datos, y la integración con Delta Lake potencia estas capacidades. Puedes realizar operaciones complejas, consultas analíticas y transformaciones de datos de manera eficiente en un entorno unificado.

La integración de Delta Lake con Databricks también facilita el aprovechamiento de funciones como el versionado y los rollbacks, permitiendo explorar y revertir cambios en los datos de manera eficiente directamente desde el entorno de Databricks y sus notebooks.

Algunas capacidades de Delta Lake solo están disponibles desde Databricks, y se suelen incorporar a la versión open source en forma de librerías con el tiempo.

Ejemplo Sencillo con Delta Lake en Spark

Aquí tienes un ejemplo sencillo de cómo trabajar con Delta Lake en Apache Spark usando Scala. Supongamos que ya has configurado tu entorno de Spark y has añadido las dependencias necesarias, por ejemplo con maven.

Primero, importa las librerías necesarias y configura tu sesión de Spark:

import io.delta.tables._

A continuación, creemos un DataFrame de ejemplo

val rutaDatos = "/tmp/test"
val datos = Seq(Row(1, "Juan", 25), Row(2, "Ana", 30), Row(3, "Luis", 22))
val esquema = List("id", "nombre", "edad")
val df = spark.createDataFrame(spark.sparkContext.parallelize(datos), esquema)
df.write.format("delta").mode("overwrite").save(rutaDatos)

Ahora, supongamos que deseas agregar un nuevo usuario al conjunto de datos de forma atómica, usaremos el modo append:

val nuevoUsuario = Row(4, "María", 28)
val dfNuevoUsuario = spark.createDataFrame(Seq(nuevoUsuario)).toDF(esquema: _*)
dfNuevoUsuario.write.format("delta").mode("append").save(rutaDatos)

Para actualizar la información de un usuario existente:

val dfActualizado = df.withColumn("edad", df("edad") + 1)
dfActualizado.write.format("delta").mode("overwrite").save(rutaDatos)

Si quieres consultar los datos almacenados en formato Delta Lake:

val dfLeido = spark.read.format("delta").load(rutaDatos)
dfLeido.show()

Además de trabajar directamente con los ficheros, Delta Lake permite definir tablas para el uso directo con SQL:

val nombre_tabla = "personas"
dfLeido.write.saveAsTable(table_name)

Podemos ahora usar DESCRIBE DETAIL para que nos devuelva información de la localización de cualquier tabla.

display(spark.sql("DESCRIBE DETAIL personas"))

También podemos definir la tabla en el metastore definiendo las columas:

DeltaTable.createOrReplace(spark)
  .tableName("default.people")
  .addColumn("id", "INT")
  .addColumn("nombre", "STRING")
  .addColumn("edad", "INT")
  .execute()

Podemos eliminar datos de una tabla que coinciden con un predicado:

val tablaDelta = DeltaTable.forPath(spark, rutaDatos)
tablaDelta.delete("edad < 23")

Por último, vamos a usar la funcionalidad de time travel para consultar el estado de la tabla en la primera versión usando VERSION AS OF en SQL:

spark.sql("SELECT * FROM personas VERSION AS OF 0")

Optimizaciones en los Datos

Para sacar el máximo partido de Delta Lake, tenemos que optimizar y limpiar las tablas con el paso del tiempo. Debemos tener en cuenta que por cada cambio en nuestras tablas se almacenará una nueva versión, y podemos acabar con millones de ficheros y un rendimiento degradadado. Para solventar estos problemas, nos aporta varios mecanismos:

Podemos optimizar una tabla usando OPTIMIZE. En el caso de haber hecho muchas modificaciones a una tabla y tener muchos ficheros pequeños, este comando se encargará de compactar todos esos ficheros en otros más grandes.

 spark.sql("OPTIMIZE personas")

También, podemos agrupar la información relacionada en los mismos ficheros para mejorar la velocidad de lectura usando ZORDER BY:

spark.sql("OPTIMIZE personas ZORDER BY (nombre)")

Estas operaciones podemos realizarlas mientras otros usuarios o trabajos ejecutan consultas sobre esta tabla, puesto que Delta Lake proporciona aislamiento en lecturas.

Por último, podemos eliminar ficheros antiguos con el comando VACUUM. Por defecto, el periodo de retención son 7 días.

spark.sql("VACUUM personas")

Preguntas Frecuentes de Delta Lake

Formación Recomendada

Como lectura recomendada, aqui tienes un enlace al artículo de Apache Iceberg, un formato de almacenamiento similar a Delta Lake.

También tienes mis dos cursos recomendados para que aprendas de Databricks a tu ritmo:

Especialización en Ciencia de Datos con Databricks

Este curso ofrecido por Databricks en la plataforma de formación online Coursera es de los más populares. Podrás aprender todos los fundamentos de Databricks y la API de Apache Spark para desarrollar trabajos de transformación de datos. Si tienes algún conocimiento de SQL y Python te acelerará el aprendizaje.

Azure Databricks para Ingeniería de Datos

Este curso ofrecido por Microsoft en Coursera te enseñará todo lo que necesitarás de Databricks en Azure. Desde cómo configurar los clusters de Spark, ejecutar trabajos y usar los notebooks con Scala o Python.

Tu suscripción no ha podido guardarse. Por favor vuelve a intentarlo.

Gracias por suscribirte 🙂

Únete a la Comunidad Big Data

Tu conocimiento es la herramienta más potente. Suscríbete a la lista de correo para mantenerte al día con los artículos más útiles para tu carrera en Big Data y Cloud. Sin spam, nunca.

Acepto la política de privacidad

¡SUSCRÍBEME GRATIS!

Oscar Fernandez

Arquitecto de Datos con más de 6 años de experiencia en el sector del Big Data. Autor de cursos de formación en tecnologías Big Data, Cloud y Streaming completados por más de 5000 alumnos en Udemy y otras plataformas. Miembro de la Apache Software Foundation desde 2019.