¿Qué es Data Mesh? Aprende sobre esta Arquitectura de Datos

Última actualización: 28/04/2022

Aprende en esta entrada qué es Data Mesh. Un nuevo enfoque para compartir, acceder y gestionar datos analíticos en organizaciones de una manera descentralizada.

Data Mesh

¿Qué es Data Mesh?

Data Mesh es un enfoque sociotécnico descentralizado para compartir, acceder y gestionar datos analíticos en un entorno complejo y a gran escala dentro o entre las organizaciones. Consiste en cambiar los propietarios de los datos y cambiar el enfoque de cómo son consumidos y usados.

Tradicionalmente, se ha usado un patrón centralizado en el que los ingenieros de datos agregan los activos de datos y crean un producto para que pueda ser usado por varios consumidores, como un Data Lake, sin conocer el contexto antes de tiempo. Los lagos de datos, data warehouses y data lake houses van a seguir existiendo con este enfoque.

Facilita el acceso a los datos entre organizaciones y departamentos, ya que el dato se trata y se publica como un producto. Es una aproximación mucho más sencilla a la tradicional, en la que cuando alguien quiere acceder a datos de otra unidad o de otro dominio debe iniciar un proceso de descubrimiento para determinar con quién debe hablar, solicitar los permisos de acceso, etc. Este proceso puede durar mucho tiempo en grandes organizaciones.

Implementación Data Mesh
Implementación Data Mesh

Además de la creación del producto, también cambia los roles involucrados en torno a los datos. Introduce roles de consumidores de datos y propietario de dominio y de productos de datos, que también definen el gobierno del producto.

Motivación

Para entender el enfoque que propone el Data Mesh, debemos entender que existen varios mitos relacionados con la modernización cloud y las migraciones a la nube de la infraestructura y los servicios de las organizaciones.

Por un lado, a menudo se cree que la nube va a simplificar el ecosistema y que eliminará los silos de datos por completo. La realidad es que no tiene por qué simplificarse con estas migraciones a la nube, de hecho, puede complicarse al realizar el movimiento a la nube de múltiples plataformas heterogéneas, como AWS o Azure. Además, muchos sistemas onpremise seguirán existiendo y conviviendo con la infraestructura en la nube.

Los silos de datos tampoco desaparecerán con las tecnologías cloud, sino que podrán seguir existiendo interconectados entre sistemas SaaS y cloud. Por último, la nube tampoco resolverá completamente los problemas de gobierno de datos y de cumplimiento. Estos aspectos también necesitarán de un enfoque multicloud.

Data Mesh intenta resolver estos problemas con un nuevo enfoque sobre cómo tratar los datos en las organizaciones, particularmente en entornos cloud y descentralizados.

Data Mesh vs Data Fabric

Data Fabric es un concepto de diseño que sirve como una capa de datos integrada y de procesos conectados. Incluye procesos ETL y ELT, procesos de replicación y de virtualización de datos. Todo esto debe de estar implementado con una capa de gobierno, cumplimiento y dataops que maneje las pipelines de datos correctamente entre los lagos de datos, warehouses y aplicaciones.

En el patrón Data Mesh, los datos se organizan alrededor de los propietarios de dominios, que crean los productos de datos. Estos productos pueden ser agregados por consumidores distribuidos. El contexto de este producto está predefinido. Esta es precisamente la diferencia principal entre Data Mesh y Data Fabric.

Por lo tanto, es posible implementar Data Fabric sin Data Mesh, pero no puedes implementar Data Mesh sin Data Fabric.

Lecturas y Formación Recomendada

Para profundizar en este enfoque de datos en las organizaciones, tienes dos libros en Amazon que te resultarán muy útiles para comprender esta filosofía:

Data Mesh: Delivering Data-Driven Value at Scale

En este libro práctico, el autor Zhamak Dehghani presenta el concepto de Data Mesh. El paradigma sociotécnico descentralizado inspirado en la arquitectura distribuida moderna.

Data Mesh: Delivering Data-Driven Value at Scale

Data Mesh in Action

Aprende a implantar Data Mesh en organizaciones de cualquier tamaño. El libro intenta ajustar este enfoque a las necesidades específicas de las empresas para cambiar la forma en que se usan los datos.

Libro Mesh in Action

Deja una respuesta