Última actualización: 21/04/2024 – Oscar Fernandez
Talend es un conjunto de servicios orientado a implementar pipelines de datos y procesos de extracción, transformación y carga de datos (ETL) en un ámbito empresarial. La solución pretende facilitar el acceso a los datos en las organizaciones. En este artículo aprenderemos qué es y cómo puede ayudar en nuestra estrategia de datos.
Contenidos
¿Qué es Talend?
Talend es una plataforma de integración de datos que ofrece una suite de capacidades para la gestión y la transformación de datos. Desde su lanzamiento en 2006, Talend se ha convertido en la elección preferida de muchas organizaciones debido a su enfoque centrado en el usuario y su capacidad para abordar los desafíos más complejos del tratamiento de datos a nivel empresarial.
Talend proporciona conectores y componentes predefinidos que facilitan la integración con otras fuentes de datos y sistemas. Esto permite a los usuarios importar y exportar datos de manera eficiente, garantizando la interoperabilidad entre diferentes plataformas.
También permite a los usuarios diseñar flujos de trabajo complejos para la transformación y enriquecimiento de datos, para generar conjuntos de datos limpios y listos para su análisis big data.
Arquitectura y Componentes de Talend Cloud
Talend Cloud se compone de servicios en la nube y servicios en el entorno del cliente, generalmente una red local u onpremise.
En el entorno de usuario se encuentran las herramientas de Talend Studio, Talend Cloud API Tester y el Remote Engine. Además de esto, algunos de los servicios cloud de Talend pueden accederse directamente a través del navegador web.
Talend Studio
Desde el componente Talend Studio, es posible publicar las tareas de integración de datos. Para esto, conecta con el componente Talend Cloud Management Console. También, podemos preparar los datos, configurar fuentes de datos y exportaciones de datos que ejecutarán de forma remota.
Es la interfaz gráfica de administración sobre la que podremos crear y eliminar tareas o definiciones de APIs.
Entorno y Servicios Cloud
La infraestructura cloud de Talend incluye las aplicaciones cloud y los motores de ejecución. A continuación tienes algunos de los componentes cloud más usados.
Cloud Pipeline Designer
Pipeline Designer es una herramienta de integración orientada al procesamiento escalable de datos. Proporciona una interfaz web de usuario en la que se pueden definir pipelines de datos de extremo a extremo.
Las pipelines pueden ser de tipo batch y streaming y pueden usar datos alojados en onpremise y en la nube. Para el procesamiento se usan motores de ejecución seguros que se alojan en el entorno de la organización.
Las pipelines se componen de conexiones reutilizables a los entornos donde se almacenan los datos y datasets, que pueden ser tablas de bases de datos, ficheros o topics de Kafka.
Data Fabric
Data Fabric combina los productos de Talend en soluciones unificadas orientadas al procesamiento de big data de forma escalable. Está basado en Apache Hadoop.
Data Mapper
Talend Data Mapper permite crear visualmente mapas de datos sobre los que ejecutar transformaciones.
Es posible definir estructuras que definen la semántica de los datos, con su jerarquía personalizada. Cada mapa define una transformación con una estructura de entrada y una estructura de salida. Para realizar la transformación de las estructuras, se definen expresiones y funciones como unidades de código que devuelven los valores correspondientes a las transformaciones.
Por ejemplo, con Data Mapper podemos convertir un archivo JSON con información de clientes en un archivo CSV con una columna para cada dato. Después de haber definido el mapa, podremos ejecutar y planificar las transformaciones directamente con un job de tipo batch.
Change Data Capture
Talend Change Data Capture es una solución para el procesamiento de eventos en streaming. El CDC captura las transacciones de una base de datos como eventos. Estas transacciones son del tipo inserción, actualización o eliminación.
Los eventos se capturan en tiempo real, de esta forma se pueden procesar y enviar al destino que sea necesario. Es compatible con bases de datos como Oracle, SQL Server, MySQL, PostgreSQL o DB2.
Los cambios en las bases de datos son capturados a partir de los llamados transaction journals en las fuentes, de forma que el impacto en los sistemas de origen bajo. Aun así, también se puede trabajar directamente con tablas o fuentes de datos que no tengan soporte al transaction journal.
Para cada registro de transacción que se procesa es posible ejecutar un módulo de transformación de datos y desencadenar una pipeline de procesamiento. Los datos se transmiten en bloques y se procesarán en paralelo, de forma que toda la pipeline pueda ejecutar en tiempo real y los cambios en la volumetría de los datos no tengan un gran impacto en el rendimiento de la pipeline.
Por ejemplo, podemos usar Change Data Capture para cargar datos en tiempo real en una base de datos con una estructura distinta a la base de datos fuente. La pipeline que implementa la transformación de datos deberá definir cómo se combinan los registros de origen para realizar las operaciones en la base de datos destino.
Cloud Data Preparation
El servicio de Data Preparation facilita la labor de limpieza y preparación de datos para las tareas de análisis. Se integra con el catálogo de datos y tiene capacidades de perfilado y descubrimiento de datos.
También, permite enriquecer los datasets con información adicional de forma sencilla.
Algunas de las tareas más comunes son la eliminación de espacios innecesarios en las columnas, la modificación del tipo semántico de los campos, la aplicación de valores por defecto o la armonización de los formatos de fechas.
Cloud Data Inventory
Es el componente de Talend encargado de mantener un inventario de los activos de datos. Es posible añadir datasets al inventario desde Pipeline Designer o Data preparation.
Automáticamente se realiza un perfilado de los datos asociado con su calidad del dato y se documentan con metadatos editables. Este inventario se puede compartir con otros usuarios para trabajar de forma colaborativa.
Es importante que tanto ingenieros de datos como analistas de datos tengan acceso al consumo de estos sets de datos con sus metadatos correspondientes. De esta forma se optimizarán los trabajos de preparación y limpieza para que sea más fácil su explotación.
Cloud Data Stewardship
Data Stewardship es una aplicación para gestionar los activos de datos. Centraliza la administración de accesos a los datos para los usuarios de la organización.
Para realizar estas tareas, se definen los conceptos de campañas y de tareas, con los roles de propietarios y administradores de datos. En las campañas se definen las tareas sobre los datos que se van a realizar y qué usuarios participan en ellas-
Cloud Data Catalog
El catálogo de datos permite tener un catálogo centralizado, colaborativo y gobernado para definir sets de datos. Puede descubrir nuevos datos, perfilarlos y asociarlos con sus metadatos y asignar capacidades de búsqueda sobre todos los activos.
Para gestionar el catálogo, existe un grupo de administración, con capacidades de crear nuevos roles y asignar los permisos de acceso a otros usuarios mediante RBAC.
Conectores Disponibles en Talend
Talend dispone de conectores de serie para bases de datos, filesystems y herramientas cloud. A continuación se muestran los más importantes:
Bases de datos: Amazon Aurora, Amazon DynamoDB, Amazon Redshift, Apache Kudu, Azure Cosmos DB, Azure Synapse, Couchbase, Delta Lake, Google BigQuery, MariaDB, SQL Server, MongoDB, MySQL, Oracle, PostgreSQL, Snowflake, ElasticSearch
Cloud Storage: Google Cloud Storage, Amazon S3, Azure Blob Storage, Azure Data Lake Storage Gen2.
Filesystems: FTP, HDFS.
Mensajería: Apache Pulsar, Azure Event Hubs, Amazon Kinesis, Google PubSub, Apache Kafka, RabbitMQ.
Curso Recomendado de Talend
Curso de preparación para la certificación Talend Data Integration
Este curso disponible en Coursera te ayudará a aprender y a formarte en Talend. Podrás preparar al mismo tiempo la certificación de Talend Data Integration.
Conseguirás crear trabajos que accedan a ficheros y a bases de datos para realizar operaciones de transformación y de filtrado de datos desde Talend Studio. También te enseñará a crear tareas de orquestación y de planificación que ayuden a automatizar tus pipelines de datos.
Preguntas Frecuentes de Talend
¿Cuáles son las opciones de despliegue disponibles en Talend?
Talend ofrece opciones de despliegue flexibles, incluyendo despliegue en entornos locales (on-premise) y en la nube, como Amazon Web Services (AWS) y Microsoft Azure. También proporciona soporte para despliegue en contenedores Docker.
¿Qué tipos de conectores y adaptadores están disponibles en Talend?
Talend se puede integrar y conectar con bases de datos relacionales, servicios web, aplicaciones empresariales (ERP, CRM), sistemas de almacenamiento en la nube y servicios cloud.
¿Cómo se asegura la calidad de los datos en Talend?
Talend proporciona funcionalidades para garantizar la calidad de los datos, como la detección y corrección de duplicados, validación de datos según reglas predefinidas, limpieza y normalización de datos, y seguimiento de los cambios realizados en los datos durante el proceso de integración.
¿Talend ofrece capacidades de monitorización y gestión de tareas?
Sí, Talend ofrece capacidades de monitorización y gestión de tareas a través de su consola de administración. Permite supervisar y gestionar el rendimiento de los flujos de trabajo, programar y ejecutar tareas de manera automatizada, y generar informes y alertas para un mejor control de las operaciones de integración de datos.
Arquitecto de Datos con más de 6 años de experiencia en el sector del Big Data. Autor de cursos de formación en tecnologías Big Data, Cloud y Streaming completados por más de 5000 alumnos en Udemy y otras plataformas. Miembro de la Apache Software Foundation desde 2019.
