HDFS: Guía de Comandos Básicos

Última actualización: 21/06/2021

Aprende en esta guía los comandos más usados de HDFS (Hadoop Distributed File System) para listar, leer y escribir ficheros, cargar y descargar y gestionar los permisos y el sistema.

Comandos básicos HDFS

Puedes descargar HDFS desde el repositorio oficial de Hadoop. Ahí encontrarás los binarios de todo el software necesario para desplegar un clúster de HDFS.

Los comandos básicos de Hadoop y de HDFS son similares a los que podrás usar en una terminal de un sistema Linux, a continuación presento una lista con los comandos de HDFS más importantes divididos por secciones en función de su utilidad.

Listar Ficheros en HDFS

COMANDODESCRIPCIÓN
hdfs dfs -ls /Lista todos los ficheros y directorios para el path /
hdfs dfs -ls -h /Lista los ficheros con su tamaño en formato legible
hdfs dfs -ls -R /Lista todos los ficheros y directorios recursivamente (con subdirectorios)
hdfs dfs -ls /file*Lista todos los ficheros que cumplen el patrón (ficheros que comienzan con ‘file’)

Leer y Escribir Ficheros

COMANDODESCRIPCIÓN
hdfs dfs -text /app.logImprime el fichero en modo texto por la terminal
hdfs dfs -cat /app.logMuestra el contenido del fichero en la salida estándar
hdfs dfs -appendToFile /home/file1 /file2Añade el contenido del fichero local ‘file1’ al fichero en hdfs ‘file2’

Cargar y Descargar Ficheros

COMANDODESCRIPCIÓN
hdfs dfs -put /home/file1 /hadoopCopia el fichero ‘file1’ del sistema de ficheros local a hdfs
hdfs dfs -put -f /home/file1 /hadoopCopia el fichero ‘file1’ del sistema de ficheros local a hdfs y lo sobreescribe en el caso de que ya exista
hdfs dfs -put -l /home/file1 /hadoopCopia el fichero ‘file1’ del sistema de ficheros local a hdfs. Fuerza replicación 1 y permite al DataNode persistir los datos de forma perezosa.
hdfs dfs -put -p /home/file1 /hadoopCopia el fichero ‘file1’ del sistema de ficheros local a hdfs. Mantiene los tiempos de acceso, de modificación y propietario original
hdfs dfs -get /file1 /home/Copia el fichero ‘file1’ de hdfs al sistema de ficheros local
hdfs dfs -moveFromLocal /home/file1 /hadoopCopia el fichero ‘file1’ del sistema de ficheros local a hdfs y luego lo borra del sist. ficheros local

Gestión de Ficheros

COMANDODESCRIPCIÓN
hdfs dfs -cp /hadoop/file1 /hadoop1Copia el fichero al directorio destino en hdfs
hdfs dfs -cp -p /hadoop/file1 /hadoop1Copia el fichero al directorio destino en hdfs conservando tiempos de acceso y de modificación, propietario y modo
hdfs dfs -rm /hadoop/file1Elimina el fichero ‘file1’ de hdfs y lo envía a la papelera
hdfs dfs -rm -r /hadoop
hdfs dfs -rm -R /hadoop
hdfs dfs -rmr /hadoop
Elimina el directorio y su contenido en hdfs
hdfs dfs -rm -skipTrash /file1Elimina el fichero sin dejarlo en la papelera
hdfs dfs -mkdir /hadoop2Crea un directorio en hdfs
hdfs dfs -touchz /hadoop3Crea un fichero en hdfs con tamaño 0

Gestión de Permisos

COMANDODESCRIPCIÓN
hdfs dfs -checksum /hadoop/file1Muestra la información checksum del fichero
hdfs dfs -chmod 775 /hadoop/file1Cambia los permisos del fichero en hdfs
hdfs dfs -chmod -R 755 /hadoopCambia los permisos de los ficheros recursivamente
hdfs dfs -chown hadoop:hadoop /file1Cambia el propietario y el grupo del fichero
hdfs dfs -chown -R hadoop:hadoop /file1Cambia el propietario y el grupo recursivamente
hdfs dfs -chgrp hadoop /file1Cambia el grupo del fichero

Comandos de Administración

COMANDODESCRIPCIÓN
hdfs dfs -df /hadoopMuestra la capacidad y el espacio libre y usado del sistema de ficheros
hdfs dfs -df -h /hadoopMuestra la capacidad y el espacio libre y usado del sistema de ficheros en formato legible
hadoop versionMuestra la versión de hadoop
hdfs fsck /Comprueba el estado de salud del sistema de ficheros
hdfs dfsadmin -safemode leaveDeshabilita el modo seguro del NameNode
hdfs namenode -formatFormatea el NameNode

Siguientes pasos con HDFS

Sigue aprendiendo HDFS a fondo con este curso recomendado:

Curso HDFS en el Mundo Real: manos a la obra en almacenamiento distribuido empresarial

HDFS en el Mundo Real: manos a la obra en almacenamiento distribuido empresarial

Este curso te enseñará todo lo que necesitas para manipular el sistema de ficheros distribuido de Hadoop HDFS en un entorno empresarial.

Aprenderás a navegar por el sistema de archivos con línea de comandos, implementar clústeres y automatización.

Solo necesitarás Windows y conexión a internet.

También, te recomiendo el siguiente libro fundamental. Puedes encontrarlo en Amazon:


A continuación, el vídeo-resumen. ¡No te lo pierdas!


Deja una respuesta