HDFS: Guía de comandos básicos

Última actualización: 04/10/2020

Aprende en esta guía los comandos más usados de HDFS (Hadoop Distributed File System) para listar, leer y escribir ficheros, cargar y descargar y gestionar los permisos y el sistema.

Comandos básicos HDFS

Puedes descargar HDFS desde el repositorio oficial de Hadoop. Ahí encontrarás los binarios de todo el software necesario para desplegar un clúster de HDFS.

Los comandos básicos de Hadoop y de HDFS son similares a los que podrás usar en una terminal estándar de un sistema Linux, a continuación presento una lista con los comandos más importantes divididos por secciones en función de su utilidad.

Listar Ficheros

ComandoDescripción
hdfs dfs -ls /Lista todos los ficheros y directorios para el path /
hdfs dfs -ls -h /Lista los ficheros con su tamaño en formato legible
hdfs dfs -ls -R /Lista todos los ficheros y directorios recursivamente (con subdirectorios)
hdfs dfs -ls /file*Lista todos los ficheros que cumplen el patrón (ficheros que comienzan con 'file'

Leer y escribir ficheros

ComandoDescripción
hdfs dfs -text /app.logImprime el fichero en modo texto por la terminal
hdfs dfs -cat /app.logMuestra el contenido del fichero en la salida estándar
dfs dfs -appendToFile /home/file1 /file2Añade el contenido del fichero local 'file1' al fichero en hdfs 'file2'

Cargar y descargar ficheros

ComandoDescripción
hdfs dfs -put /home/file1 /hadoopCopia el fichero 'file1' del sistema de ficheros local a hdfs
hdfs dfs -put -f /home/file1 /hadoopCopia el fichero 'file1' del sistema de ficheros local a hdfs y lo sobreescribe en el caso de que ya exista
hdfs dfs -put -l /home/file1 /hadoopCopia el fichero 'file1' del sistema de ficheros local a hdfs. Fuerza replicación 1 y permite al DataNode persistir los datos de forma perezosa.
hdfs dfs -put -p /home/file1 /hadoopCopia el fichero 'file1' del sistema de ficheros local a hdfs. Mantiene los tiempos de acceso, de modificación y propietario original
hdfs dfs -get /file1 /home/Copia el fichero 'file1' de hdfs al sistema de ficheros local
hdfs dfs -moveFromLocal /home/file1 /hadoopCopia el fichero 'file1' del sistema de ficheros local a hdfs y luego lo borra del sist. ficheros local.

Gestión de ficheros

ComandoDescripción
hdfs dfs -cp /hadoop/file1 /hadoop1Copia el fichero al directorio destino en hdfs.
hdfs dfs -cp -p /hadoop/file1 /hadoop1Copia el fichero al directorio destino en hdfs conservando tiempos de acceso y de modificación, propietario y modo
hdfs dfs -rm /hadoop/file1Elimina el fichero 'file1' de hdfs y lo envía a la papelera
hdfs dfs -rm -r /hadoop
hdfs dfs -rm -R /hadoop
hdfs dfs -rmr /hadoop
Elimina el directorio y su contenido en hdfs
hdfs dfs -rm -skipTrash /file1Elimina el fichero sin dejarlo en la papelera
hdfs dfs -mkdir /hadoop2Crea un directorio en hdfs
hdfs dfs -touchz /hadoop3Crea un fichero en hdfs con tamaño 0

Gestión de permisos

ComandoDescripción
hdfs dfs -checksum /hadoop/file1Muestra la información checksum del fichero
hdfs dfs -chmod 775 /hadoop/file1Cambia los permisos del fichero en hdfs
hdfs dfs -chmod -R 755 /hadoopCambia los permisos de los ficheros recursivamente
hdfs dfs -chown hadoop:hadoop /file1Cambia el propietario y el grupo del fichero
hdfs dfs -chown -R hadoop:hadoop /file1Cambia el propietario y el grupo recursivamente
hdfs dfs -chgrp hadoop /file1Cambia el grupo del fichero

Administración


Aprende Hadoop MapReduce a fondo con este curso:

También te recomiendo el siguiente libro fundamental:


¡Echa un ojo a mi lista de reproducción de Big Data en Youtube!

Si te ayuda el contenido del blog, por favor considera unirte a la lista de correo para reconocer el trabajo!

Deja una respuesta