Polecenia HDFS
W moim poprzednie blogi , Omówiłem już, czym jest HDFS, jego funkcje i architektura. Pierwszy krok do podróży do wykonuje polecenia HDFS i bada, jak działa HDFS. Na tym blogu omówię polecenia HDFS, za pomocą których można uzyskać dostęp do systemu plików Hadoop.
Pozwólcie, że opowiem wam o ważnych poleceniach HDFS i ich działaniu, które są najczęściej używane podczas pracy z systemem plików Hadoop.
fsck
Polecenie HDFS, aby sprawdzić kondycję systemu plików Hadoop.
jak używać skanera w java
Komenda: hdfs fsck /
ls
Polecenie HDFS, aby wyświetlić listę plików i katalogów w HDFS.
Komenda: hdfsdfs –Ls /
mkdir
Polecenie HDFS, aby utworzyć katalog w HDFS.
Stosowanie: hdfs dfs –mkdir / nazwa_katalogu
Komenda: hdfs dfs –mkdir / new_edureka
Uwaga: Tutaj próbujemy utworzyć katalog o nazwie „new_edureka” w HDFS.
dotknąć
Polecenie HDFS, aby utworzyć plik w HDFS o rozmiarze pliku 0 bajtów.
Stosowanie: hdfs dfs –touchz / katalog / nazwa pliku
Komenda: hdfs dfs –touchz / new_edureka / sample
Uwaga: Tutaj próbujemy utworzyć plik o nazwie „sample” w katalogu „new_edureka” w formacie hdfs o rozmiarze pliku 0 bajtów.
z
Polecenie HDFS, aby sprawdzić rozmiar pliku.
Stosowanie: hdfs dfs –du –s / katalog / nazwa pliku
Komenda: hdfs dfs –du –s / new_edureka / sample
kot
Polecenie HDFS, które czyta plik na HDFS i drukuje zawartość tego pliku na standardowe wyjście.
Stosowanie: hdfs dfs –cat / ścieżka / do / plik_in_hdfs
Komenda: hdfs dfs –cat / new_edureka / test
tekst
Polecenie HDFS, które pobiera plik źródłowy i wyprowadza plik w formacie tekstowym.
Stosowanie: hdfs dfs –tekst / katalog / nazwa pliku
Komenda: hdfs dfs –text / new_edureka / test
copyFromLocal
Polecenie HDFS, aby skopiować plik z lokalnego systemu plików do HDFS.
Stosowanie: hdfs dfs -copyFromLocal
Komenda: hdfs dfs –copyFromLocal / home / edureka / test / new_edureka
Uwaga: Tutaj test jest plikiem obecnym w katalogu lokalnym / home / edureka i po wykonaniu polecenia plik testowy zostanie skopiowany do katalogu / new_edureka na HDFS.
copyToLocal
Polecenie HDFS, aby skopiować plik z HDFS do lokalnego systemu plików.
Stosowanie: hdfs dfs -copyToLocal
Komenda: hdfs dfs –copyToLocal / new_edureka / test / home / edureka
Uwaga: Tutaj test to plik obecny w katalogu new_edureka HDFS i po wykonaniu polecenia plik testowy zostanie skopiowany do katalogu lokalnego / home / edureka
silnia liczby java
położyć
Polecenie HDFS do kopiowania jednego źródła lub wielu źródeł z lokalnego systemu plików do docelowego systemu plików.
Stosowanie: hdfs dfs -put
Komenda: hdfs dfs –put / home / edureka / test / user
Uwaga: Polecenie copyFromLocal jest podobne do polecenia put, z tą różnicą, że źródło jest ograniczone do lokalnego odniesienia do pliku.
otrzymać
Polecenie HDFS do kopiowania plików z hdfs do lokalnego systemu plików.
Stosowanie: hdfs dfs -get
Komenda: hdfs dfs –get / user / test / home / edureka
Uwaga: Polecenie copyToLocal jest podobne do polecenia get, z tą różnicą, że miejsce docelowe jest ograniczone do odniesienia do pliku lokalnego.
liczyć
Polecenie HDFS, aby policzyć liczbę katalogów, plików i bajtów pod ścieżkami, które pasują do określonego wzorca pliku.
Stosowanie: hdfsdfs -count
Komenda: hdfs dfs –count / user
rm
Polecenie HDFS, aby usunąć plik z HDFS.
Stosowanie: hdfs dfs –rm
Komenda: hdfs dfs –rm / nowa_edureka / test
rm -r
Polecenie HDFS, aby usunąć cały katalog i całą jego zawartość z HDFS.
Stosowanie: hdfs dfs -rm -r
java co to jest zmienna instancji
Komenda: hdfs dfs -rm -r / nowa_edureka
cp
Polecenie HDFS do kopiowania plików ze źródła do miejsca docelowego. To polecenie zezwala również na wiele źródeł, w takim przypadku miejscem docelowym musi być katalog.
Stosowanie: hdfs dfs -cp
Komenda: hdfs dfs -cp / user / hadoop / plik1 / użytkownik / hadoop / plik2
Komenda: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir
mv
Polecenie HDFS do przenoszenia plików ze źródła do miejsca docelowego. To polecenie zezwala również na wiele źródeł, w takim przypadku miejscem docelowym musi być katalog.
Stosowanie: hdfs dfs -mv
Komenda: hdfs dfs -mv / użytkownik / hadoop / plik1 / użytkownik / hadoop / plik2
wykreślić
Polecenie HDFS, które powoduje opróżnienie kosza.
Komenda: hdfsdfs-wykreślić
rmdir
Polecenie HDFS, aby usunąć katalog.
Stosowanie: hdfs dfs -rmdir
Komenda: hdfs dfs –rmdir / user / hadoop
stosowanie
Polecenie HDFS, które zwraca pomoc dla pojedynczego polecenia.
Stosowanie: hdfs dfs -usage
Komenda: hdfs dfs -usage mkdir
Uwaga: Używając polecenia użycia, możesz uzyskać informacje o dowolnym poleceniu.
Wsparcie
Polecenie HDFS, które wyświetla pomoc dla danego polecenia lub wszystkich poleceń, jeśli żadne nie zostało określone.
Komenda: hdfs dfs -help
To już koniec bloga HDFS Commands, mam nadzieję, że był on pouczający i byłeś w stanie wykonać wszystkie polecenia. Aby uzyskać więcej poleceń HDFS, możesz polecić Apache Hadoopdokumentacja tutaj.
Teraz, gdy wykonałeś powyższe polecenia HDFS, sprawdź autorstwa Edureka, zaufanej firmy zajmującej się edukacją online, z siecią ponad 250 000 zadowolonych uczniów rozsianych po całym świecie. Szkolenie Edureka Big Data Hadoop Certification Training pomaga uczniom stać się ekspertami w zakresie HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop wykorzystanie przypadków użycia w czasie rzeczywistym w domenie handlu detalicznego, mediów społecznościowych, lotnictwa, turystyki, finansów.
Masz do nas pytanie? Wspomnij o tym w sekcji komentarzy, a my skontaktujemy się z Tobą.