Pomocne polecenia powłoki Hadoop



Ten blog zawiera opis wszystkich pomocnych poleceń powłoki Hadoop. Oprócz poleceń powłoki Hadoop ma również zrzuty ekranu, które ułatwiają naukę. Czytaj!

HDFS oznacza „ H. adoop re przypisane fa z S ystem ”. HDFS jest podprojektem projektu Apache Hadoop. Ten projekt Apache Software Foundation ma na celu zapewnienie odpornego na błędy systemu plików zaprojektowanego do działania na standardowym sprzęcie. Dostęp do HDFS uzyskuje się za pomocą zestawu poleceń powłoki, które zostaną omówione w tym poście.





Krótka uwaga przed rozpoczęciem: wszystkie polecenia powłoki Hadoop są wywoływane przez skrypt bin / hadoop.

Polecenia użytkownika:

  • Uruchom system plików DFS:

Użycie: hadoop fsck - /



System plików Run DFS (1)

  • do cholera wersja Hadoop :

Zastosowanie: wersja Hadoop



Polecenia powłoki FS:

Polecenie Hadoop fs uruchamia ogólnego klienta użytkownika systemu plików, który współdziała z systemem plików MapR (MapR-FS).

  • Wyświetl wykaz plików:

Użycie: hadoop fs -ls hdfs: /

  • Sprawdź stan pamięci:

Sposób użycia: hadoop fs -df hdfs: /

tablica obiektów w java
  • Liczba katalogów, plików i bajtów w określonej ścieżce i wzorze pliku:

Sposób użycia: hadoop fs -count hdfs: /

  • Przenieś plik z jednej lokalizacji do drugiej:

Sposób użycia: -mv

  • Skopiuj plik ze źródła do miejsca docelowego :

Sposób użycia: -cp

  • Usunąć plik:

Sposób użycia: -rm

  • Prześlij plik z lokalnego systemu plików do rozproszonego systemu plików Hadoop:

Użycie: -wejście…

co to jest gniazdo w java

  • Skopiuj plik z lokalnego do HDFS:

Użycie: -copyFromLocal…

  • Wyświetl plik w rozproszonym systemie plików Hadoop :

Sposób użycia: -cat

Polecenia administracyjne:

  • Sformatuj cel :

Użycie: cel hadoop -format

  • Początkowe cele drugorzędne:

Użycie: hadoop secondrynamenode

  • Biegnij celowo :

Zastosowanie: cel hadoop

  • Biegać węzeł danych :

Zastosowanie: hadoop datanode

  • Równoważenie klastra :

Zastosowanie: wyważarka hadoop

  • Uruchom węzeł śledzenia zadań MapReduce:

Użycie: narzędzie do śledzenia pracy hadoop

  • Uruchom węzeł śledzenia zadań MapReduce:

Użycie: hadoop tasktracker

Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.

Powiązane posty:

wskocz w c ++

Operatorzy w Apache Pig