Jedną z najbardziej atrakcyjnych funkcji frameworka Hadoop jest jego utylizacja sprzętu komputerowego . Prowadzi to jednak do częstych awarii DataNode w klastrze Hadoop. Kolejną uderzającą cechą Hadoop Framework jest łatwość skalowania zgodnie z szybkim wzrostem ilości danych . Z tych dwóch powodów jednym z najczęstszych zadań administratora Hadoop jest komisja (Dodaj) i likwidacja (Usuń) węzły danych w klastrze Hadoop.
jak zbudować aplikację Salesforce
Uruchomienie i wycofanie węzłów w klastrze Hadoop:
Powyższy diagram przedstawia krok po kroku proces wycofywania DataNode w klastrze.
Pierwszym zadaniem jest aktualizacja „ wykluczać „Pliki dla obu HDFS (hdfs-site.xml) i MapReduce (mapred-site.xml).
Plik „wykluczenia”:
- dla jobtracker zawiera listę hostów, które powinny zostać wykluczone przez Jobtracker. Jeśli wartość jest pusta, żaden host nie jest wykluczony.
- dla Namenode zawiera listę hostów, które nie mogą łączyć się z Namenode.
Oto przykładowa konfiguracja pliku wykluczeń w plikach hdfs-site.xml i mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / excludes
prawdziwe
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / excludes
prawdziwe
Uwaga: Należy określić pełną ścieżkę do plików.
Podobnie mamy pliki „include”:
- dla jobtracker zawierający listę węzłów, które mogą łączyć się z JobTracker. Jeśli wartość jest pusta, dozwolone są wszystkie hosty.
- dla Namenode zawierający listę hostów, które mogą łączyć się z Namenode. Jeśli wartość jest pusta, dozwolone są wszystkie hosty.
„ dfsadmin ' i ' mradmin ”Polecenia odświeżają konfigurację wraz ze zmianami, aby poinformować ich o nowym węźle.
„ niewolnicy Plik na serwerze głównym zawiera listę wszystkich węzłów danych. Należy to również zaktualizować, aby zapewnić wszelkie problemy z uruchamianiem / zatrzymywaniem demona Hadoop w przyszłości.
Ważnym krokiem w procesie prowizji węzła danych jest uruchomienie Cluster Balancera.
> balanser hadoopa - próg 40
Stabilizator próbuje zapewnić równowagę do określonego progu między węzłami danych, kopiując dane blokowe ze starszych węzłów do nowo uruchamianych węzłów.
Tak więc możesz to zrobić - Uruchomienie i Wycofanie z eksploatacji Węzły w klastrze Hadoop.
Masz do nas pytanie? Wspomnij o tym w sekcji komentarzy, a my skontaktujemy się z Tobą.
Powiązane linki: