Fibonacci Sequence java for loop
Hadoop Job Tacker
Job Tracker to główny demon służący zarówno do zarządzania zasobami zadań, jak i planowania / monitorowania zadań. Działa jako łącznik między Hadoop a twoją aplikacją.
Proces
Użytkownik najpierw kopiuje pliki do rozproszonego systemu plików (DFS), przed wysłaniem zadania do klienta. Klient następnie otrzymuje te pliki wejściowe. Użytkownik otrzyma podziały lub bloki na podstawie plików wejściowych.Klient mógłtworzyć podziały lub bloki w człowiekuner to prefers, ponieważ istnieją pewne względy. Jeśli analiza zostanie przeprowadzona na kompletnych danych, podzielisz dane na podziały. Pliki nie są kopiowane przez klienta, ale są kopiowane za pomocą flume, Sqoop lub dowolnego klienta zewnętrznego.
Po skopiowaniu plików do DFS i interakcji klienta z DFS,podziały będą uruchamiać MapReduce job. Zadanie jest przesyłane za pomocą narzędzia do śledzenia zadań. Śledzenie zadań jest głównym demonem, który działa na tym samym węźlebiegnietych wielu zadań w węzłach danych. Dane te będą znajdować się w różnych węzłach danych, ale za to odpowiada osoba śledząca zadania.
Po przesłaniu przez klientamoduł śledzenia zadań, zadanie jest inicjowane w kolejce zadań, a moduł śledzenia zadań tworzy mapy i redukuje. Na podstawie programu zawartego w funkcji mapy i funkcji redukcji utworzy zadanie mapy i zredukuje zadanie. Te dwa będą działać na podziałach wejściowych. Uwaga: Po utworzeniu przez klientów ten podział danych wejściowych zawiera całe dane.
Każdy podział wejściowy ma uruchomione zadanie mapy, a dane wyjściowe zadania mapy trafiają do zadania redukcji. Job tracker uruchamia ścieżkę na określonych danych. Może istnieć wiele replikacji tego, więc wybiera dane lokalne i uruchamia zadanie na tym konkretnym module śledzenia zadań. Moduł śledzenia zadań to ten, który faktycznie uruchamia zadanie w węźle danych. Job tracker przekaże plikInformacjado modułu do śledzenia zadań, a moduł do śledzenia zadań uruchomi zadanie w węźle danych.
podobieństwa między java i javascript
Po przypisaniu zadania do modułu śledzenia zadań, z każdym modułem śledzenia zadań i modułem śledzenia zadań jest skojarzone tętno. Wysyła sygnały, aby dowiedzieć się, czy węzły danych nadal żyją. Oba są często zsynchronizowane, ponieważ istnieje możliwość zanikania węzłów.
Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.
Powiązane posty:
Talend open studio do samouczka integracji danych