Apache Falcon: nowa platforma zarządzania danymi dla ekosystemu Hadoop



Apache Falcon to nowa platforma do zarządzania danymi dla ekosystemu Hadoop, która upraszcza przetwarzanie i zarządzanie plikami danych w klastrach hadoop. Dowiedz się, jak to skonfigurować.

Apache Falcon to platforma do zarządzania cyklem życia danych w klastrach Hadoop. Ustanawia relacje między różnymi danymi i elementami przetwarzania w środowisku Hadoop, a także zapewnia usługi zarządzania kanałami, takie jak przechowywanie, replikacje w klastrach, archiwizacja itp.





Najpierw omówmy, jak skonfigurować Apache Falcon. Uruchom poniższe polecenie, aby pobrać repozytorium git Falcona:

Komenda: klon git https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Aby uruchomić sokoła, musisz go najpierw zbudować.

Komenda: cd falcon



Komenda: export MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn czysta instalacja -DskipTests

Komenda: mvn czysty montaż: montaż -DskipTests -DskipITs

Po zbudowaniu falcona w katalogu / falcon / distro / target / znajdziesz pakiet falcon.

Polecenia do budowania sokoła wyglądają na bardzo proste, ale zanim pojawi się komunikat Build Success, napotkasz wiele problemów. Napotkałem wiele problemów podczas tworzenia go dla Hadoop-2.2.0

Aby uniknąć bólu związanego z budowaniem Falcona, daję ci pomyślnie zbudowany pakiet falcon, który możesz pobrać za pomocą poniższego linku.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

użycie charat w java

Rozpakuj plik, aby uzyskać katalog falcon-0.10.

Komenda: unzip falcon-0.10-SNAPSHOT.zip

Ustaw zmienne środowiskowe flakonu w pliku .bashrc.

Komenda: sudo gedit .bashrc

Komenda: źródło .bashrc

Możesz przejść do katalogu falcon i zobaczyć znajdujące się w nim pliki i katalogi.

Komenda: cd falcon-0.10-MIGAWKA /

Komenda: ls

Możesz znaleźć skrypty Falcon w katalogu bin.

Uruchom poniższe polecenie, aby uruchomić Falcon.

Komenda: ./bin/falcon-start

Zobaczysz teraz uruchomiony nowy demon FalconServer.

Polecenie: jps

Komenda: ./bin/falcon admin -version

Otwórz przeglądarkę i przejdź do localhost: 15000 . Możesz zobaczyć interfejs sieciowy Falcon.

Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a skontaktujemy się z Tobą.

Powiązane posty:

Drilling Down on Apache Drill