W tym poście opowiem o Instalacja Apache Pig w systemie Linux . Zacznijmy od podstawowej definicji Apache Pig i Pig Latin.
Apache Pig to narzędzie / platforma do tworzenia i wykonywania programu Map Reduce używanego z Hadoop. Jest to narzędzie / platforma do analizy dużych zbiorów danych. Można powiedzieć, że Apache Pig to abstrakcja w stosunku do MapReduce. Programiści, którzy nie są zbyt dobrzy w Javie, mieli problemy z pracą na Hadoop, głównie podczas pisania zadań MapReduce.Jest to więc ważny temat do nauczenia się i opanowania .Apache Pig ma swój własny język Pig Latin co jest dobrodziejstwem dla biednych programistów.
Podstawowe wprowadzenie do Pig Latin pomoże Ci lepiej zrozumieć:
Język proceduralny wysokiego poziomu używany na platformie Apache Pig nazywa się Pig Latin . Apache Pig zawiera „Pig Latin”, który jest stosunkowo prostszym językiem, który może obsługiwać rozproszone zestawy danych w systemie plików Hadoop (HDFS). W Apache Pig musisz pisać skrypty Pig w języku Pig Latin, które są konwertowane na zadanie MapReduce po uruchomieniu skryptu Pig. Apache Pig ma różne operatory, które są używane do wykonywania zadań, takich jak czytanie, pisanie, przetwarzanie danych. Aby dowiedzieć się więcej o operatorach Apache Pig, przejdź do naszego bloga „ Operatorzy w Apache Pig: Część 1 - Operatory relacyjne ”.
Teraz, gdy masz już podstawową wiedzę na temat Apache Pig, zacznijmy od instalacji Apache Pig w systemie Linux.
Instalacja Apache Pig w systemie Linux:
Poniżej znajdują się kroki instalacji Apache Pig w systemie Linux (ubuntu / centos / windows przy użyciu maszyny wirtualnej z systemem Linux). Używam Ubuntu 16.04 w poniższej konfiguracji.
Krok 1: Ściągnij Świnia smoła plik.
utwórz kopię obiektu java
Komenda: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Krok 2: Wyodrębnij plik smoła plik za pomocą polecenia tar. W poniższym komendzie tar, x oznacza wypakowanie pliku archiwum, z oznacza filtrowanie archiwum przez gzip, fa oznacza nazwę pliku archiwum.
Komenda: tar -xzf pig-0.16.0.tar.gz
Komenda: ls
Krok 3: Edytuj „ .bashrc ”, Aby zaktualizować zmienne środowiskowe Apache Pig. Ustawiamy go tak, abyśmy mogli uzyskać dostęp do pig z dowolnego katalogu, nie musimy przechodzić do katalogu pig, aby wykonać polecenia pig. Ponadto, jeśli jakakolwiek inna aplikacja szuka Pig, pozna ścieżkę Apache Pig z tego pliku.
Komenda: sudo gedit .bashrc
Dodaj na końcu pliku:
# Ustaw PIG_HOME
export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
eksportuj PIG_CLASSPATH = $ HADOOP_CONF_DIR
Upewnij się również, że ścieżka hadoop jest również ustawiona.
co to jest pakiet w java
Uruchom poniższe polecenie, aby zmiany zostały zaktualizowane w tym samym terminalu.
Komenda: źródło .bashrc
Krok 4: Sprawdź wersję świń. Ma to na celu sprawdzenie, czy Apache Pig został poprawnie zainstalowany. W przypadku, gdy nie otrzymasz wersji Apache Pig, musisz sprawdzić, czy poprawnie wykonałeś powyższe kroki.
Komenda: świnia - wersja
Krok 5 :Sprawdź pomoc świni, aby zobaczyć wszystkie opcje poleceń świń.
Komenda: pig -help
najlepszy java ide dla Windows
Krok 6 :Uruchom Pig, aby uruchomić powłokę chrząknięcia. Powłoka Grunt służy do uruchamiania skryptów Pig Latin.
Komenda: świnia
Jeśli spojrzysz na powyższy obraz poprawnie, Apache Pig ma dwa tryby, w których może działać, domyślnie wybiera tryb MapReduce. Innym trybem, w którym możesz uruchomić Pig, jest tryb lokalny. Powiem ci więcej na ten temat.
Tryby wykonania w Apache Pig:
- Tryb MapReduce - Jest to tryb domyślny, który wymaga dostępu do klastra Hadoop i instalacji HDFS. Ponieważ jest to tryb domyślny, nie jest konieczne określanie flagi -x (możesz wykonać świnia LUB pig -x mapreduce ). Wejście i wyjście w tym trybie są obecne na HDFS.
- Tryb lokalny - Dzięki dostępowi do jednego komputera wszystkie pliki są instalowane i uruchamiane przy użyciu lokalnego hosta i systemu plików. Tutaj tryb lokalny jest określany za pomocą „flagi -x” ( pig -x local ). Dane wejściowe i wyjściowe w tym trybie są obecne w lokalnym systemie plików.
Komenda: pig -x local
Możesz obejrzeć poniższe wideo, aby obejrzeć instalację Apache Pig w systemie Linux:
Instalacja Apache Pig | Instalacja świni w systemie Linux | Edureka
Po zakończeniu instalacji Apache Pig w systemie Linux, następnym krokiem jest wypróbowanie kilku relacyjnych operatorów Pig w powłoce Pig Grunt. Stąd następny blog „ Operatorzy w Apache Pig: Część 1 - Operatory relacyjne ”Pomoże ci opanować operatory świń.
Teraz, gdy zainstalowałeś Apache Pig w systemie Linux, sprawdź autorstwa Edureka, zaufanej firmy zajmującej się edukacją online, z siecią ponad 250 000 zadowolonych uczniów rozsianych po całym świecie. Szkolenie Edureka Big Data Hadoop Certification Training pomaga uczniom stać się ekspertami w dziedzinie HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume i Sqoop, wykorzystując przypadki użycia w czasie rzeczywistym w domenie handlu detalicznego, mediów społecznościowych, lotnictwa, turystyki, finansów.
Masz do nas pytanie? Wspomnij o tym w sekcji komentarzy, a my skontaktujemy się z Tobą.