W tym blogu zobaczmy, jak zbudować Spark dla określonej wersji Hadoop.
Dowiemy się również, jak zbudować Sparka za pomocą HIVE i YARN.
co to jest indexof w javascript
Biorąc pod uwagę, że masz Hadoop, jdk, mvn i udać się preinstalowany i wstępnie skonfigurowany w Twoim systemie.
otwarty Przeglądarka Mozilla i pobierz Iskra używając poniższego linku.
https://edureka.wistia.com/medias/k14eamzaza/
Otwórz terminal.
Polecenie: tar -xvf Downloads / spark-1.1.1.tgz
Polecenie: ls
Otwórz katalog spark-1.1.1.
Możesz otworzyć pom.xml plik. Ten plik zawiera informacje o wszystkich plikach zależności potrzebujesz.
Nie edytuj go, aby uniknąć kłopotów.
Polecenie: cd spark-1.1.1 /
Polecenie: sudo gedit sbt / sbt-launch-lib.bash
Edytuj plik jak poniżej migawkę, zapisz go i zamknij.
Zmniejszamy pamięć, aby uniknąć problemu z miejscem na sterty obiektów, jak wspomniano w poniższej migawce.
Teraz uruchom poniższe polecenie w terminalu, aby zbudować iskrę dla Hadoop 2.2.0 z HIVE i YARN.
Polecenie: ./sbt/sbt -P przędza -P ul -Phadoop-2.2 -D hadoop.version = 2,2,0 -D skipTests montaż
Uwaga: Moja wersja Hadoop to 2.2.0, możesz ją zmienić zgodnie z wersją Hadoop.
W przypadku innych wersji Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.version = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Kompilacja i pakowanie zajmie trochę czasu, poczekaj, aż się zakończy.
Dwa słoiki iskra-montaż-1.1.1-hadoop2.2.0.jar i spark-przykłady-1.1.1-hadoop2.2.0.jar zostanie utworzony.
Ścieżka iskra-montaż-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Ścieżka spark-przykłady-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gratulacje, pomyślnie zbudowałeś Spark for Hive & Yarn.
Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.
Powiązane posty:
Apache Spark z Hadoop - dlaczego to ma znaczenie?