Nauczyliśmy się, jak to zrobić Zbuduj Hive i Yarn na Spark . Teraz wypróbujmy przykłady Hive i Yarn na platformie Spark.
Przykład ula na Spark
Uruchomimy przykład Hive na platformie Spark. Stworzymy tabelę, załadujemy dane w tej tabeli i wykonamy proste zapytanie. Podczas pracy z Hive należy skonstruować plik HiveContext który dziedziczy z SQLContext .
Komenda: cd spark-1.1.1
Komenda: ./bin/spark-shell
Utwórz plik wejściowy 'próba' w twoim katalogu domowym, jak poniżej migawka (oddzielona tabulatorami).
różnica między rzutami a rzutami w java
Komenda: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Komenda: sqlContext.sql ('UTWÓRZ TABELĘ, JEŚLI NIE ISTNIEJE test (nazwa STRING, pozycja INT) ROW FORMAT DELIMITED POLES ZAKOŃCZONE PRZEZ„ LINES TERMINATED BY '
„”)
Komenda: sqlContext.sql („LOAD DATA LOCAL INPATH„ / home / edureka / sample ”INTO TABLE test”)
Komenda: sqlContext.sql („SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Przykład przędzy na Spark
Uruchomimy przykład SparkPi na Yarn. Możemy wdrożyć Yarn na Spark w dwóch trybach: trybie klastra i trybie klienta. W trybie klastra przędzy sterownik Spark działa w głównym procesie aplikacji zarządzanym przez Yarn w klastrze, a klient może odejść po zainicjowaniu aplikacji. W trybie klienta przędzy sterownik działa w procesie klienta, a aplikacja główna jest używana tylko do żądania zasobów z Yarn.
Komenda: cd spark-1.1.1
Komenda: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-rdzenie 1 przykłady / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
Po wykonaniu powyższego polecenia poczekaj chwilę, aż otrzymasz SUCCEED wiadomość.
Przeglądaj localhost: 8088 / klaster i kliknij aplikację Spark.
czym jest wizualizacja danych w tableau
Kliknij dzienniki .
Przekaż wartość Przekaż przez odwołanie java
Kliknij stdout aby sprawdzić wyjście.
Aby wdrożyć Yarn na platformie Spark w trybie klienta, po prostu wykonaj –Deploy-mode tak jak 'klient'. Teraz wiesz, jak zbudować Hive i Yarn na Spark. Zrobiliśmy też na nich ćwiczenia.
Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.
powiązane posty
Apache Spark z Hadoop - dlaczego to ma znaczenie?
Hive & Yarn elektryzują się iskrą