Będąc pakietem hurtowni danych zbudowanym na bazie Hadoop, Apache Hive jest coraz częściej używany do analizy danych, eksploracji danych i modelowania predykcyjnego. Organizacje szukają profesjonalistów, którzy są pewni siebie . W tym poście przyjrzyjmy się, jak uruchamiać skrypty Hive. Ogólnie rzecz biorąc, używamy skryptów do jednoczesnego wykonywania zestawu instrukcji. Skrypty Hive są używane w podobny sposób. Zmniejszy to czas i wysiłek, jaki wkładamy w ręczne pisanie i wykonywanie każdego polecenia.
Skrypty Hive są obsługiwane w wersji Hive 0.10.0 i nowszych. Ponieważ wersja Hive 0.90 jest zainstalowana w CDH3, nie możemy uruchamiać skryptów Hive w CDH3. Możesz wypróbować poniższe kroki w CDH4, ponieważ ma zainstalowaną wersję Hive 0.10.0. Czy wiesz, jak utworzyć skrypt Hive? Jeśli nie, kliknij aby uzyskać więcej wyjaśnień.
Zobaczmy teraz, jak pisać skrypty w Hive i uruchamiać je w CDH4:
Krok 1: Pisanie skryptu Hive.
Aby napisać skrypt Hive, plik powinien zostać zapisany z rozszerzeniem .sql. Otwórz terminal w swojej dystrybucji Cloudera CDH4 i wydaj następujące polecenie, aby utworzyć skrypt Hive.
Komenda: sudo gedit sample.sql
Po wykonaniu powyższego polecenia otworzy plik z listą wszystkich poleceń Hive, które należy wykonać.
W tym skrypcie zostanie utworzona tabela, opisana, a dane zostaną załadowane i pobrane z tabeli.
1. Tworzenie tabeli w gałęzi:
Komenda: utwórz tabelę produkt (productid: int, productname: string, price: float, category: string) wiersze format pola rozdzielane znakami zakończonymi znakiem „,”
odwrócenie liczby w java
Tutaj produkt to nazwa tabeli, a {productid, productname, price, category} to kolumny tej tabeli.
Pola zakończone znakiem „,” wskazują, że kolumny w pliku wejściowym są oddzielone symbolem „,”.
Domyślnie rekordy w pliku wejściowym są oddzielone nowym wierszem.
2. Opis tabeli:
Komenda: opisz produkt
3. Ładowanie danych do tabeli.
Aby załadować dane do tabeli, musimy najpierw utworzyć plik wejściowy zawierający rekordy, które należy wstawić do tabeli.
Utwórzmy plik wejściowy.
Komenda: sudo gedit input.txt
Edytuj zawartość pliku, jak pokazano na rysunku.
4. Pobieranie danych:
Aby pobrać dane, używane jest polecenie wyboru.
struktury danych i algorytmy w samouczku java
Komenda: Wybierz * z produktu
Powyższe polecenie służy do pobrania wartości wszystkich kolumn znajdujących się w tabeli. Skrypt powinien wyglądać tak, jak pokazano na poniższym obrazku.
Teraz skończyliśmy pisać skrypt Hive. Można teraz zapisać plik sample.sql.
Krok 2: Uruchamianie skryptu Hive
Poniżej znajduje się polecenie do uruchomienia skryptu Hive:
Komenda: gałąź –f /home/cloudera/sample.sql
jak używać podciągów w java
Podczas wykonywania skryptu upewnij się, że jest obecna pełna ścieżka do lokalizacji pliku skryptu.
Widzimy, że wszystkie polecenia są wykonywane pomyślnie.
W ten sposób skrypty Hive są uruchamiane i wykonywane w CDH4.
Hive jest kluczowym elementem Hadoop, a Twoja wiedza specjalistyczna w Hive może zapewnić Ci najlepiej płatne prace Hadoop! Edureka ma specjalnie opracowany kurs Hadoop, który pomaga opanować koncepcje, takie jak MapReduce, Yarn, Pig, Hive, HBase, Oozie, Flume i Sqoop. Kliknij poniższy przycisk, aby rozpocząć.
Masz do nas pytanie? Wspomnij o nich w sekcji komentarzy, a my skontaktujemy się z Tobą.
Powiązane posty: