Apache Hive to jeden z najważniejszych frameworków w ekosystemie Hadoop, co z kolei czyni go bardzo istotnym dla . Na tym blogu dowiemy się o instalacji Apache Hive i Hive na Ubuntu.
Co to jest Apache Hive?
Apache Hive to infrastruktura hurtowni danych, która ułatwia tworzenie zapytań i zarządzanie dużymi zbiorami danych, które znajdują się w rozproszonym systemie pamięci masowej. Jest zbudowany na platformie Hadoop i opracowany przez Facebooka. Ul zapewnia sposób wykonywania zapytań dotyczących danych przy użyciu podobnego do SQL języka zapytań o nazwie HiveQL (język zapytań Hive).
Wewnętrznie kompilator tłumaczy HiveQL oświadczenia do MapReduce oferty pracy, które są następnie przekazywane Framework Hadoop do wykonania.
Różnica między Hive i SQL:
Ul wygląda bardzo podobnie do tradycyjnej bazy danych z SQL dostęp. Jednak ponieważ Ul oparta jest na Hadoop i MapReduce operacje, istnieje kilka kluczowych różnic:
Ponieważ Hadoop jest przeznaczony do długich sekwencyjnych skanowań i Ul oparta jest na Hadoop , można oczekiwać, że zapytania będą miały bardzo duże opóźnienia. To znaczy, że Ul nie byłby odpowiedni dla tych aplikacji, które wymagają bardzo krótkich czasów odpowiedzi, czego można się spodziewać po tradycyjnej bazie danych RDBMS.
Wreszcie, Ul jest oparty na odczycie i dlatego nie nadaje się do przetwarzania transakcji, które zazwyczaj obejmuje wysoki procent operacji zapisu.
c ++ stl pytania do wywiadu
Instalacja Hive na Ubuntu:
Aby zainstalować, wykonaj poniższe czynności Apache Hive na Ubuntu:
Krok 1: Ściągnij Ula smoła.
Komenda: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Krok 2: Wyodrębnij plik smoła plik.
Komenda: tar -xzf apache-hive-2.1.0-bin.tar.gz
Komenda: ls
Krok 3: Edytuj plik „.Bashrc” plik, aby zaktualizować zmienne środowiskowe dla użytkownika.
Komenda: sudo gedit .bashrc
Dodaj na końcu pliku:
# Ustaw HIVE_HOME
export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Upewnij się również, że ścieżka hadoop jest również ustawiona.
Uruchom poniższe polecenie, aby zmiany działały w tym samym terminalu.
Komenda: źródło .bashrc
Krok 4: Sprawdź wersję ula.
co jest hashset w java
Krok 5: Stwórz Ul katalogi wewnątrz HDFS . Katalog 'magazyn' to lokalizacja do przechowywania tabeli lub danych związanych z ulem.
Komenda:
- hdfs dfs -mkdir -p / user / hive / storage
- hdfs dfs -mkdir / tmp
Krok 6: Ustaw uprawnienia do odczytu / zapisu dla tabeli.
Komenda:
W tym poleceniu dajemy grupie uprawnienia do zapisu:
- hdfs dfs -chmod g + w / user / hive / storage
- hdfs dfs -chmod g + w / tmp
Krok 7: Zestaw Hadoop ścieżka w godz ive-env.sh
Komenda: cd apache-hive-2.1.0-bin /
Komenda: gedit conf / hive-env.sh
Ustaw parametry, jak pokazano na poniższej migawce.
Krok 8: Edytować hive-site.xml
Komenda: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true Ciąg połączenia JDBC dla metastore JDBC. Aby użyć protokołu SSL do szyfrowania / uwierzytelniania połączenia, podaj flagę SSL specyficzną dla bazy danych w adresie URL połączenia. Na przykład jdbc: postgresql: // myhost / db? Ssl = true dla bazy danych postgres. hive.metastore.warehouse.dir / user / hive / hurtownia Lokalizacja domyślnej bazy danych dla magazynu hive.metastore.uris Identyfikator URI Thrift dla zdalnego magazynu metastore. Używany przez klienta metastore do łączenia się ze zdalnym metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Nazwa klasy sterownika dla metastore JDBC javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory Klasa implementująca trwałość jdo
Krok 9: Domyślnie Hive używa plików derby Baza danych. Zainicjuj bazę danych Derby.
jak używać stringbuffer w java
Komenda: bin / schematool -initSchema -dbType derby
Krok 10 :Uruchomić Ul.
Komenda: ul
Krok 11 :Uruchom kilka zapytań w powłoce Hive.
Komenda: pokaż bazy danych
Komenda: utwórz tabelę pracownika (ciąg identyfikatora, ciąg nazwy, ciąg działu) format wiersza rozdzielane pola zakończone znakiem „” przechowywane jako plik tekstowy
Komenda: pokaż tabele
Krok 12: Aby wyjść z Ul:
Komenda: Wyjście
Po zakończeniu instalacji programu Hive następnym krokiem do przodu jest wypróbowanie poleceń Hive w powłoce Hive. Stąd nasz następny blog „ Najważniejsze polecenia Hive z przykładami w HQL ”Pomoże ci opanować polecenia Roju.
Powiązane posty: