Apache Hive -asennus Ubuntulle



Tässä blogissa opit Apache Hive -asennuksesta Ubuntuun ja Hadoop Hive, Hive sql, Hive -tietokanta, Hive-palvelin ja Hive -asennukset.

Apache Hive on yksi tärkeimmistä kehyksistä Hadoopin ekosysteemissä, mikä puolestaan ​​tekee siitä erittäin tärkeän . Tässä blogissa opitaan Apache Hive ja Hive -asennuksista Ubuntussa.

Mikä on Apache Hive?

Apache Hive on tietovarastoinfrastruktuuri, joka helpottaa hajautetussa tallennusjärjestelmässä sijaitsevien suurten tietojoukkojen kyselyä ja hallintaa. Se on rakennettu Hadoopin päälle ja sen on kehittänyt Facebook. Pesä tarjoaa tavan kysellä tietoja SQL-tyyppisellä kyselykielellä nimeltä HiveQL (Hive-kyselykieli).





Sisäisesti kääntäjä kääntää HiveQL lausunnot MapReduce työpaikkoja, jotka sitten lähetetään Hadoop-kehys suoritettavaksi.

Hive ja SQL ero:

Pesä näyttää hyvin samanlaiselta kuin perinteinen tietokanta SQL pääsy. Kuitenkin, koska Pesä perustuu Hadoop ja MapReduce toiminnoissa on useita keskeisiä eroja:



Koska Hadoop on tarkoitettu pitkille peräkkäisille skannauksille ja Pesä perustuu Hadoop , voit odottaa kyselyillä olevan erittäin korkea viive. Se tarkoittaa sitä Pesä ei sovi sovelluksiin, jotka tarvitsevat erittäin nopeita vasteaikoja, kuten voit odottaa perinteisen RDBMS-tietokannan kanssa.

Lopuksi, Pesä on luettu, eikä siksi sovellu tapahtumien käsittelyyn, johon tyypillisesti liittyy suuri prosenttiosuus kirjoitusoperaatioita.

on maisterin tutkinto jatko-tutkinto

Hive-asennus Ubuntu:

Noudata alla olevia ohjeita asentaaksesi Apache Hive Ubuntussa:



Vaihe 1: ladata Hive terva.

Komento: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

Vaihe 2: Pura terva tiedosto.

Komento: tar -xzf apache-hive-2.1.0-bin.tar.gz

Komento: Ls

Levitä Hive File - Hive Installation - Edureka

Vaihe 3: Muokkaa '.Bashrc' tiedosto päivittää ympäristömuuttujat käyttäjälle.

Komento: sudo gedit .bashrc

Lisää seuraava tiedoston loppuun:

# Aseta HIVE_HOME

vie HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
vie PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin

Varmista myös, että myös hadoop-polku on asetettu.

Suorita komento alla, jotta muutokset toimivat samassa terminaalissa.

Komento: lähde .bashrc

Vaihe 4: Tarkista pesän versio.

paras ideo Java-kehitykselle

Vaihe 5: Luoda Pesä sisällä olevat hakemistot HDFS . Hakemisto 'varasto' on paikka, johon taulukko tai pesää koskevat tiedot tallennetaan.

Komento:

  • hdfs dfs -mkdir -p / käyttäjä / pesää / varasto
  • hdfs dfs -mkdir / tmp

Vaihe 6: Aseta taulukon luku- / kirjoitusoikeudet.

Komento:

Tässä komennossa annamme ryhmälle kirjoitusoikeuden:

  • hdfs dfs -chmod g + w / käyttäjä / pesä / varasto
  • hdfs dfs -chmod g + w / tmp

Vaihe 7: Aseta Hadoop polku sisään h ive-env.sh

Komento: cd apache-hive-2.1.0-bin /

Komento: gedit conf / hive-env.sh

Aseta parametrit alla olevan tilannekuvan mukaisesti.

Vaihe 8: Muokata hive-site.xml

Komento: gedit conf / hive-site.xml

javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string for JDBC metastore. Jos haluat käyttää SSL: ää yhteyden salaamiseen / todentamiseen, kirjoita tietokantakohtainen SSL-lippu yhteyden URL-osoitteeseen. Esimerkiksi jdbc: postgresql: // myhost / db? Ssl = true postgres-tietokannalle. hive.metastore.warehouse.dir / user / hive / varastotilan oletustietokannan sijainti hive.metastore.uris Thrift URI etämetastoreen. Metastore-asiakas käyttää yhteyden muodostamiseen etämetastoreen. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Ajuriluokan nimi JDBC-metastoreille javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory -luokan toteuttaminen

Vaihe 9: Oletusarvoisesti Hive käyttää Derby tietokanta. Alusta Derby-tietokanta.

java uusi päivämäärä merkkijonosta

Komento: bin / schematool -initSchema -dbType-derbi

Vaihe 10 :Tuoda markkinoille Pesä.

Komento: pesä

Vaihe 11 :Suorita muutama kysely Hive-kuoressa.

Komento: näytä tietokannat

Komento: luo taulukon työntekijä (id-merkkijono, nimimerkkijono, osastosarja) rivimuotoiset erotetut kentät, jotka päättyvät kirjaimella ‘’ tallennetaan tekstitiedostona

Komento: Näytä taulukot

Vaihe 12: Poistu kohteesta Pesä:

Komento: poistua

Nyt kun olet asentanut Hive-asennuksen, seuraava askel eteenpäin on kokeilla Hive-komentoja Hive-kuoressa. Siksi seuraava blogi ' Suosituimmat pesäkomennot ja esimerkkejä HQL: stä ”Auttaa hallitsemaan Hive-komentoja.

Aiheeseen liittyvät julkaisut:

Kuinka käyttää Hive-komentosarjoja?

Hive-komennot

Johdatus Apache Hiveen