Apache Hive on yksi tärkeimmistä kehyksistä Hadoopin ekosysteemissä, mikä puolestaan tekee siitä erittäin tärkeän . Tässä blogissa opitaan Apache Hive ja Hive -asennuksista Ubuntussa.
Mikä on Apache Hive?
Apache Hive on tietovarastoinfrastruktuuri, joka helpottaa hajautetussa tallennusjärjestelmässä sijaitsevien suurten tietojoukkojen kyselyä ja hallintaa. Se on rakennettu Hadoopin päälle ja sen on kehittänyt Facebook. Pesä tarjoaa tavan kysellä tietoja SQL-tyyppisellä kyselykielellä nimeltä HiveQL (Hive-kyselykieli).
Sisäisesti kääntäjä kääntää HiveQL lausunnot MapReduce työpaikkoja, jotka sitten lähetetään Hadoop-kehys suoritettavaksi.
Hive ja SQL ero:
Pesä näyttää hyvin samanlaiselta kuin perinteinen tietokanta SQL pääsy. Kuitenkin, koska Pesä perustuu Hadoop ja MapReduce toiminnoissa on useita keskeisiä eroja:
Koska Hadoop on tarkoitettu pitkille peräkkäisille skannauksille ja Pesä perustuu Hadoop , voit odottaa kyselyillä olevan erittäin korkea viive. Se tarkoittaa sitä Pesä ei sovi sovelluksiin, jotka tarvitsevat erittäin nopeita vasteaikoja, kuten voit odottaa perinteisen RDBMS-tietokannan kanssa.
Lopuksi, Pesä on luettu, eikä siksi sovellu tapahtumien käsittelyyn, johon tyypillisesti liittyy suuri prosenttiosuus kirjoitusoperaatioita.
on maisterin tutkinto jatko-tutkinto
Hive-asennus Ubuntu:
Noudata alla olevia ohjeita asentaaksesi Apache Hive Ubuntussa:
Vaihe 1: ladata Hive terva.
Komento: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Vaihe 2: Pura terva tiedosto.
Komento: tar -xzf apache-hive-2.1.0-bin.tar.gz
Komento: Ls
Vaihe 3: Muokkaa '.Bashrc' tiedosto päivittää ympäristömuuttujat käyttäjälle.
Komento: sudo gedit .bashrc
Lisää seuraava tiedoston loppuun:
# Aseta HIVE_HOME
vie HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
vie PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Varmista myös, että myös hadoop-polku on asetettu.
Suorita komento alla, jotta muutokset toimivat samassa terminaalissa.
Komento: lähde .bashrc
Vaihe 4: Tarkista pesän versio.
paras ideo Java-kehitykselle
Vaihe 5: Luoda Pesä sisällä olevat hakemistot HDFS . Hakemisto 'varasto' on paikka, johon taulukko tai pesää koskevat tiedot tallennetaan.
Komento:
- hdfs dfs -mkdir -p / käyttäjä / pesää / varasto
- hdfs dfs -mkdir / tmp
Vaihe 6: Aseta taulukon luku- / kirjoitusoikeudet.
Komento:
Tässä komennossa annamme ryhmälle kirjoitusoikeuden:
- hdfs dfs -chmod g + w / käyttäjä / pesä / varasto
- hdfs dfs -chmod g + w / tmp
Vaihe 7: Aseta Hadoop polku sisään h ive-env.sh
Komento: cd apache-hive-2.1.0-bin /
Komento: gedit conf / hive-env.sh
Aseta parametrit alla olevan tilannekuvan mukaisesti.
Vaihe 8: Muokata hive-site.xml
Komento: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC connect string for JDBC metastore. Jos haluat käyttää SSL: ää yhteyden salaamiseen / todentamiseen, kirjoita tietokantakohtainen SSL-lippu yhteyden URL-osoitteeseen. Esimerkiksi jdbc: postgresql: // myhost / db? Ssl = true postgres-tietokannalle. hive.metastore.warehouse.dir / user / hive / varastotilan oletustietokannan sijainti hive.metastore.uris Thrift URI etämetastoreen. Metastore-asiakas käyttää yhteyden muodostamiseen etämetastoreen. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Ajuriluokan nimi JDBC-metastoreille javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory -luokan toteuttaminen
Vaihe 9: Oletusarvoisesti Hive käyttää Derby tietokanta. Alusta Derby-tietokanta.
java uusi päivämäärä merkkijonosta
Komento: bin / schematool -initSchema -dbType-derbi
Vaihe 10 :Tuoda markkinoille Pesä.
Komento: pesä
Vaihe 11 :Suorita muutama kysely Hive-kuoressa.
Komento: näytä tietokannat
Komento: luo taulukon työntekijä (id-merkkijono, nimimerkkijono, osastosarja) rivimuotoiset erotetut kentät, jotka päättyvät kirjaimella ‘’ tallennetaan tekstitiedostona
Komento: Näytä taulukot
Vaihe 12: Poistu kohteesta Pesä:
Komento: poistua
Nyt kun olet asentanut Hive-asennuksen, seuraava askel eteenpäin on kokeilla Hive-komentoja Hive-kuoressa. Siksi seuraava blogi ' Suosituimmat pesäkomennot ja esimerkkejä HQL: stä ”Auttaa hallitsemaan Hive-komentoja.
Aiheeseen liittyvät julkaisut: