Apache Falcon: Uusi tiedonhallinta-alusta Hadoop-ekosysteemille



Apache Falcon on Hadoop-ekosysteemin uusi tiedonhallintafoorumi, joka yksinkertaistaa syötteen käsittelyä ja syötteen hallintaa hadoop-klustereissa. Opi määrittämään se.

Apache Falcon on kehys tietojen elinkaaren hallintaan Hadoop-klustereissa. Se luo yhteyden Hadoop-ympäristön erilaisten tietojen ja käsittelyelementtien välille ja tarjoaa myös syötteenhallintapalveluja, kuten syötteen säilyttäminen, replikoinnit klustereiden välillä, arkistointi jne.





Keskustelkaamme ensin Apache Falconin asentamisesta. Suorita alla annettu komento ladataksesi Falconin git-arkiston:

Komento: git-klooni https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

Falconin ajamiseksi sinun on ensin rakennettava se.

Komento: CD-haukka



Komento: vienti MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn puhdas asennus -DskipTests

Komento: mvn clean assembly: kokoonpano -DskipTests -DskipITs

Kun olet rakentanut falconin, löydät haukkapaketin hakemistosta / falcon / distro / target / hakemistosta.

Falconin rakentamisen komennot näyttävät erittäin helpoilta, mutta kohtaat paljon ongelmia ennen kuin näet Build Success -viestin. Halusin paljon ongelmia rakentaessani sitä Hadoop-2.2.0: lle

Joten ohittaakseni Falconin rakentamisen tuskan, annan sinulle onnistuneesti rakennetun haukkapaketin, jonka voit ladata alla olevan linkin avulla.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Pura tiedosto saadaksesi falcon-0.10-hakemiston.

Komento: pura haukka-0.10-SNAPSHOT.zip

Aseta flacon-ympäristömuuttujat .bashrc-tiedostoon.

Komento: sudo gedit .bashrc

Komento: lähde .bashrc

Voit siirtyä Falcon-hakemistoon ja nähdä sen sisällä olevat tiedostot ja hakemistot.

Komento: CD-haukka-0.10-SNAPSHOT /

Komento: Ls

system.exit-menetelmä lopettaa sovelluksen.

Löydät haukkojen komentosarjat bin-hakemistosta.

Käynnistä Falcon suorittamalla komento alla.

Komento: ./bin/falcon-start

Näet uuden FalconServer-palvelun käynnissä.

Komento: jps

Komento: ./bin/falcon admin -versio

Avaa selain ja siirry kohtaan paikallinen isäntä: 15000 . Näet Falcon web -käyttöliittymän.

Onko sinulla kysymys meille? Mainitse ne kommenttiosassa ja palaamme sinuun.

Aiheeseen liittyvät julkaisut:

Poraus alas Apache Drill