Suhteelliset tietokannat riittivät pitkään käsittelemään pieniä tai keskisuuria aineistoja. Mutta tietojen valtava nopeus tekee perinteisestä lähestymistavasta tietojen tallentamiseen ja hakemiseen mahdotonta. Tämä ongelma ratkaistaan uudemmilla tekniikoilla, jotka pystyvät käsittelemään Big Dataa. Hadoop, Hive ja Hbase ovat suosittuja alustoja tällaisten suurten tietojoukkojen käyttämiseen. NoSQL tai ei vain SQL-tietokannat, kuten MongoDB, tarjoavat mekanismin tietojen tallentamiseksi ja noutamiseksi häviäjien johdonmukaisuusmallissa, kuten:
- Vaakasuuntainen skaalaus
- Parempi saatavuus
- Nopeampi pääsy
MongoDB-suunnittelutiimi on äskettäin päivittänyt Hadoopin MongoDB-liittimen integraation parantamiseksi. Näin Hadoop-käyttäjien on helpompi:
mitä eroa javascriptin ja jqueryn välillä on
- Integroi MongoDB: n reaaliaikaiset tiedot Hadoopin kanssa syvää, offline-analytiikkaa varten.
- Liitin paljastaa Hadoopin MapReducen analyyttisen voiman eläviin sovellustietoihin MongoDB: ltä, mikä kasvattaa arvoa isoista tiedoista nopeammin ja tehokkaammin.
- Liitin esittelee MongoDB: tä Hadoop-yhteensopivana tiedostojärjestelmänä, jonka avulla MapReduce-työ voidaan lukea MongoDB: stä suoraan kopioimatta sitä ensin HDFS: ään (Hadoop File System), mikä poistaa tarpeen siirtää teratavua dataa verkon yli.
- MapReduce-työt voivat välittää kyselyjä suodattimina, välttäen siten tarvetta skannata kokonaisia kokoelmia, ja ne voivat myös hyödyntää MongoDB: n runsaita indeksointimahdollisuuksia, kuten paikkatietoa, tekstihakua, taulukkoa, yhdistelmiä ja harvoja hakemistoja.
- MongoDB: ltä lukemalla Hadoop-töiden tulokset voidaan myös kirjoittaa takaisin MongoDB: lle tukemaan reaaliaikaisia toimintaprosesseja ja tapauskohtaista kyselyä.
Hadoopin ja MongoDB: n käyttötapaukset:
Tarkastellaan korkean tason kuvausta siitä, kuinka MongoDB ja Hadoop sopivat yhteen tyypilliseen Big Data -pinoon. Ensisijaisesti meillä on:
- MongoDB käytetään Reaaliaikainen ”operatiivinen” tietovarasto
- Hadoop offline-erätietojen käsittely ja analyysi
Lue tietää miksi ja kuinka yritykset ja organisaatiot, kuten Aadhar, Shutterfly, Metlife ja eBay, käyttivät MongoDB: tä .
MongoDB: n ja Hadoopin käyttö eräyhdistelmässä:
Useimmissa tilanteissa MongoDB: n tarjoama sisäänrakennettu yhdistämistoiminto on riittävä tietojen analysointiin. Joissakin tapauksissa tietojen yhdistäminen saattaa kuitenkin olla huomattavasti monimutkaisempaa. Tässä Hadoop voi tarjota tehokkaan kehyksen monimutkaiselle analytiikalle.
Tässä skenaariossa:
- Tiedot haetaan MongoDB: ltä ja käsitellään Hadoopissa yhden tai useamman MapReduce-työn kautta. Tietoja voidaan hankkia myös muualta näistä MapReduce-työpaikoista monidatalähteen ratkaisun kehittämiseksi.
- Näiden MapReduce-töiden tulos voidaan sitten kirjoittaa takaisin MongoDB: lle myöhempää kyselyä varten ja mahdollisia analyyseja varten tapauskohtaisesti.
- MongoDB: n päälle rakennetut sovellukset voivat siksi käyttää eräanalytiikan tietoja loppuasiakkaalle esittämiseen tai muiden loppupään ominaisuuksien käyttöönottoon.
Sovellus tietovarastossa:
Tyypillisissä tuotantoasetuksissa sovelluksen tiedot voivat sijaita useissa tietovarastoissa, joilla kullakin on oma kyselykieli ja -toiminnot. Näiden skenaarioiden monimutkaisuuden vähentämiseksi Hadoopia voidaan käyttää tietovarastona ja se voi toimia keskitettynä tietolähteenä eri lähteistä.
Tällaisessa tilanteessa:
mikä on skanneri java
- MääräajokarttaVähennä töiden lataustiedot MongoDB: ltä Hadoopiin.
- Kun MongoDB: n ja muiden lähteiden tiedot ovat saatavilla Hadoopissa, suurempaa aineistoa voidaan kysyä.
- Data-analyytikoilla on nyt mahdollisuus käyttää joko MapReducea tai Pigia luomaan työpaikkoja, jotka kyselevät suurempia aineistoja, jotka sisältävät tietoja MongoDB: ltä.
MongoDB: n takana työskentelevä tiimi on varmistanut, että integroimalla sen runsaasti Big Data -tekniikoihin, kuten Hadoop, se pystyy integroitumaan hyvin Big Data Stackiin ja auttamaan ratkaisemaan joitain monimutkaisia arkkitehtonisia kysymyksiä tietojen tallennuksessa, hakemisessa, käsittelyssä, yhdistämisessä ja varastoinnissa. . Pysy kuulolla tulevasta uramahdollisuuksistamme niille, jotka aloittavat Hadoopin MongoDB: n kanssa. Jos työskentelet jo Hadoopin kanssa tai haet vain MongoDB: tä, tutustu MongoDB: lle tarjoamiin kursseihin