Big Data on viime aikoina todellakin ollut riittävän hyped, joten sen tuntemana ammattitaitoisina ammattilaisina. Ensisijaisten taitojesi käyttämättä jättäminen ja nollasta lähteminen ei ole aina helppoa työtä. Neliön leikkausten hyödyntäminen ja sopeutuminen heijastimiin tekee kuitenkin ihmeitä sinulle. Bingo, puhumme Big Datan oppimisesta ETL-tekniikan avulla.
Tiedonmuunnoksen työnkulkuja suunnittelevat ETL-kehittäjät voivat käyttää työkaluja ja kääntää työnkulut Hadoop-töihin. Hadoop on avoimen lähdekoodin kehys, jota käytetään laajasti BigDatan käsittelemiseen MapReduce-ohjelman avulla (joka on toinen avoimen lähdekoodin tekniikka, joka auttaa käsittelemään suuria määriä tietoja Hadoopissa). Suurimman osan ajasta ammattitaitoisten resurssien löytäminen Big Datasta voi olla haastavaa.
Jos ETL-kehittäjän on löydettävä yli miljoona pyyntöä tehneet IP-osoitteet pankin verkkosivustolta, hänen on kirjoitettava MapReduce-työ, joka käsittelee Hadoopiin tallennettuja verkkolokitietoja. . ETL-tekniikan kehittyessä työn kehittäjä voi kuitenkin käyttää standardeja ETL-suunnittelutyökaluja luoda ETL-vuon, joka voi lukea tietoja useista Hadoopin lähteistä (Files, Hive, HBase), liittää, koota, suodattaa ja muuttaa tietoja löytääksesi vastauksen IP-osoitteiden kyselyyn.
Talend on ainoa graafisen käyttöliittymän työkalu, joka pystyy 'kääntämään' ETL-työn MapReduce-työhön. Siten Talend ETL -työ suoritetaan MapReduce-työpaikkana Hadoopissa ja saat isot tietotyöt valmiiksi muutamassa minuutissa. Tämä on keskeinen innovaatio, joka auttaa vähentämään pääsyn esteitä Big Data -tekniikassa ja antaa ETL-työn kehittäjille (aloittelijoille ja edistyneille) mahdollisuuden suorittaa Data Warehouse -kuormituksen purkamista suuremmassa määrin.
Elämä Big Data -kaupungissa on paljon helpompaa Talendin kanssa
Graafinen abstraktikerros Hadoop-sovellusten päällä - tämä helpottaa elämää niin paljon Big Data -maailmassa.
Talendin sanat: 'Talend on avoimen lähdekoodin integroinnin innovoijana ja johtajana toimivan historiamme mukaisesti ensimmäinen toimittaja, joka tarjoaa puhtaan avoimen lähdekoodin ratkaisun mahdollistamaan big data -integrointi . Talend Open Studio for Big Data kerää helppokäyttöisen graafisen kehitysympäristön tehokkaiden Hadoop-sovellusten päälle ja tekee siitä isojen tietojen hallinta saatavilla useammalle yritykselle ja kehittäjälle kuin koskaan ennen.
Talend Open Studio for Big Data -ohjelman avulla Eclipse-pohjaisen graafisen työtilan avulla kehittäjä ja datatieteilijä voivat hyödyntää Hadoopin lataus- ja käsittelytekniikoita, kuten HDFS, HBase, Hive ja Pig, kirjoittamatta. Hadoop-sovellus koodi. Valitsemalla yksinkertaisesti graafiset komponentit paletista, järjestämällä ja määrittämällä ne voit luoda Hadoop-töitä. Esimerkiksi:
Salesforce-kehittäjien opas aloittelijoille
- Lataa tiedot HDFS: ään (Hadoop Distributed File System)
- Käyttää Hadoop Possu tietojen muuntamiseksi HDFS: ssä
- Lataa tiedot a Hadoop Hive perustuva tietovarasto
- Suorita ELT (pura, lataa, muunna) -aggregaatiot Hivessa
- Vipu Sqoop relaatiotietokantojen ja Hadoopin integroimiseksi
Hadoop-sovellukset, integroitu saumattomasti muutamassa minuutissa Talendin avulla.
Jotta Hadoop-sovellukset ovat todella organisaatiosi käytettävissä, ne on integroitava sujuvasti yleisiin tietovirtoihisi. Talend Open Studio for Big Data on ihanteellinen työkalu Hadoop-sovellusten integroimiseksi laajempaan dataarkkitehtuuriin. Talend tarjoaa enemmän sisäänrakennettuja liitinkomponentteja kuin mikään muu saatavilla oleva integrointiratkaisu, enemmän kuin 800 liitintä joiden avulla on helppo lukea tai kirjoittaa mistä tahansa tärkeästä tiedostomuodosta, tietokannasta tai pakatusta yrityssovelluksesta. Esimerkiksi Talend Open Studio for Big Data -sovelluksessa voit käyttää vedä pudota -määrityskomponentteja luomaan tietojen integrointivirrat, jotka siirtävät tietoja rajattuista lokitiedostoista Hadoop Hiveen, suorittavat toimintoja Hivessa ja poimivat tietoja Hivesta MySQL-tietokantaan. (tai Oracle, Sybase, SQL Server ja niin edelleen).
Haluatko nähdä, kuinka helppoa voi olla työskennellä huippuluokan Hadoop-sovellusten kanssa?
Ei tarvitse odottaa - Talend Open Studio for Big Data on avoimen lähdekoodin ohjelmisto, joka on ilmainen ladata ja jota käytetään Apache-lisenssillä.
Keskustelu kaupungissa
Talend on ollut aVisionääri Magic Quadrantissa tietojen integrointityökaluilleVuodesta 2009. He ovat viime aikoina nousseet myös edelläkävijöiksi tietojen laadun ja MDM: n alueella sekä kaikissa ainesosissa fantastisen Big Data -annoksen valmistamiseksi.
He väittävät, että 'Big Data Integration parantaa organisaation suorituskykyä ja skaalautuvuutta 45 prosenttia'.
Vain Talend 5.5 (ja uudemmat) antaa kehittäjille mahdollisuuden luoda korkean suorituskyvyn Hadoop-koodia tarvitsematta olla MapReduce- tai Pig-asiantuntijoita.
Muutama kuukausi sitten eräässä Talendin artikkelissa sanottiin: 'Hadoopin käyttöönotto kasvaa taivaalle, ja suuret ja pienet yritykset kamppailevat löytääkseen tarpeeksi osaavia Hadoop-kehittäjiä vastaamaan tähän kasvavaan kysyntään'. Vain Talend 5.5 sallii tietojen integrointikehittäjien käyttää visuaalista kehitysympäristöä luodakseen alkuperäisen, korkean suorituskyvyn ja erittäin skaalautuvan Hadoop-koodin. Tämä avaa suuren joukon kehitysresursseja, jotka voivat nyt osallistua big data -projekteihin. Lisäksi Talend pysyy Hadoopin uusien kehitysten kärjessä, jotka mahdollistavat big data -analytiikkaprojektien reaaliaikaisen asiakasvuorovaikutuksen.
kuinka lajitella taulukko c ++
Talend for Big Data voi auttaa ymmärtämään organisaatioita keräämällä tietoaineistoja heterogeenisistä lähdekoodijärjestelmistä - kuten kolmannet osapuolet, sovellusliittymät ja sosiaalisen verkostoitumisen syötteet - ja muuttamalla nämä tiedot visuaaliseksi kuvaksi loppupään asiakasmatkasta.
Olipa kyse pankkialasta, lääketeollisuudesta, sähköisestä kaupankäynnistä ja vakuutuksista - Talend voi integroida tietoja missä tahansa mittakaavassa helposti sekoitettavaksi Hadoopin kanssa.
Käytä koteloita ympäri maailmaa
Big data on kaikkialla markkinointikampanjoista pankkialan asiakaspalveluun petosten havaitsemiseen.
Pelkästään avoimen lähdekoodin versiossa on yli 800 yli liitintä, ja se väittää olevansa suurin eniten tuettu alusta, johon voi muodostaa yhteyden mihin tahansa ja voi hakea kaiken.
Muuttuvan mallin ja NoSQL: n, avoimen lähdekoodin, Hadoopin suuntaan Big Data- ja ETL-tyylin oppimisen valinta Talendin avulla olisi loogisin päätös kaikille, jotka käsittelevät tietoja missä tahansa muodossa ja milloin tahansa.
Yhteenvetona voidaan todeta, että ETL-työkalut eivät ole läheskään passeja. Ne ovat keskeisiä Big Data -ekosysteemissä ja niillä on ratkaiseva rooli tietojen analytiikan mahdollistamisessa.
Siksi Talend loistaa sanomalla 'Zero to Big Data ilman koodausta, alle 10 minuutissa'.
Onko sinulla kysymys meille? Mainitse ne kommenttiosassa ja palaamme sinuun.
Aiheeseen liittyvät julkaisut:
mitä .format tekee pythonissa