Jos olet jo kotoisin IT-teollisuus , sinun täytyy olla tietoinen siitä Suuri data on päivän puhe. Olkoon se sitten uusia startup-yrityksiä, jotka keksivät innovatiivisia liiketoimintamalleja, tai kollegoitasi, jotka ovat siirtymässä liittymään näihin startup-yrityksiin, jostain syystä tämän päivän vihreämmät laitumet näyttävät olevan Suuri data ala.
Jos mietit miksi, suosittelen, että luet tämän loppuun asti, koska tämä voi olla itsestään tutkiva blogi, joka johtaa sinut siihen, mihin olet tarkoitettu.
Joten miksi tämä kaikkiHYPEympäröivä SUURI DATA?
Onko se vain toinen alue, joka pakenee väliaikaisesti pakolaisia kaikista muista alueista? Vai onko se täällä kaukoliikenteessä?
Jos tekisin arvauksen, sanoisin sen paitsi, että se tulee olemaan täällä myös kaukoliikenteessä, mutta Big Data -teollisuus tulee olemaan teknisen kehityksen keskipisteessä.
Koska kaikki on kyseTIEDOT!
Aivan kuin aurinkonouseealkaenItäänjasarjatettäLänteen, tietojenkäsittelylaitteiden / ei-laskentalaitteiden jatkuva käyttö johtaa hallitsemattomien tietojen puhkeamiseen.
Kun nämä tiedot ylittävät kynnysarvon, Excelin tai minkä tahansa tietokannan hallintajärjestelmän on käsiteltävä sitä SUURI DATA .
Ajattele, mikä oli viimeisin tuote, jonka ostit Amazonilta? Mikä voi olla seuraava tuote, jonka saatat ostaa aikaisemman toiminnan perusteella? Vastaukset tällaisiin kysymyksiin tallennetaan Big Data -palveluun.
Onko tuotteen takana kasvava trendi? Vai onko suuntaus laskussa? Ostaako asiakas 'sukat' ostaessaan kengät? Nämä ovat liiketoiminnan ongelmanratkaisukysymyksiä.
Ja nämä kysymykset voivat olla helposti vastasi käyttämällä Big Data Analytics .
Loppujen lopuksi, mikä on tietojen käyttö, kun et ole analysoimalla se?
Joten, on Big DatatäysinAnalytics?Ei täysin, mutta Analytics on peruspalkinto.
Muita Big Datan suuria virtoja ovatVarastointijaJohto.
Täällä sinä ammattilaisena voit osallistua. Voit ottaa jommankumman roolin:
- Big Data -insinööri
- Big Data Solution -arkkitehti
Ja varmista, että syntyvä iso data on aina käytettävissä ja että sitä voidaan käyttää analyyseihin myöhemmin. Joten tämä johtaa meidät kysymykseen & hellip
Missä Big Data on tallennettu?
Voidaanko sitä säilyttääExcel-tiedosto? Voidaanko se tallentaa arelaatiotietokantajärjestelmä?
Ei helvetissä!
Jos se olisi voinut olla, niin se olisi ollut!
Ja kutsutaan jotain erilaista yhdessä. Ehkä jotainExcel-datataiRDBMS-data: D
Ja se veisi meidät takaisin VAIHE 1 : - Miksi Big Dataa ei voida hallita Excelillä? KoskaBig Data on aivan liian kuuma Excelin käsittelemiseksi. Ja jopa muut tietokantojen hallintajärjestelmät tosiasiassa.
Joten mikä on vaihtoehto?
Big Datan käsittelyyn meillä on HADOOP . Saatat olla tietoinen myös tästä sanasta. Mutta saatat miettiä, miten se tarkalleen toimii?
tietotyyppien suoratoisto jaavassa
Ensinnäkin HADOOP on tuotteenAPACHE-säätiö. Apache on yhdysvaltalainen voittoa tavoittelematon organisaatio, joka tukee avoimen lähdekoodin ohjelmistojen kehittämistä.
Hadoop on määritelty avoimen lähdekoodin Java-pohjaiseksi ohjelmointikehykseksi, joka tukee erittäin suurten tietojoukkojen käsittelyä ja tallennusta hajautetussa laskentaympäristössä.
Mitä Hadoop voi tehdä, mutta Excel ei?
Käsittele ja ymmärrä strukturoimaton data!Taulukkomuodossa tai muuten strukturoidut tiedot voidaan helposti käsitellä. Excel voi tehdä sen, samoin kuin muutkin RDBMS.
Mutta kun luettavuus heikkenee ja tiedot ovat rakentumattomia, silloin Big Datatyökaluja, kuten Hadooppisteet. Esimerkki strukturoimattomasta tiedosta on syslog . Näytekuva on alla.
Tällaisia lokeja ei todellakaan voida kysellä Excelillä.
luokan polun asettaminen jaavalle
Hadoop, kuten Big Data -työkalut, voi ymmärtää dataa sellaisenaan, paljastamalla malleja ja muodostamalla suhteita eri alojen välille. Ja kun datalla on relaatio, se onAnalytics-valmis.
Analytics on se, mikä vaikuttaa liiketoimintaan organisaatiossa! Urasi hyödyttää suuresti sen osallistumista tähän Big Data -verkkotunnukseen.
' Voinko tehdä sen Hadooperina? '
… Voi olla seuraava mielesi kysymys. Ja oikein ajateltu, että Big Data on markkinat, jotka ovat yhtä kuumia kuin koskaan ja yhtä tärkeitä kuin koskaan.
Ilman Hadoopia yrityksillä on vaikeuksia käsitellä Big Dataa. Ja ilman ammattitaitoisia ammattilaisia, kuten sinä, yrityksillä on vaikeuksia käsitellä Hadoopia.
On raportti, jossa todetaan, että tällä alalla on lahjakasvajetta, koska alijäämävaje tarkoittaa vähemmän ammattilaisia, mutta suurta kysyntää. Ja tämä on maailmanlaajuista eikä rajoitu tiettyyn maantieteelliseen alueeseen.
Haluatko numeroita?
TO McKinsey Global Institute Tutkimuksessa todetaan, että Yhdysvalloissa on pulaa noin 190 000 datatieteilijästä ja 1,5 miljoonasta johtajasta ja analyytikosta, jotka pystyvät ymmärtämään ja tekemään päätöksiä Big Datan avulla vuoteen 2018 mennessä.
Ura-neuvoja sinulle? Surffaa, kun vuorovesi on matala!
Mutta oletko sinä rajoitettu vain Hadoop ?
Ei oikeastaan. Big Datan käsittelyyn on olemassa useita työkaluja, ja Hadoopia pidetään yhtenä parhaista. Mutta ei aina!
On aikoja, jolloin Hadoop ei sovi parhaiten. Esimerkiksi, jos olet ei-tekninen henkilö, joka ei ole kovin hyvä kirjoittamaan MapReduce-ohjelmia.
Tällaisissa tapauksissa voit käyttääKALENTTI, joka antaa sinulle graafisen käyttöliittymän tekemään mitä ikinä muutoin olisit tehnyt MapReducella.
Voit käyttää yksinkertaisempien Java-koodien kirjoittamiseenSIKA.
Jos haluat suorittaa SQL-tyyppisiä kyselyjä Big Data -palvelussa, sittenPESÄvoidaan käyttää.
Jos haluat käyttää NoSQL-tietokantaan tallennettuja tietoja, sittenHBasevoidaan käyttää.
Voit käyttää analyysia reaaliajassaKIPINÄ.
Nämä ovat Big Data -työkaluja, jotka kulkevat käsi kädessä Hadoopin kanssa, mutta eivät kuitenkaan korvaa Hadoopia lainkaan. Ne ovat Hadoop-lisäosia Big Data -palveluun.
Lisäksi on olemassa pari muuta työkalua, kuten SQOOP, FLUME, OOZIE jne., Jotka voidaan integroida Hadoop-kehykseen erilaisten liiketoimintaongelmien ratkaisemiseksi.
Mitä ala odottaa sinulta big data -asiantuntijana?
Teollisuus tarvitsee kipeästi SUURET TIEDOT ARKITEHIT kuka voi rakentaa kokonaisvaltaisen big data -ratkaisun organisaatioilleen. Big Data -arkkitehdit ovat asiantuntijoita kaikissa edellä mainituissa työkaluissa.
Tässä on Edurekan oppijan todistus kurssi:
Tulla alkaen Edurekan Big Data And Hadoop -sertifiointikoulutuksesta, joka auttaa oppijoita tulemaan HDFS-, Lanka-, MapReduce-, Pig-, Hive-, HBase-, Oozie-, Flume- ja Sqoop-asiantuntijoiksi reaaliaikaisilla käyttötapauksilla vähittäiskaupan, sosiaalisen median, ilmailun, matkailun ja rahoituksen aloilla. .