Kun Hadoop otetaan käyttöön perinteisissä yritysratkaisuissa ja tuotantoympäristössä kasvaa Hadoop-käyttöönottoja, Hadoopin käyttö- ja hallintoasiantuntijoiden tarve huolehtia suurista Hadoop-klustereista on tulossa elintärkeäksi.
Hadoop-järjestelmänvalvojan vastuut:
- Vastaa Hadoop-infrastruktuurin toteuttamisesta ja jatkuvasta hallinnoinnista.
- Yhdessä järjestelmäsuunnittelutiimin kanssa ehdottaa ja ottaa käyttöön uusia laitteisto- ja ohjelmistoympäristöjä, joita tarvitaan Hadoopille, ja laajentaa olemassa olevia ympäristöjä.
- Uusien Hadoop-käyttäjien määrittäminen yhdessä tiedonsiirtoryhmien kanssa. Tämä työ sisältää Linux-käyttäjien asettamisen, Kerberosin päämiehien asettamisen ja HDFS-, Hive-, Pig- ja MapReduce-käyttöoikeuksien testaamisen uusille käyttäjille.
- Klusterin ylläpito sekä solmujen luominen ja poistaminen työkaluilla, kuten Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage ja muilla työkaluilla.
- Hadoop-klustereiden ja Hadoop-kartan suorituskyvyn viritys Vähennä rutiineja.
- Screen Hadoop-klusterityön suorituskyky ja kapasiteetin suunnittelu
- Seuraa Hadoop-klusterin liitettävyyttä ja tietoturvaa
- Hallitse ja tarkista Hadoop-lokitiedostoja.
- Tiedostojärjestelmän hallinta ja valvonta.
- HDFS-tuki ja ylläpito.
- Tiivistä yhteistyötä infrastruktuuri-, verkko-, tietokanta-, sovellus- ja yritystietoryhmien kanssa korkean tiedon laadun ja saatavuuden takaamiseksi.
- Yhteistyö sovellusryhmien kanssa asennettaessa käyttöjärjestelmä- ja Hadoop-päivitykset, korjaustiedostot, version päivitykset tarvittaessa.
- Toimittajan eskalaation yhteyspiste
Hadoop Administration on palkitseva ja tuottoisa ura, jolla on runsaasti kasvumahdollisuuksia. Jos yllä luetellut työtehtävät kiinnostavat sinua, on aika perehtyä Hadoop Administrationiin ja päästä Hadoop Admin -urapolulle.
kuinka skannata hahmo java
HBA-järjestelmänvalvojan suorittamat DBA-velvollisuudet:
- Tietomallinnus, suunnittelu ja toteutus tunnustettujen standardien perusteella.
- Ohjelmiston asennus ja konfigurointi.
- Tietokannan varmuuskopiointi ja palautus.
- Tietokantayhteydet ja suojaus.
- Suorituskyvyn seuranta ja viritys.
- Levytilan hallinta.
- Ohjelmistopaketit ja päivitykset.
- Automatisoi manuaaliset tehtävät.
Hadoopin järjestelmänvalvojan suorittamat DWH: n kehitysvastuut:
DWH: n järjestelmänvalvojien työtehtäviin kuuluu erätöiden kehittäminen, testaaminen ja seuranta seuraavia tehtäviä varten:
- Varmista viitteiden eheys.
- Suorita ensisijainen avain.
- Suorita tietojen uudelleenmäärittelyt.
- Lataa suuria tietomääriä ajoissa.
Nyt kun tiedät Hadoop-järjestelmänvalvojan työtehtävistä, katsotaanpa taitoja, joita hänellä on oltava.
Hadoopin järjestelmänvalvojaksi vaadittavat taidot:
- Yleistä operatiivista asiantuntemusta, kuten hyvät vianetsintätaidot, järjestelmän kapasiteetin ymmärtäminen, pullonkaulat, muistin, CPU: n, käyttöjärjestelmän, tallennustilan ja verkkojen perusteet.
- Hadoop-taidot kuten HBase, Hive, Pig, Mahout jne.
- Keskeisimmät vaatimukset ovat: Heidän on voitava ottaa käyttöön Hadoop-klusteri, lisätä ja poistaa solmuja, seurata töitä, seurata klusterin kriittisiä osia, määrittää nimisolmun korkea käytettävyys, ajastaa ja konfiguroida se sekä ottaa varmuuskopioita.
- Hyvä Linux-tuntemus, kun Hadoop toimii Linuxissa.
- Tunnetaan avoimen lähdekoodin kokoonpanon hallinta ja käyttöönottotyökalut, kuten Puppet tai Chef ja Linux-komentosarjat.
- Java-sovellusten vianmäärityksen tuntemus on plus.
Edureka on erityisesti kuratoinut kurssin Hadoop Administrationista. Napsauta alla olevaa painiketta aloittaaksesi Hadoop Administrationin käytön ja oppiaksesi kuinka kurssi auttaa sinua tulemaan Hadoop Administratoriksi.
Aiheeseen liittyvät julkaisut:
kiertotien ajoitusalgoritmi c: ssä