Obsah
Q:
Ako sa môžem naučiť používať program Hadoop na analýzu veľkých údajov?
A:
Softvérová sada Apache známa ako Hadoop sa stáva veľmi populárnym zdrojom riešenia veľkých súborov údajov. Tento typ softvérového rámca na spracovanie údajov bol vytvorený s cieľom pomôcť agregovať údaje konkrétnymi spôsobmi na základe návrhov, ktoré môžu zefektívniť niektoré druhy dátových projektov. Hadoop je len jedným z mnohých nástrojov na spracovanie veľkých súborov údajov.
Jedným z prvých a najzákladnejších spôsobov, ako sa dozvedieť viac o analýze veľkých dát s Hadoop, je porozumieť niektorým z najvyšších komponentov Hadoop a čo robí. Medzi ne patrí „platforma pre správu zdrojov“ Hadoop YARN, ktorá sa dá použiť na určité druhy sieťových nastavení, ako aj sada funkcií Hadoop MapReduce, ktoré sa vzťahujú na veľké súbory údajov. K dispozícii je tiež distribuovaný súborový systém Hadoop (HDFS), ktorý pomáha ukladať údaje v distribuovaných systémoch, aby sa dali rýchlo a efektívne indexovať alebo načítať.
Okrem toho sa tí, ktorí sa chcú zoznámiť s Hadoopom, môžu pozrieť na individuálne publikované zdroje pre profesionálov, ktorí vysvetľujú softvér na relatívnej úrovni. Tento príklad od Chrisa Stucchia na osobnom blogu poskytuje vynikajúci súbor bodov o hre Hadoop a mierke údajov. Jedným zo základných problémov je, že Hadoop sa môže používať častejšie, ako je potrebné, a nemusí byť najlepším riešením pre individuálny projekt. Preskúmanie týchto druhov zdrojov pomôže odborníkom oboznámiť sa s podrobnosťami o používaní Hadoopu v akomkoľvek danom scenári. Stucchio tiež poskytuje metafory na prepojenie funkcií Hadoops s konkrétnymi fyzickými úlohami. Príkladom je tu spočítanie počtu kníh v knižnici, zatiaľ čo funkcia Hadoop môže túto knižnicu rozdeliť na sekcie, pričom jednotlivé počty sa zmiešajú do jedného súhrnného výsledku.
Dôkladnejší spôsob, ako sa odborníci môžu dozvedieť viac o Hadoope a jeho aplikácii na veľké dáta, je prostredníctvom konkrétnych zdrojov a programov odbornej prípravy. Napríklad online vzdelávacia spoločnosť Cloudera, popredný poskytovateľ vzdialených školení, má množstvo zaujímavých možností týkajúcich sa použitia Hadoopu a podobných typov spracovania údajov.