Aké sú výhody rámca Hadoop 2.0 (YARN)?

Obsah

• Čo je rámec YARN?
• Obmedzenia rámca Hadoop 1.0
• Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
• YARN Framework a jeho výhody
• záver

Zdroj: Jim Hughes / Dreamstime.com

Zobrať:

YARN je výrazným zlepšením oproti rámcu Hadoop 1.0. Tu sa zaoberáme niektorými výhodami, ktoré má oproti svojmu predchodcovi.

Od zavedenia konceptu veľkých údajov prešlo niekoľkými fázami vývoja. Hadoop bol predstavený v roku 2005 s niektorými počiatočnými funkciami, ako je procesor na spracovanie MapReduce, ktorý umožnil rozsiahle pracovné zaťaženie pri spracovaní údajov distribuované v klastroch. Samotný Hadoop zažil veľa zmien a vyvinul pokročilé rámce a metódy.

YARN je základnou súčasťou Hadoop 2.0. Spravuje v zásade prostriedky v zoskupenom prostredí. Sprostredkovateľ YARN spolupracuje s výpočtovými prostriedkami (v mene aplikácií) a každej aplikácii priraďuje prostriedky na základe rôznych kritérií filtrovania.

V tomto článku sa zameriame na hlavné výhody YARN oproti Hadoop 1.0.

Čo je rámec YARN?

Ya nother Resource Negotiator je hlavnou súčasťou Hadoop 2.0, ktorá riadi zdroje v klastrovanom prostredí. Hadoop YARN framework je pokročilá verzia Hadoop 1.0, ktorá poskytuje zlepšený výkon, čo je prospešné pre ekosystém Hadoop a celú škálu technológií s ním spojených. Teraz, keď sme trochu oboznámení s YARN, pozrime sa bližšie na Hadoop 1.0 a YARN.

Obmedzenia rámca Hadoop 1.0

Aby sme pochopili výhody rámca YARN, je veľmi dôležité pochopiť, ako funguje Hadoop 1.0 a aké sú obmedzenia tohto rámca.

Tu prichádza úloha úlohy JobTracker. Spravuje prostriedky klastra a určuje vykonávanie úlohy MapReduce. Stručne povedané, JobTracker naplánuje a rezervuje sloty úloh a konfiguruje a monitoruje každú spustenú úlohu. Ak úloha zlyhá, pridelí sa novému slotu, aby sa úloha mohla začať znova. Po dokončení úlohy JobTracker uvoľní priestor pre ďalšie úlohy a vyčistí dočasné prostriedky.

Hlavné nevýhody vyššie uvedeného prístupu:

• Dostupnosť - JobTracker je jediný bod dostupnosti v Hadoop 1.0. To znamená, že ak zlyhá JobTracker, všetky úlohy sa predvolene reštartujú.
• Obmedzená škálovateľnosť - Pretože JobTracker vykonáva viac úloh a beží na jednom počítači, ostatné dostupné stroje sa nepoužívajú; preto vedie k obmedzenej škálovateľnosti.
• Využitie zdrojov - Vo vyššie uvedenom prístupe sú preddefinované mapové sloty a redukčné sloty. Môže sa stať, že jeden z slotov je plný, ale ostatné automaty sú prázdne. Keďže sú prázdne sloty vyhradené, budú sedieť nečinne, namiesto kompromitovania pre plné sloty. Môže to spôsobiť problém s využívaním zdrojov.
• Spúšťanie aplikácií, ktoré nie sú MapReduce - JobTracker je aplikácia, ktorá je vytvorená pre rámec MapReduce. Problém nastane, keď sa v tomto rámci pokúsi spustiť aplikácia, ktorá nie je MapReduce. Aby bola aplikácia úspešná, musí sa prispôsobiť rámcovému programovaniu MapReduce. Niektoré z bežných problémov, ktorým toto čelí, zahŕňajú problémy s:
  • Ad-hoc dotaz
  • Analýza v reálnom čase
  • prejazd
• Zlyhanie v kaskádovaní - Jeden z hlavných problémov v tomto rámci sa vyskytuje, keď je počet uzlov väčší ako 4 000. V takom scenári sa vyskytuje kaskádová chyba, ktorá vedie k zhoršeniu celého klastra.

Toto sú niektoré z hlavných obmedzení, s ktorými sa stretávame pri práci s týmto rámcom. Existujú aj ďalšie menšie obmedzenia, ktoré sa neuvádzajú. Na prekonanie týchto obmedzení bol zavedený rámec YARN.

Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života

Svoje programovacie schopnosti si nemôžete vylepšiť, keď sa nikto nestará o kvalitu softvéru.

YARN Framework a jeho výhody

Rámec YARN, predstavený v Hadoop 2.0, má zdieľať zodpovednosti MapReduce a starať sa o úlohu riadenia klastrov. To umožňuje MapReduce vykonávať iba spracovanie údajov, a teda zefektívniť tento proces.

YARN prináša koncepciu centrálneho riadenia zdrojov. To umožňuje spustiť na Hadoop viac aplikácií, ktoré zdieľajú spoločnú správu prostriedkov.

Niektoré z hlavných komponentov rámca YARN sú:

• ResourceManager - Komponent ResourceManager je vyjednávač v klastri pre všetky zdroje prítomné v tomto klastri. Tento komponent je ďalej klasifikovaný do správcu aplikácií, ktorý je zodpovedný za správu užívateľských úloh. Od Hadoop 2.0 bude každá práca MapReduce považovaná za aplikáciu.
• ApplicationMaster - Tento komponent je miestom, kde existuje úloha alebo aplikácia. Spravuje tiež všetky úlohy MapReduce a je ukončená po dokončení spracovania úlohy.
• NodeManager - Komponent manažéra uzlov slúži ako server pre históriu úloh. Zodpovedá za zabezpečenie informácií o dokončených úlohách. Sleduje tiež úlohy používateľov spolu s ich pracovnými postupmi pre konkrétny uzol.

Majúc na pamäti, že rámec YARN má rôzne komponenty na riadenie rôznych úloh, pozrime sa, ako to obmedzuje obmedzenia Hadoop 1.0.

• Lepšie využitie zdrojov - rámec YARN nemá žiadne pevné sloty pre úlohy. Poskytuje centrálneho správcu prostriedkov, ktorý vám umožňuje zdieľať viacero aplikácií prostredníctvom spoločného prostriedku.
• Spúšťanie aplikácií, ktoré nie sú MapReduce - V YARN sú možnosti plánovania a riadenia prostriedkov oddelené od komponentu na spracovanie údajov. To umožňuje spoločnosti Hadoop spúšťať rôzne typy aplikácií, ktoré nie sú v súlade s programovaním rámca Hadoop. Klastre Hadoop sú teraz schopné spúšťať nezávislé interaktívne dotazy a vykonávať lepšiu analýzu v reálnom čase.
• Spätná kompatibilita - YARN prichádza ako spätne kompatibilný rámec, čo znamená, že akúkoľvek existujúcu úlohu MapReduce je možné vykonať v Hadoop 2.0.
• JobTracker už neexistuje - Dve hlavné úlohy JobTracker boli správa zdrojov a plánovanie úloh. Zavedením rámca YARN sa tieto programy teraz delia na dve samostatné zložky, a to:
  • NodeManager
  • ResourceManager

záver

Zavedením rámca YARN sa uľahčilo vytváranie aplikácií pre vývojárov Hadoop. Teraz už nie je potrebné implementovať aplikácie pomocou nástrojov tretích strán. YARN je obrovská zmena, ktorá používateľom umožní zvážiť aplikáciu Hadoop 2.0 na vytváranie aplikácií a efektívnejšiu manipuláciu s údajmi. Postupom času sa bude vyvíjať ďalší postup na zlepšenie použiteľnosti systému Hadoop. Rámec YARN bude zatiaľ hrať kľúčovú úlohu pri riešení existujúcich problémov a pri vytváraní bezproblémového prostredia, ktoré je univerzálnejšie ako staršia verzia modelu MapReduce.