Obsah
- Čo je to dátová architektúra novej generácie?
- Očakávania od spoločnosti Hadoop v súvislosti s architektúrou budúcej generácie
- Aké hodnoty môže Hadoop pridať do dátovej architektúry novej generácie?
- Vylepšený výkon ako architektúra podnikových údajov
- Rozdiel medzi spoločnosťou Hadoop a inými technológiami
- záver
Zdroj: Romeo1232 / Dreamstime.com
Zobrať:
Hadoop bude kľúčovým hráčom v dátovej architektúre budúcej generácie vďaka svojej schopnosti spracovať obrovské množstvo údajov.
Pomocný program spoločnosti Hadoop začína siahať nad rámec spracovania veľkých dát a analytiky, pretože priemysel si od neho vyžaduje viac. Spoločnosť Hadoop neustále uspokojuje rôzne požiadavky týkajúce sa architektúry podnikových údajov a zároveň si zachováva svoje pôvodné silné stránky. Zoznam toho, čo Hadoop môže a v súčasnosti robí, je pomerne dlhý. Hadoop je teraz schopný spracovať obrovské množstvo transakčných pracovných za ažení, čo bola úloha, ktorá sa od tradičných technológií predtým očakávala. V budúcnosti je pre Hadoop veľa možností. Napríklad transakčné systémy založené na SQL môžu využívať mechanizmus Hadoop SQL a Hadoop tiež pridá veľa funkcií RDBMS. Dá sa povedať, že Hadoop sa stáva hybridom schopností na spracovanie a analýzu údajov s funkciami podnikovej architektúry.
Čo je to dátová architektúra novej generácie?
Jednoducho povedané, dátová architektúra novej generácie je rozvinutou formou dátovej architektúry. Všetko, vrátane dátových modelov, dátových politík, pravidiel a štandardov, ktorými sa riadi spôsob zhromažďovania, ukladania, usporiadania, analýzy alebo spracovania údajov, integrácie, použitia a výdaja údajov, sa vyvíjalo v rámci dátovej architektúry novej generácie.
Hlavným rozdielom medzi skoršou architektúrou údajov a architektúrou dát budúcej generácie je schopnosť druhej generácie zhromažďovať, ukladať a spracúvať obrovské objemy údajov, známych tiež ako veľké údaje, v reálnom čase. Architektúra vykonáva všetky tieto zložité úlohy bez kompromisov v oblasti ochrany súkromia, bezpečnosti a správy údajov.
Architektúra dát novej generácie čelí mnohým výzvam. Nie je ľahké zvládnuť objem, rýchlosť a rozmanitosť veľkých dát. Pridajte k tomu požiadavky na optimalizáciu pracovného zaťaženia systému, zlepšenie výkonu, rýchlosti a presnosti a zníženie nákladov. Netreba dodávať, že predchádzajúca dátová architektúra také požiadavky nemusela spravovať.
CIO a architekti v oblasti informácií preto chcú nájsť riešenie, ktoré im pomôže dosiahnuť ich ciele. Prevádzkové zariadenie Hadoop sa v tejto súvislosti už nejaký čas sústreďuje. Nasledujúce oddiely budú diskutovať o tom, ako môže operačný systém Hadoop riešiť problémy.
Očakávania od spoločnosti Hadoop v súvislosti s architektúrou budúcej generácie
Spoločnosti sú pod zvyšujúcim sa tlakom, aby dosahovali lepšie výsledky, a účinky sa znižujú podľa očakávaní kladených na technológie. Od spoločnosti Hadoop sa teda neočakáva, že bude spracovávať iba údaje. CIO a CTO chcú od spoločnosti Hadoop viac. Nižšie je uvedený zoznam očakávaní od spoločnosti Hadoop. Hadoop už splnil niektoré z týchto očakávaní.
Hadoop by mal pracovať s transakčnými systémami, ktoré sú založené na SQL a majú schopnosti vytvárať, čítať, aktualizovať a mazať. Transakčné systémy budú využívať mechanizmus SQL. Systémy budú mať tiež plnú zhodu s rozhraním Portable Operating System Interface (POSIX) a schopnosť spracovať vysoké objemy transakcií.
Očakáva sa, že spoločnosť Hadoop bude podporovať funkcie, ako sú zálohovanie, odolnosť voči chybám, obnova a obnova po katastrofe. Aby sa Hadoop vyvinul v systém s funkciami RDBMS, musí byť kompatibilný s existujúcimi IT nástrojmi.
Hadoop už pracuje na napĺňaní očakávaní, čo je zrejmé z niektorých udalostí. Hadoop môže poskytnúť analýzu v reálnom čase a rýchle reakcie na základe podpory riadenia zdrojov poskytovanej spoločnosťou YARN. YARN je rozsiahly a distribuovaný operačný systém pre veľké dátové aplikácie okrem toho, že je správcom prostriedkov. Je známe, že fungujú aj ďalšie vývojové trendy, ako napríklad vývoj Apache Storm, distribuované architektúry v pamäti, ako napríklad Apache Spark, Apache Hive, Drill a MapR-FS (vysoko výkonná náhrada HDFS), s cieľom ponúknuť rôzne možnosti úplnej databázy, napríklad zálohovanie, obnova po katastrofe, odolnosť proti chybám atď. (Viac informácií o systéme YARN nájdete v časti Aké sú výhody rámca Hadoop 2.0 (YARN)?)
Aké hodnoty môže Hadoop pridať do dátovej architektúry novej generácie?
Hodnoty operatívne, ktoré môže Hadoop pridať k dátovej architektúre ďalšej generácie, je možné vidieť z dvoch hľadísk: jeden, či spĺňa očakávania opísané vyššie, a druhý, či robí niečo ďalšie. Nižšie sú uvedené najdôležitejšie hodnoty, ktoré môže prevádzkový prístroj Hadoop priniesť.
Hadoop je teraz schopný poskytovať väčšiu škálovateľnosť a spravovateľnosť údajov v rámci svojej platformy prostredníctvom HDFS. A dátový operačný systém bol povolený prostredníctvom aplikácií spoločnosti Hadoop YARN. Táto stratégia predstavuje posun v architektúre údajov na základnej úrovni. Teraz môže spoločnosť Hadoop ukladať rôzne typy údajov, ako sú databázy orientované na transakcie, databázy grafov a databázy dokumentov, a tieto údaje sú dostupné prostredníctvom aplikácií YARN. Údaje nie je potrebné duplikovať ani presúvať na iné miesta.
Vylepšený výkon ako architektúra podnikových údajov
Prevádzková spoločnosť Hadoop je na ceste stať sa základným systémom architektúry podnikových údajov. Keď sa Hadoop dostane viac do architektúry podnikových dát, dátové sila sa odstránia, pretože sa odstránia medzery medzi nimi. Takmer vo všetkých aspektoch sa bude rýchlo zlepšovať. Vylepšenia sa uskutočnia vo forme efektívnejších formátov súborov, lepšieho výkonu motora SQL, vylepšených systémov súborov a robustnosti, ktoré budú spĺňať potreby podnikových aplikácií.
Rozdiel medzi spoločnosťou Hadoop a inými technológiami
V minulosti bol hlavným rozdielom medzi technológiami Hadoop a dátovými podnikmi veľké možnosti spracovania, vykazovania a analytických údajov spoločnosti Hadoop. Teraz, keď sa prevádzkový Hadoop stáva stále viac súčasťou architektúry podnikových údajov, rozdiel medzi entitami sa stále viac rozmazáva. Preto sa prevádzkový Hadoop objavuje ako vynikajúca alternatíva k existujúcej architektúre podnikových údajov.
záver
Vzhľadom na očakávania a pokrok sa spoločnosť Hadoop bude nejaký čas zameriavať na toto odvetvie. Má však zmysel sústrediť sa príliš na spoločnosť Hadoop a jednoducho ignorovať iné technológie. Dôvodom je, že iné technológie budú pokročiť v rovnakých parametroch a môžu dokonca predbehnúť Hadoop. Nikdy nie je dobré mať monopol na trhu. Je dobré, že výrobcovia iných technológií ako Hadoop by mohli byť motivovaní k poskytovaniu lepších produktov a dokonca aj doplnkov, ktoré spoločnosti Hadoop pomáhajú zlepšovať jej výkon.