Obsah
- Tri Vs veľkých dát
- Riešenie problému s rozmanitosťou údajov
- Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
Zobrať:
Príliš veľa IT oddelení vrhá všetko, čo majú na problémy s objemom a rýchlosťou údajov, zabudnutím riešiť základnú otázku rozmanitosti údajov.
Podľa Doug Laney, viceprezidenta pre výskum v spoločnosti Gartner, výzva spravovania a využívania veľkých údajov vyplýva z troch prvkov. Laney prvýkrát poznamenal pred viac ako desiatimi rokmi, že veľké údaje predstavujú taký problém pre podnik, pretože zavádza ťažko spravovateľný objem, rýchlosť a rozmanitosť. Problém spočíva v tom, že príliš veľa IT oddelení vrhá všetko, čo majú na problémy s objemom a rýchlosťou údajov, zabudnutím riešiť základnú otázku rozmanitosti údajov.
V roku 2001 Laney napísala, že „vedúce podniky budú čoraz viac používať centralizovaný dátový sklad na definovanie spoločného obchodného slovníka, ktorý zlepšuje internú a externú spoluprácu.“ Otázka tohto slovníka - a variabilita, ktorá bráni spoločnostiam v jeho vytváraní - zostáva dnes najmenej osloveným aspektom veľkých dátových hlavolamov. (Pozrite sa, čo hovoria iní odborníci. Pozrite sa na odborníkov na veľké dáta, ktorých sa treba venovať ďalej.)
Tri Vs veľkých dát
Mnohé podniky našli metódy na využitie zvýšeného objemu a rýchlosti údajov. Napríklad dokáže analyzovať obrovské množstvo údajov. Tieto údaje sa, samozrejme, často predkladajú znovu a znovu v rámci rovnakých parametrov. To viedlo k technologickým inováciám, ako sú napríklad stĺpcové databázy, ktoré v súčasnosti vo veľkej miere využívajú iné spoločnosti, ktoré čelia rovnako veľkým úložiskám podobných dátových položiek.
Pokiaľ ide o rýchlosť skrútenia, dodávatelia ako Splunk pomáhajú podnikom analyzovať rýchlo vytvorené údaje prostredníctvom protokolových súborov, ktoré zachytávajú niekoľko tisíc udalostí za sekundu. Táto analýza veľkoobjemových udalostí je zameraná na prípady použitia zabezpečenia a monitorovania výkonu. Podobne ako pri výzve na objem údajov sa výzva na rýchlosť vo veľkej miere riešila pomocou sofistikovaných indexovacích techník a analýzy distribuovaných údajov, ktoré umožňujú škálovanie kapacity spracovania so zvýšenou rýchlosťou údajov.
Pokiaľ však ide o rozmanitosť, príliš veľa podnikov stále čelí veľkému problému v prístupe k analýze veľkých údajov. Tento problém je spôsobený tromi faktormi: Po prvé, v dôsledku rastu, akvizícií a technologických inovácií, ktoré pridávajú nové systémy do životného prostredia, podniky sú zamknuté vo vysoko heterogénnom prostredí a táto heterogenita sa časom zvyšuje. Podniky musia sledovať množstvo typov systémov a spravovať desiatky tisíc typov údajov, ako aj rovnaké údaje, ktoré sú zastúpené pomocou rôznych nomenklatúr a formátov.
Po druhé, tieto systémy a typy údajov v mnohých prípadoch uvádzajú relevantné informácie aj informácie, ktoré možno bezpečne odfiltrovať ako irelevantné pre riešenie problému. Je potrebné spoľahlivo identifikovať vplyvné informácie.
Treťou dimenziou výzvy k odrodám je neustála variabilita alebo zmena prostredia. Systémy sa inovujú, zavádzajú sa nové systémy, dopĺňajú sa nové typy údajov a zavádza sa nová nomenklatúra. To ďalej deformuje našu schopnosť skrotiť problém s rozmanitosťou údajov. To pridá ďalšiu vrstvu k odrodovej výzve. (Viac informácií nájdete v časti Big Data: How To Captured, Crunched and zvyknutý na obchodné rozhodnutia.)
Riešenie problému s rozmanitosťou údajov
Na riešenie problému rozmanitosti údajov musia podniky začať s oblasťou IT, pretože často predstavuje najhorších páchateľov aj najhoršie obete problému rozmanitosti. Prvým krokom je začať komplexnou definíciou alebo taxonómiou všetkých prvkov alebo aktív IT. Poskytuje to základ alebo základ, ktorý odkazuje na čokoľvek v oblasti IT alebo o ňom, a umožňuje podnikom zvládnuť zvyšujúcu sa heterogenitu v porovnaní so známou taxonómiou alebo terminológiou.
Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
Svoje programovacie schopnosti si nemôžete vylepšiť, keď sa nikto nestará o kvalitu softvéru.
Ďalším krokom je identifikácia mnohých spôsobov, ako je ten istý objekt zastúpený v rôznych systémoch záznamu. Toto umožňuje odborníkom v oblasti IT prezerať si heterogénne prostredie a vysoko filtrovať a komprimovať údaje do relevantných a spravovateľných častí.
Nakoniec, IT manažéri musia prijať proces neustáleho skúmania životného prostredia, aby sa zmeny, ako sú zavádzané nové typy prvkov alebo nová nomenklatúra, vzťahovali na ten istý prvok.
Vďaka týmto krokom môžu IT organizácie zvládnuť problém rozmanitosti a odvodiť hlboké poznatky, ktoré historicky unikli tímom IT. Okrem toho zvládnutie problému s rozmanitosťou výrazne zvyšuje ich návratnosť investícií do nástrojov a techník, ktoré sa zaoberajú tradičnejšími problémami s objemom a rýchlosťou veľkých dát.