Obsah
Zdroj: Nmedia /Dreamstime.com
Zobrať:
Veľké dáta sú všade veľké podniky, ale niekoľko konkrétnych oblastí využíva túto technológiu najviac.
Keď som začal tento článok, mal som v pláne uviesť zoznam rôznych typov veľkých dátových platforiem. Po troch dňoch pokusov o zviazanie všetkých rôznych veľkých dátových ponúk - relačných verzus nerelačných, SQL verzus NoSQL a databázových verzií - do určitej podoby poriadku som sa rozhodol tomuto neporiadku vyhnúť.
Aby som pridal urážku k úrazu, dúfal som, že v rámci článku predstavím osobu, ktorá razila výraz „veľké údaje“. Ale nemôžem to urobiť. Neexistuje žiadna dohodnutá odpoveď. V skutočnosti existuje výskumný projekt zameraný na to, kto pôvodne prišiel s veľkými údajmi. Namiesto toho sa pozriem na niektoré z kľúčových spôsobov využitia veľkých údajov. To je oveľa dôležitejšie. A je to zaujímavejšie a prekvapujúcejšie, než si myslíte.
Ako sa to stalo
Analytici používajúci tradičné získavanie údajov manipulujú s údajmi už roky. Tí istí analytici majú teraz problémy vyrovnať sa s množstvom a rozmanitosťou údajov, ktoré ukladajú podniky, súkromné organizácie a vládne agentúry.
Zadajte veľké dáta, ďalší vývojový krok v získavaní údajov. Veľké dáta boli navrhnuté tak, aby zvládli rozsiahle databázy a nespočetné typy údajov vytváraných v dnešnom digitálnom svete. Ak „masívne“ premýšľate o spoločnosti Google a všetkých údajoch, ktoré zbiera, boli by ste v balíku. Možno vás prekvapí, že spoločnosť Google je na štvrtom mieste v rebríčku desiatich najväčších svetových databáz iba na štvrtom mieste. Od januára 2014 si Svetové dátové centrum pre klímu priblížilo tento zoznam s 220 terabajtmi údajov a je to každý, kto odhaduje veľkosť databáz kontrolovaných určitými vládnymi agentúrami.
Veľké dáta sa samozrejme vzali, pretože umožňujú manipulovať s veľkým množstvom odlišných údajov a objavovať úžasné - a úžasne podrobné a osobné - veci. Nasledujúci príklad poskytuje John Sumser, analytik v oblasti ľudských zdrojov:
„Dnes vytvárame hypotézy a zbierame údaje. Zajtra urobíme inverziu. Neustále a stabilné zhromažďovanie údajov nám umožní pozrieť sa na údaje skôr, ako položíme otázky. To znamená, že dostaneme odpovede na otázky, ktoré sme neurobili“ Neviem sa spýtať. Budeme myslieť na veľa vecí, ktoré považujeme za fakty. ““Samozrejme, všetci sme počuli o niektorých strašidelných spôsoboch, akými sa tieto údaje používajú, napríklad o schopnosti Targovcov rozoznať tehotenstvo mladých žien predtým, ako sa jej rodina dozvie. Veľké údaje sa však používajú aj na oveľa menej zlovestné príčiny. Tu je niekoľko organizácií, ktoré ju využívajú najviac:
Svoje programovacie schopnosti si nemôžete vylepšiť, keď sa nikto nestará o kvalitu softvéru.
Jedna zrejmá oblasť, ktorú veľké údaje pomôžu, je bezpečné a presné zaobchádzanie s elektronickými zdravotnými záznamami v zdravotníckych organizáciách. Presné záznamy poskytnú pacientom lepšie služby a znížia počet chýb. V oblasti zdravotnej starostlivosti sa očividne z veľkých dôvodov prispôsobujú veľké údaje pomalým tempom, aby boli v súlade s vládnymi nariadeniami týkajúcimi sa dôvernosti pacientov.
Ako už bolo spomenuté, sú známe veľké údaje, ktoré poskytujú odpovede na nevyriešené otázky. V oblasti zdravotnej starostlivosti by to mohlo znamenať nájdenie nového lieku alebo liečby, ktorá by sa inak nenašla. Podľa spoločnosti McKinsey & Company by veľké údaje mohli v nie príliš vzdialenej budúcnosti umožniť:
- Prediktívne modelovanie biologických procesov a liekov sa stáva sofistikovanejším a rozšírenejším.
- Pacienti sú zaradení do klinických skúšok na základe viacerých zdrojov informácií, ako sú sociálne médiá.
- Pokusy sa monitorujú v reálnom čase, aby sa rýchlo zistili bezpečnostné alebo prevádzkové problémy.
- Namiesto pevných dátových síl, ktoré sa ťažko využívajú, sa údaje zbierajú elektronicky a ľahko sa pohybujú medzi rôznymi jednotkami.
Veľké dáta, veľká príležitosť
Aj keď sa veľké údaje využívajú v niektorých konkrétnych oblastiach, ponúka príležitosti pre všetky organizácie v týchto oblastiach:
Takmer všetky počítače a sieťové zariadenia zaznamenávajú údaje. Množstvo zaznamenaných údajov sa rýchlo stáva nepraktickým. Veľké dáta dokážu ľahko spravovať toto množstvo údajov, čo správcom umožňuje monitorovať sieťovú aktivitu, diagnostikovať problémy alebo, napríklad, ktorý mi dal Rubin, hľadať určité vzory sieťovej prevádzky, ktoré by naznačovali aktivitu škodlivého softvéru.
Ak čítate tento článok, je to celkom bezpečná stávka, že viete o probléme Heartbleed okolo OpenSSL. Okrem technického problému existujú obavy, že zraniteľnosť existuje už niekoľko rokov. Rubin uviedol, že veľké dáta umožňujú správcom sietí v spolupráci s analytikmi údajov vytvoriť program, ktorý bude vyhľadávať škodlivé prezenčné signály vo všetkých protokoloch siete. Tento príspevok EFF uvádza:
„Každý prevádzkovateľ siete, ktorý má rozsiahle protokoly paketov, môže skontrolovať škodlivé prezenčné signály, ktoré majú najčastejšie užitočné zaťaženie TCP 18 03 02 00 03 01 alebo 18 03 01 00 03 01 (alebo možno dokonca 18 03 03 00 03 01).“Nasledujúci príklad je ukážkovým výstupom z príkazu show audit:
Router # show audit
* 14. september 18: 37: 31,535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Používateľ:
* 14. september 18: 37: 31,583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Používateľ:
* 14. september 18: 37: 31,595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Užívateľ:
* 14. september 18: 37: 32,107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Používateľ:
* 14. september 18: 37: 32,107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Používateľ:
Ak budete postupovať podľa časových pečiatok, časový interval pre všetky tieto záznamy bol kratší ako jedna sekunda. To by som nechcel ani extrapolovať na jeden deň, nieto na dva roky!
Niečo na pozeranie
Ak skontrolujete pracovné ponuky, existuje nevyhnutná potreba odborníkov na veľké dáta. Spýtal som sa na to Rubina. Súhlasil s tým, že jeho študenti boli nadšení z ich vyhliadok. Potom som si uvedomil, že veľké dátové platformy, najmä tie, ktoré sa považujú za otvorené zdroje, sledujú časovú os veľmi podobnú tomu, ako sa Linux stal hlavným prúdom.
Univerzity prijímajú open-source verzie veľkých dátových platforiem, najmä Hadoop, pretože sú zadarmo a študenti môžu manipulovať so zdrojovým kódom. Absolventi, ktorí vyplnia všetky tieto pracovné ponuky, budú preto uprednostňovať prácu s platformami s otvoreným zdrojovým kódom, pretože to najlepšie vedia. Bude zaujímavé sledovať.