Obsah
- ETL vytvára pre Analytics úzke miesta
- Zjednodušenie ETL pomocou strojového učenia a AI
- Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
Zdroj: Pop Nukoonrat / Dreamstime.com
Zobrať:
Údaje sú pre podnikanie rozhodujúce, ale aby boli užitočné, pri zhromažďovaní, spracovávaní a prezentácii týchto údajov nesmú existovať žiadne chyby. Umelá inteligencia môže monitorovať procesy ETL, aby sa zabezpečilo, že neobsahujú chyby.
ETL (extrakt, transformácia a načítanie) je jedným z najdôležitejších procesov v analýze veľkých dát - a zároveň môže byť jedným z najväčších problémov. (Viac informácií o veľkých údajoch nájdete v 5 užitočných kurzoch o veľkých údajoch, ktoré môžete absolvovať online.)
Dôvod ETL je taký dôležitý, že väčšina údajov, ktoré podnik zbiera, nie je vo svojej surovej forme pripravená na analytické riešenie na strávenie. Aby analytické riešenie vytvorilo prehľad, je potrebné extrahovať nespracované údaje z aplikácie, v ktorej sa momentálne nachádza, transformovať do formátu, ktorý môže analytický program prečítať, a potom načítať do samotného analytického programu.
Tento proces je obdobou varenia. Vaše suroviny sú vaše surové údaje. Predtým, ako sa dajú analyzovať (ochutnať), musia byť extrahované (zakúpené v obchode), transformované (uvarené) a potom naložené (naložené). Obtiažnosť a náklady sa môžu predvídať podľa mierky - je ľahké pripraviť si syr Mac n 'pre seba, ale omnoho ťažšie je vytvoriť večeru pre labužníkov pre 40 ľudí. Netreba dodávať, že v každom okamihu môže byť vaše jedlo nestráviteľné.
ETL vytvára pre Analytics úzke miesta
ETL je v niektorých ohľadoch základom analytického procesu, má však aj určité nevýhody. V prvom rade je to pomalé a výpočtovo drahé. To znamená, že podniky často uprednostňujú iba svoje najdôležitejšie údaje pre analýzu a ostatné jednoducho ukladajú. Prispieva to k tomu, že až 99% všetkých obchodných údajov sa na analytické účely nevyužíva.
Proces ETL nie je nikdy nikdy istý. Chyby v procese ETL môžu poškodiť vaše údaje. Napríklad krátka chyba siete môže zabrániť extrahovaniu údajov. Ak vaše zdrojové údaje obsahujú viac typov súborov, môžu sa transformovať nesprávne. Odpadky, odpadky, ako sa hovorí - chyby počas procesu ETL sa takmer určite prejavia z hľadiska nepresných analytických údajov.
Poškodený proces ETL môže mať zlé následky. Dokonca aj v najlepšom prípade budete pravdepodobne musieť znova spustiť ETL, čo znamená oneskorenie hodín - a medzitým sú vaši tvorcovia rozhodnutí netrpezliví. V najhoršom prípade si nevšimnete nepresnú analýzu, kým nezačnete strácať peniaze a zákazníkov.
Zjednodušenie ETL pomocou strojového učenia a AI
Môžete - a pravdepodobne aj tak - priradiť niekoho, kto bude sledovať ETL, ale úprimne to nie je také jednoduché. Chybné údaje môžu byť výsledkom procesných chýb, ktoré sa vyskytujú tak rýchlo, že ich nemožno zaznamenať v reálnom čase. Výsledky poškodeného procesu ETL často nevyzerajú inak ako správne načítané údaje. Aj keď sú chyby zrejmé, problém, ktorý chybu spôsobil, nemusí byť tak ľahko vystopovateľný. (Viac informácií o analýze údajov nájdete v téme Úloha úlohy: Data Analyst.)
Dobrou správou je, že stroje dokážu zachytiť to, čo ľudia nemôžu. Toto je len niekoľko spôsobov, ako môžu AI a strojové učenie zachytiť chyby ETL predtým, ako sa stanú nepresnými analytikmi.
Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
Nemôžete zlepšiť svoje programovacie schopnosti, keď sa nikoho nezaujíma o kvalitu softvéru.
1. Zistiť a upozorniť na celú metriku ETL
Aj keď sú vaše údaje neustále sa pohybujúcim obrazom, proces ETL by mal stále vytvárať konzistentné hodnoty konštantnou rýchlosťou. Keď sa tieto veci zmenia, je to príčina poplachu. Ľudia môžu vidieť veľké výkyvy v dátach a rozpoznávať chyby, ale strojové učenie dokáže rýchlejšie rozpoznať jemnejšie chyby. Je možné, že systém strojového učenia ponúka detekciu anomálií v reálnom čase a upozorňuje priamo oddelenie IT, čo im umožňuje prerušiť proces a napraviť problém bez toho, aby museli zahodiť hodiny výpočtového úsilia.
2. Určite špecifické úzke miesta
Aj keď sú vaše výsledky presné, môžu sa objaviť príliš pomaly, aby boli užitočné. Gartner to hovorí 80% štatistík odvodené z analýzy sa nikdy nebudú využívať na vytváranie peňažnej hodnoty, a to z dôvodu, že vedúci firmy nevidí vhľad včas, aby ho mohol využiť. Strojové učenie vám môže povedať, kde sa váš systém spomaľuje a poskytne vám odpovede - rýchlejšie a rýchlejšie získavanie lepších údajov.
3. Kvantifikujte vplyv riadenia zmien
Systémy, ktoré produkujú vaše údaje a analytiku, nie sú statické - neustále dostávajú záplaty a vylepšenia. Niekedy to ovplyvňuje spôsob, akým vytvárajú alebo interpretujú údaje, čo vedie k nepresným výsledkom. Strojové učenie môže označiť výsledky, ktoré sa zmenili, a sledovať ich na konkrétnom opravenom počítači alebo aplikácii.
4. Znížte náklady na prevádzku
Zastavené analytické operácie sa rovnajú strateným peniazom. Čas, ktorý trávite hľadaním nielen toho, ako problém vyriešite, ale aj kto je zodpovedný na vyriešenie problému je čas, ktorý by ste mohli minúť na budovanie hodnoty. Strojové učenie pomáha dostať sa do centra pozornosti tým, že upozorní iba tímy, ktoré môžu byť zodpovedné za reakciu na konkrétny druh incidentu, a ostatným oddeleniam IT sa umožní, aby pokračovali vo vykonávaní základných pracovných funkcií. Strojové učenie navyše pomôže eliminovať falošné poplachy, čím sa zníži celkový počet upozornení a zároveň sa zvýši granularita informácií, ktoré môžu poskytnúť. Únavová výstraha je veľmi reálna, takže táto zmena bude mať merateľný vplyv na kvalitu života.
Pokiaľ ide o víťazstvo v podnikaní, je analýza nevyhnutná. Z orientačnej štúdie spoločnosti Bain Capital vyplýva, že spoločnosti, ktoré využívajú analytické nástroje, majú viac než dvojnásobnú pravdepodobnosť, že budú finančne nadhodnotené. ETL poskytuje základ pre úspech v tejto oblasti, ale oneskorenia a chyby môžu tiež zabrániť úspechu analytického programu. Strojové učenie sa preto stáva neoceniteľným nástrojom úspechu každého analytického programu, ktorý pomáha zaručiť čisté údaje a presné výsledky.