Obsah
- Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
- Až do podnikania
- Ako Kafka zmení správu dát
Zobrať:
Kafka urobí pre informačné systémy to, čo LinkedIn robí pre podnikateľov: udržiava ich v spojení v širokom rozsahu.
Vášnivou vierou v niečo, čo stále neexistuje, ho vytvárame. Neexistuje to, čo sme si dostatočne neželali.~ Franz Kafka
Potreba zostáva matkou vynálezu. Ako mi raz povedal prepätý konzultant, „Ak sa niečo stane v organizácii, stáva sa to.“ Jeho názor bol dvojaký: 1) niektorí ľudia vždy nájdu spôsob, ako veci dosiahnuť; a 2) vrcholový manažment alebo dokonca stredný manažment nemusia vedieť, ako presne sa veci robia v ich vlastnom podniku.
Ak túto metaforu rozšírime na celý vesmír správy údajov, môžeme vidieť, že práve teraz prebieha transformácia. Neprimeraný tlak veľkých údajov v kombinácii s osou streamovaných údajov vytvára taký tlak, že sa staršie systémy rozpadajú na okrajoch, ak sa úplne nezrútia. Napriek tomu je v túto chvíľu nespočetné množstvo profesionálov, ktorí o tejto realite do značnej miery nevedia.
Podniky založené na údajoch, ktoré sú založené na údajoch, majú sídlo v prednom rade a túto zmenu mnohými spôsobmi ovplyvňujú. Zvážte, ako elektrárne ako Yahoo! A LinkedIn zmenili odvetvie podnikového softvéru so svojimi obdarovanými dary na otvorený zdroj: Hadoop, Cassandra a teraz Kafka, z ktorých všetky boli pastierom Nadácie Apache, ktorá je sama osebe ústredným hráčom v tejto metamorfóze. ,
Aký je výsledok tejto zmeny? Dnes sme boli svedkami kategorickej reklasifikácie a reštrukturalizácie samotného riadenia údajov. To neznamená, že staré systémy budú teraz vytrhané a nahradené. Každý veterán z odvetvia vám povie, že k veľkému rušeniu starých systémov dochádza až tak často, ako Chicago Cubs vyhrávajú svetovú sériu. Je to prinajmenšom vzácna udalosť.
Skutočne sa deje to, že okolo starých systémov sa buduje superštruktúra. Zvážte analógiu medzištátnych diaľnic, ktoré často stúpajú nad mestami, v ktorých obsluhujú, ktoré sú určené na to, aby dopravili ľudí a náklad do týchto populačných stredísk a poskytovali výstup každému a čokoľvek v nich. Nenahrádzajú existujúce cesty ani ich rozširujú o vysokorýchlostné alternatívy.
Presne to robí Apache Kafka: poskytuje vysokorýchlostné trasy na prenos údajov medzi informačnými systémami a medzi nimi. Ak sa chceme riadiť analógiou diaľnice, stále existuje mnoho spoločností, ktoré používajú lineárne fronty alebo starý štandard ETL (extrakt-transformácia-zaťaženie); ale tieto cesty majú nízku rýchlosť a existuje veľa medzier; náklady na údržbu sú navyše často prehnané; značenie je zlé.
Spoločnosť Kafka ponúka alternatívny spôsob doručovania údajov, ktorý je rozhodne real-time, škálovateľný a odolný. To znamená, že Kafka nie je len prostriedkom na prenos údajov, ale aj replikátorom údajov; a do istej miery distribuovaná databázová technológia. Mali by sme byť opatrní, aby sme si vzali analógiu príliš ďaleko, pretože existujú charakteristiky databáz kompatibilných s ACID, ktoré Kafka ešte nemá v športe. Napriek tomu je zmena skutočná.
Toto je skvelá správa pre informačné prostredie, pretože údaje sa teraz môžu voľne pohybovať po krajine - a po celom svete. To, čo bolo kedysi bolestivou prekážkou, konkrétne zasiahnutie šaržových okien pre procesy ETL, sa teraz rozptýli, pretože hmla ustupuje jasnej oblohe pod žiarením horúceho slnka. Keď sa presun údajov z jedného systému do druhého stáva hraničným plynom, začína sa objavovať éra nových príležitostí.
Žiadne chyby, žiadny stres - Váš sprievodca krok za krokom k vytvoreniu softvéru na zmenu života bez zničenia vášho života
Nemôžete zlepšiť svoje programovacie schopnosti, keď sa nikoho nezaujíma o kvalitu softvéru.
Ľudské bytosti budú pravdepodobne predstavovať najväčšie trenie na ceste k dátam novej budúcnosti. Zvyk je železná košeľa. Nary CIO je príliš nadšený z vykonávania veľkoobchodných zmien v podnikových systémoch. Jeden zdatný vedúci pracovník roly povedal: „Pripravte sa byť osamelí.“ Do jedného roka od tejto pripomienky bol konzultantom. Nie je to ľahká cesta, ktorá sa snaží spravovať pozoruhodne nepraktický svet podnikových údajov.
Dobrou správou je, že spoločnosť Kafka poskytuje budúcu rampu. Pretože slúži ako vysoko výkonný viacúčelový autobus, vytvára mosty medzi starými systémami a ich výhľadovými náprotivkami. Organizácie, ktoré túto novú príležitosť využijú s otvorenou mysľou a dostatočným rozpočtom, tak budú môcť vstúpiť do nového sveta bez toho, aby zanechali staré. To je vážne veľa.
Až do podnikania
Zatiaľ čo Apache Kafka je technológia s otvoreným zdrojom, ktorú si môže každý stiahnuť a používať, ľudia, ktorí tento softvér vytvorili pre LinkedIn, vytvorili samostatnú entitu s názvom Confluent, ktorá sa zameriava na sprísnenie ponuky pre podnikové použitie. Rovnako ako Cloudera, Hortonworks a MapR vybudovali svoje podniky okolo open-source projektu Apache Hadoop, takže Confluent sa snaží speňažiť Kafku.
V nedávnom rozhovore InsideAnalysis vysvetlil Confluent CEO a spoluzakladateľ Jay Kreps svoj pôvod na LinkedIn:
„Snažili sme sa tam vyriešiť niekoľko rôznych problémov. Jedným z nich bolo, že sme mali všetky tieto rôzne dátové systémy s rôznymi druhmi údajov. Mali sme databázy a mali sme protokolové súbory a mali sme metriku o serveroch a používatelia klikali na veci. Získať všetky tieto údaje - tak, ako sa zväčšili - bolo naozaj ťažké. Sila údajov bola iba vtedy, ak by ste ich mohli dostať do aplikácií alebo spracovania alebo systémov, ktoré ich potrebovali. To bol veľký problém.
„Ďalším problémom, ktorý sme mali, bolo, že sme si osvojili Hadoop, a to bolo niečo, na čom som sa podieľal. Mali sme túto fantastickú platformu na spracovanie offline, ktorú sme mohli škálovať a mohli sme vložiť všetky svoje údaje. Pre LinkedIn sa všetky naše údaje odohrali v reálnom čase Neustále sa generovalo údaje. Vždy sa vyskytol tento nesúlad, keď sme sa snažili skutočne vybudovať kľúčové časti podnikania z našich údajov, medzi niečím, čo bežalo raz denne, možno v noci, a generovanými výsledkami do nasledujúceho dňa, a tento druh nepretržitých údajov - krátke interakcie - ktoré ste museli dohnať. Chceli sme byť schopní urobiť niečo, čo už nejakú dobu existovalo v akademickej obci, ale v skutočnosti to nebola bežná vec, ktorá by mala byť schopná využívať a spracovávať toky údajov tak, ako boli vygenerované, a nie tak, ako sedeli. “
Dobre. Presne to sa teraz snaží Confluent robiť s podnikovými údajmi všetkých tvarov a veľkostí. Príležitosť v hre? Zelené pole. Úprimne povedané, v celej histórii podnikového softvéru by sa dalo tvrdiť, že adresovateľný trh pre túto technológiu absolútne berie tortu. Neexistuje žiadna veľká organizácia alebo dokonca malý podnik zameraný na údaje, ktorý z tejto technológie nemôže mať obrovský úžitok.
Platí to najmä kvôli neurologickému aspektu tejto technológie; nielen mysle, ale aj povaha toho, čo robí Kafka pre informačné systémy. Pretože Kafka sa dá použiť na riadenie pohybu údajov v organizácii, dá sa naň pozerať ako na viac ako iba na dopravného policajta, ale skôr na mozgy samotnej operácie. Boli v počiatočných fázach tejto vízie, ale buďte si istí, jej skutočné.
Ako Kafka zmení správu dát
Aby ste pochopili, ako Kafka zmení povahu správy údajov, len premýšľajte o spôsoboch, akými LinkedIn zmenila sieť. Hľadanie kolegov bolo oveľa jednoduchšie; byť v kontakte s ľuďmi je teraz hračkou. Spoločnosť Kafka bude pre informačné systémy robiť to, čo LinkedIn robí pre podnikateľov: udržujte ich v spojení v najširšom rozsahu tejto zeme.
Spinoff Confluent je symbolom niečoho, čo by sme mohli nazvať Nová inovácia, hnutie poháňané oddelením vývoja softvéru a mentality uzavretého zdroja, riadené tvorcami technológie s otvoreným zdrojom, poháňané veľkými množstvami rizikového kapitálu speňaženými ziskové spoločnosti, ktoré sa snažia o prevrat v spôsobe, akým organizácie a ľudia vytvárajú, zhromažďujú, analyzujú a využívajú údaje.
Aby som citoval Franza Kafku: „Od určitého momentu sa už viac nemožno obracať späť. To je bod, ktorý musí byť dosiahnutý.“
Prešli sme cez Rubikon. Už sa nevracia späť.