Obsah
- Definícia - Čo znamená Spider?
- Úvod do programu Microsoft Azure a Microsoft Cloud V tejto príručke sa dozviete, o čom všetko je cloud computing a ako vám môže Microsoft Azure pomôcť migrovať a podnikať z cloudu.
- Techopedia vysvetľuje Spider
Definícia - Čo znamená Spider?
V prostredí internetu je pavúk špecializovaný softvér určený na systematické prehľadávanie a prehliadanie webu, zvyčajne za účelom indexovania webových stránok, aby ich poskytovali ako výsledky vyhľadávania pre vyhľadávacie dotazy používateľov. Najslávnejšie z týchto pavúkov je Googlebot, hlavný prehľadávač Googles, ktorý pomáha zabezpečiť, aby sa relevantné výsledky vracali pre vyhľadávacie dotazy.
Pavúky sú známe aj ako webové prehľadávače, vyhľadávacie roboty alebo jednoducho roboty.
Úvod do programu Microsoft Azure a Microsoft Cloud V tejto príručke sa dozviete, o čom všetko je cloud computing a ako vám môže Microsoft Azure pomôcť migrovať a podnikať z cloudu.
Techopedia vysvetľuje Spider
Pavúk je v podstate program, ktorý sa používa na získavanie informácií z webu. Prechádza stránkami webových stránok, ktoré extrahujú informácie a indexujú ich pre neskoršie použitie, zvyčajne pre výsledky vyhľadávacích nástrojov. Pavúk navštevuje webové stránky a ich stránky prostredníctvom rôznych odkazov na stránky a zo stránok, takže stránka bez jediného odkazu na ňu bude ťažké indexovať a na stránke s výsledkami vyhľadávania môže byť skutočne nízka. A ak existuje veľa odkazov smerujúcich na stránku, znamenalo by to, že stránka je populárna a vo výsledkoch vyhľadávania by sa zobrazovala vyššie.
Kroky zapojené do indexového prehľadávania webu:
- Spider nájde web a začne prehľadávať jeho stránky.
- Pavúk indexuje slová a obsah stránky.
- Pavúk navštívi odkazy, ktoré sa nachádzajú na webe.
Pavúky alebo webmasteri sú iba programy a ako také dodržiavajú systematické pravidlá stanovené programátormi. Majitelia webových stránok sa k tomu môžu dostať aj tým, že spiderovi oznámia, ktoré časti webu majú indexovať a ktoré by nemali. To sa dosiahne vytvorením súboru „robots.txt“, ktorý obsahuje pokyny pre pavúka, ktoré časti indexu a odkazy sa majú nasledovať a ktoré by mali ignorovať. Medzi najvýznamnejšie pavúky vo svete patria tie, ktoré vlastnia hlavné vyhľadávacie nástroje, ako sú Google, Bing a Yahoo, a tie, ktoré sú určené na získavanie údajov a výskum, ale existujú aj škodlivé pavúky, ktoré nájdu a zhromaždia používateľa na predaj na reklamu. spoločnosti alebo nájsť zraniteľné miesta v zabezpečení webu.