Algoritmus internetového vyhľadávača - Barely a crawler
V minulom článku o princípe internetových vyhľadávačov sme si uviedli prepis dotazu na binárne stromy. V dnešnom dieli sa budeme venovať dátovým barelom, ich štruktúre, StopSlovům a nakoniec si popíšeme Crawler.
Pretože sa jedná o pomerne unikátne informácie, budú ďalšie články ako prémiové, aby neboli len tak voľne prístupné a dostali sa k nim prevažne ľudia, ktorí majú o pochopenie algoritmu naozaj záujem.
Dátové barely
Jedná sa o špeciálny dátový typ, umiestnený na viacerých serveroch súčasne vo viacerých kópiách. Spravidla sa jedná o dátovo náročné súbory s veľkosťou stoviek GB a ich čítanie je pomalé (preto sú rozdelené na časti) a ich úprava je prakticky nemožná. Ak chceme vykonať hoci aj minimálnu zmenu, tak musíme prepočítať celý barel. Napríklad vyhľadávač Seznam.cz dátové barely zvláda prepočítať maximálne raz za mesiac, Google prepočítavanie vykonáva raz za niekoľko hodín (a to len niektorých častí, nikdy celý naraz).
Barely obsahujú
...koniec náhľadu článku...
Pokračuj ďalej
Minul si až sem a to je super! Veríme, že ti prvé lekcie ukázali niečo nového a užitočného.
Chceš v kurze pokračovať? Prejdi do prémiové sekcie.
Obmedzená ponuka: Nauč sa všetko a ušetri
Obsah článku spadá pod licenciu Premium, kúpou článku súhlasíš so zmluvnými podmienkami.
- Neobmedzený a trvalý prístup k jednotlivým lekciím.
- Kvalitné znalosti v oblasti IT.
- Zručnosti, ktoré ti pomôžu získať vysnívanú a dobre platenú prácu.
Popis článku
Požadovaný článok má nasledujúci obsah:
Popis princípov fulltextového vyhľadávania na internete. Uvedieme si dátové barely, ich štruktúru, stop slovo a nakoniec si popíšeme Crawler.
Kredity získaš, keď podporíš našu sieť. To môžeš urobiť buď zaslaním symbolickej sumy na podporu prevádzky alebo pridaním obsahu na sieť.
