Pauk

Pauk je softverski program koji putuje Webom (otuda i naziv "pauk"), locirajući i indeksirajući web stranice za tražilice. Sve glavne tražilice, kao što su Google i Yahoo !, koriste paukove za izgradnju i ažuriranje svojih indeksa. Ovi programi neprestano pregledavaju web, putujući s jednog Hiperlink drugom.

Na primjer, kada pauk posjeti početnu stranicu web stranice, na stranici može biti 30 veza. Pauk će slijediti svaku vezu, dodajući sve stranice koje nađe u indeks tražilice. Naravno, nove stranice koje pauk pronađe mogu imati i poveznice koje pauk nastavlja pratiti. Neke od ovih poveznica mogu upućivati ​​na stranice unutar istog web mjesta (unutarnje poveznice), dok druge mogu voditi do različitih web mjesta (vanjske poveznice). Vanjske poveznice dovest će do toga da pauk skoči na nova mjesta, indeksirajući još više stranica.

Zbog isprepletene prirode poveznica na web stranice, pauci se često vraćaju na web mjesta koja su već indeksirana. To omogućuje tražilicama da prate koliko vanjskih stranica vodi do svake stranice. Obično, što više stranica ima dolaznih veza, to će biti više rangirano u rezultatima tražilice. Pauci ne samo da pronalaze nove stranice i prate veze, već prate i promjene na svakoj stranici, pomažući indeksima tražilice da ostanu ažurni.

Pauci se nazivaju i roboti i puzači, što može biti poželjnije za one koji ne vole arahnide. Riječ "pauk" može se koristiti i kao glagol, kao što je: "Ta je tražilica prošli tjedan konačno olaksala moju web stranicu."