World Wide Web Worm (WWWW): jeden z prvních vyhledávačů (crawlerů) internetu

Definice World Wide Web Worm a jeho tvůrce, Oliver McBryan

Co byl WWWW

Tento přechod od manuálního ukládání informací o webech k automatizovanému sběru dat byl klíčový. Ručně udržované seznamy, jako byly rané verze adresáře Yahoo! nebo projekt Virtual Library (VLib) Tima Berners-Leeho, narážely na limity škálovatelnosti tváří v tvář exponenciálnímu růstu webu. WWWW představoval zásadní koncepční posun k algoritmickému přístupu, který se stal dominantním paradigmatem pro organizaci a vyhledávání informací na webu. Samotný název "Worm" (červ) pravděpodobně čerpal inspiraci z dřívějších programů pro průzkum sítí a výstižně odrážel jeho metodu autonomního procházení webu, což jej odlišovalo od pasivních indexátorů, jako byl například ALIWEB, který spoléhal na zasílání informací administrátory webů.

Potvrzení tvůrce: Oliver McBryan

Tvůrcem World Wide Web Worm byl jednoznačně Oliver McBryan. V době vývoje WWWW působil na University of Colorado v Boulderu, konkrétně na katedře počítačových věd (Department of Computer Science). V současnosti je na této univerzitě emeritním profesorem. WWWW vznikl jako výzkumný nebo vzdělávací projekt a navazoval na McBryanovu dřívější práci na adresářích webového obsahu, jako byl například systém GENVL (GENerate Virtual Library).

Skutečnost, že McBryan vyvíjel WWWW souběžně s GENVL, hierarchickým systémem virtuální knihovny, naznačuje rané pochopení komplexnosti problému organizace webových informací. GENVL umožňoval uživatelům interaktivně katalogizovat zdroje podle témat. Vývoj obou nástrojů – jednoho založeného na automatizovaném procházení (WWWW) a druhého na strukturovaném manuálním sběru informací (GENVL) – ukazuje, že McBryan si byl vědom potřeby kombinovat různé přístupy k "zkrocení webu". McBryan dokonce popisoval možnosti jejich propojení: uživatelé mohli z GENVL spustit vyhledávání pomocí WWWW, pokud v knihovně nenašli hledaný zdroj, nebo naopak přidat stránku nalezenou přes GENVL do databáze WWWW.

Počáteční kontext a účel

Vývoj WWWW probíhal na počátku 90. let 20. století, v době, kdy World Wide Web zažíval exponenciální růst. Tento rychlý nárůst počtu webových stránek a dokumentů přinášel nové výzvy v oblasti navigace a objevování relevantních informací. Primárním cílem WWWW bylo řešit tento problém "informačního přetížení" (už tehdy byli přetížení, to ještě netušili co je čeká) tím, že automaticky vyhledával a indexoval webové zdroje a vytvářel tak prohledávatelnou databázi.³ Cílem bylo, slovy McBryana, nabídnout nástroje pro "zkrocení webu".

Jak WWWW indexoval a prohledával raný web

Lokalizace zdrojů a indexace

Hlavní funkcí WWWW bylo procházet web (crawling), indexovat obsah nalezených stránek a vytvářet prohledávatelnou databázi. Cílem bylo lokalizovat "téměř všechny" zdroje dostupné přes WWW na internetu. K dosažení tohoto cíle využíval technologii webového crawleru, známého také jako spider, spiderbot nebo worm. Web crawling je proces, při kterém internetový bot systematicky prochází World Wide Web, sleduje hypertextové odkazy (hyperlinky) k objevování nových stránek a kopíruje jejich obsah pro účely indexace. Crawler typicky začíná s počátečním seznamem URL adres, tzv. "seedy", a rekurzivně navštěvuje odkazy nalezené na těchto stránkách, přidávaje je do seznamu URL k navštívení, tzv. "crawl frontier". McBryanův článek potvrzuje, že červ periodicky vyhledával zdroje, aby vytvořil referenční databázi.

Metodika indexace

WWWW indexoval specifické části webových zdrojů:

• Názvy dokumentů (Titles): indexoval titulky HTML stránek.
• Hypertext / Text odkazů (Anchor text): indexoval text použitý v hypertextových odkazech. Toto bylo významné, protože text odkazu často poskytuje stručný a relevantní popis cílové stránky a mohl umožnit indexaci i netextových zdrojů (např. obrázků, programů), které samotné nemohly být textově analyzovány. Tuto myšlenku později rozvinul a využil Google.
• Komponenty URL řetězců: umožňovalo to vyhledávání na základě částí samotné adresy URL. Díky tomu bylo možné provádět specifické dotazy, například najít všechny soubory typu mpeg nebo všechny zdroje v určité doméně, jako .fi pro Finsko.
• Multimediální objekty: vytvořil databázi přibližně 300 000 multimediálních objektů, což naznačuje, že indexace zahrnovala i jiné typy souborů než jen HTML stránky.

Na rozdíl od pozdějších vyhledávačů, jako byl WebCrawler, který jako první zavedl indexaci celého textu stránek (full-text indexing), WWWW fungoval na jednodušším principu a zaměřoval se na indexaci specifických, strukturovaných částí dokumentů a metadat. Tato strategie byla pragmatickou adaptací na technická omezení raného webu. Plnotextová indexace byla výpočetně náročná a vyžadovala velké úložiště, zaměření na metadata a strukturu bylo v té době proveditelnější. Výběr indexovaných polí (titulky, kotvy, URL) tak pravděpodobně představoval záměrné designové rozhodnutí, které vyvažovalo požadovanou funkčnost s dostupnými zdroji a technickými možnostmi. Indexace komponent URL byla obzvláště inovativním přístupem ke klasifikaci zdrojů na základě jejich struktury, umístění nebo typu (např. doména, přípona souboru) v době, kdy ještě nebyly rozšířené sofistikované metody analýzy obsahu nebo standardizované metadatové formáty. Byl to chytrý způsob, jak využít informace zakódované přímo v adresách zdrojů. Strategie indexace textu odkazů (anchor text) byla rovněž prozíravá a předjímala techniky, které se později ukázaly jako klíčové pro zlepšení relevance vyhledávání a pro práci s netextovým obsahem, jak bylo potvrzeno pozdějším využitím v Google.

Funkcionalita vyhledávání

Uživatelské rozhraní WWWW umožňovalo zadávat klíčová slova pro vyhledávání. Klíčovou a charakteristickou vlastností byla podpora Perl regulárních výrazů (regex) v dotazech. To umožňovalo uživatelům formulovat komplexní vzory pro vyhledávání, které šly nad rámec jednoduchého porovnávání klíčových slov, a nabízelo tak pokročilé možnosti dotazování pro technicky zdatnější uživatele. Jako výsledek vyhledávání vracel WWWW seznam webových stránek (URL adres), které obsahovaly zadaná klíčová slova nebo odpovídaly zadanému regulárnímu výrazu. Výsledky byly pravděpodobně prezentovány v textové podobě. McBryanův článek specifikuje, že vyhledávání bylo možné provádět nad titulky, referenčním hypertextem (textem odkazů) nebo komponentami URL.

Podpora regulárních výrazů silně naznačuje, že WWWW byl primárně zaměřen na technicky sofistikovanou, akademickou uživatelskou základnu, která byla v raných dobách webu dominantní. Regulární výrazy jsou mocným, ale komplexním dotazovacím jazykem, typicky používaným programátory a správci systémů. Nabídka této funkcionality odpovídá původu WWWW jako univerzitního výzkumného projektu v době, kdy web využívaly převážně akademické a technické komunity.

Chronologie WWWW: vývoj, spuštění a provoz

Časová osa vývoje

Zdroje se rozcházejí v údaji o počátečním datu vývoje WWWW. Některé uvádějí září 1993 jako datum, kdy byl vyvinut nebo kdy jeho vývoj započal. Jiné zdroje zmiňují rok 1994 nebo konkrétně září 1994. Nejpravděpodobnějším scénářem je, že počáteční vývoj začal koncem roku 1993, zatímco veřejné spuštění nebo stabilnější verze se objevila na začátku roku 1994. Článek Olivera McBryana prezentovaný v květnu 1994 popisuje WWWW jako již fungující systém. Tato nejednoznačnost v datech vývoje dobře ilustruje fluidní a často nedostatečně dokumentovanou povahu raných webových projektů, které často vznikaly postupně v akademickém prostředí bez formálních verzovacích schémat nebo oznámení o spuštění typických pro komerční software. Rozdíl mezi daty může odrážet fázi počátečního kódování versus verzi připravenou pro širší použití nebo publikaci.

Veřejné spuštění

Datum veřejného spuštění WWWW je konzistentněji uváděno jako březen 1994. Je důležité zasadit toto datum do kontextu: v té době již existovaly nebo se právě objevovaly jiné vyhledávací nástroje a adresáře. Například ALIWEB byl oznámen v říjnu/listopadu 1993, JumpStation v prosinci 1993, adresář Yahoo! byl spuštěn v lednu 1994 a WebCrawler následoval v dubnu 1994. Toto načasování zpochybňuje tvrzení, že WWWW byl absolutně prvním vyhledávačem v okamžiku svého spuštění, ačkoliv jeho vývoj začal velmi brzy. Spuštění WWWW v březnu 1994 jej zařadilo doprostřed období intenzivní aktivity ve vývoji webových vyhledávacích nástrojů. Toto období signalizovalo kritický moment, kdy potřeba takových nástrojů byla široce rozpoznána a vedla k souběžnému vzniku mnoha různých řešení.

Provozní období a rozsah

WWWW byl aktivní především v letech 1994 až zhruba 1997. V roce 1994 jeho index obsahoval přibližně 110 000 webových stránek a dokumentů. Jiné zdroje uvádějí, že vytvořil databázi 300 000 multimediálních objektů. Co se týče využití, v březnu a dubnu 1994 zpracovával WWWW průměrně kolem 1500 dotazů denně. Tento údaj poskytuje konkrétní měřítko jeho tehdejší popularity a celkového objemu vyhledávací aktivity na raném webu.

Akvizice a konec životnosti

Technologie stojící za WWWW byla kolem roku 1997 zakoupena společností GoTo.com. GoTo.com, později přejmenovaná na Overture Services a nakonec koupená společností Yahoo!, byla průkopníkem v oblasti placeného vyhledávání (paid search), kde inzerenti platili za lepší umístění ve výsledcích vyhledávání. Akvizice naznačuje, že GoTo.com viděla komerční hodnotu v základní technologii crawleru nebo indexačního mechanismu WWWW, i když samotný projekt nebyl McBryanem komercializován. Původní služba WWWW následně zanikla. Její webová stránka na adrese http://www.cs.colorado.edu/home/mcbryan/WWWW.html již není dostupná, ačkoliv mohou existovat její archivní verze. WWWW se postupně "vytratil do archivů internetové historie". Akvizice společností GoTo.com, zaměřenou na placené vyhledávání, naznačuje, že komerční hodnota byla spatřována spíše v technologii (crawleru, indexeru) než v samotné akademické službě. To ukazuje na raný potenciál monetizace vyhledávací infrastruktury, odděleně od uživatelského rozhraní.

Historický kontext a význam: příspěvek WWWW k evoluci webového vyhledávání

Průkopnická role

WWWW je uznáván jako jeden z nejranějších webových vyhledávačů a jeden z prvních automatických indexovacích nástrojů pro World Wide Web. Ačkoliv nebyl definitivně úplně prvním (nástroje jako W3Catalog, ALIWEB nebo JumpStation mu mohly předcházet v některých aspektech nebo datem spuštění), byl bezpochyby významným raným hráčem. Jeho role spočívala především v demonstraci proveditelnosti a užitečnosti automatizovaného procházení webu a indexace pro objevování zdrojů. Jeho význam tedy nespočívá ani tak v tom, zda byl "absolutně první", ale spíše v jeho roli jako rané a vlivné demonstrace modelu automatického crawleru/indexeru, který prokázal svou životaschopnost pro řešení problému škálovatelnosti webu.

Dopad na uživatele a raný web

WWWW pomáhal uživatelům orientovat se v rychle se rozrůstajícím webu. Tím, že poskytoval centralizovanou možnost vyhledávání, pomáhal překonávat "informační přetížení". Zpřístupňoval internet širšímu okruhu uživatelů tím, že nabízel způsob, jak nalézt relevantní obsah bez nutnosti manuálního procházení stovek či tisíců stránek. Samotná existence a používání WWWW, doložené počtem 1500 dotazů denně již na jaře 1994, poskytuje empirický důkaz o rostoucí potřebě vyhledávacích schopností nad rámec jednoduchých adresářů, a to i v době, kdy byl web relativně malý ve srovnání s dneškem. Tento objem dotazů, ačkoliv malý z dnešního pohledu, byl pro danou dobu významný a signalizoval, že uživatelé již tehdy aktivně hledali nástroje pro efektivnější vyhledávání informací.

Vliv na pozdější vyhledávače

WWWW položil základy a ovlivnil vývoj následujících generací vyhledávačů. Mnoho původních myšlenek a principů implementovaných v WWWW přežilo a bylo dále rozvinuto v pozdějších crawlarech. Jeho úspěšná demonstrace automatizované indexace otevřela cestu pro vývoj sofistikovanějších nástrojů. Zejména jeho přístup k indexaci textu odkazů (anchor text) byl později převzat a zdokonalen jinými systémy, včetně Google. Odkaz WWWW je tedy dvojí: 

• jednak přímá technologická linie prostřednictvím akvizice společností GoTo.com,
• jednak jeho koncepční vliv na paradigma automatizované webové indexace, který inspiroval nebo informoval další vývojáře podobných systémů.

Omezení z dnešního pohledu

Je třeba uznat, že WWWW měl z dnešního pohledu svá omezení: 

• používal jednodušší algoritmy než moderní vyhledávače,
• poskytoval výsledky primárně v textové podobě a
• jeho index měl omezený rozsah a hloubku. 

Zejména omezená hloubka indexace znamenala, že obsah umístěný hlouběji ve struktuře webových stránek nemusel být zachycen. Tato omezení je však nutné vnímat v kontextu technologických možností a rozsahu webu na počátku 90. let 20. století.

Velkou výhodou WWWW ve srovnání s jeho bezprostředními současníky byla pravděpodobně jeho schopnost vyhledávání pomocí regulárních výrazů a pokus o indexaci multimediálních souborů a struktury URL, což oslovovalo technické uživatele. Nicméně, zavedení fullxtového vyhledávání WebCrawlerem se rychle stalo dominantním paradigmatem pro obecné vyhledávání na webu, což naznačuje, že specializované funkce WWWW už nebyly tak zajímavé. Rychlé škálování, které předvedl Lycos brzy po svém spuštění, zastínilo dokumentovanou velikost indexu WWWW a ukázalo, že škálovatelnost se rychle stala kritickým diferenciačním faktorem mezi ranými vyhledávači. Akademický původ WWWW mohl omezit jeho schopnost škálovat tak agresivně jako komerčně financované projekty.

Technická architektura: pohled na algoritmy, databázi a index WWWW

Mechanismus procházení (Crawling)

Crawler WWWW fungoval na obecných principech tehdejších webových robotů. Začínal se seznamem počátečních URL (seeds), sledoval nalezené odkazy a spravoval seznam stránek k navštívení (crawl frontier). McBryanův článek potvrzuje, že komponenta pro lokalizaci zdrojů běžela periodicky. Je pravděpodobné, že crawler implementoval nějakou formu "politiky slušnosti" (politeness policy), aby se zabránilo přetěžování navštěvovaných serverů, což byla běžná praxe. Konkrétní detaily pro WWWW však nejsou ve zdrojích uvedeny. Optimalizací mohlo být například ověřování data poslední modifikace stránky pomocí HTTP požadavku HEAD před jejím stažením, jak popisuje jiný článek z té doby. K zabránění duplicitnímu procházení stejných zdrojů byla pravděpodobně použita normalizace URL adres.

Indexace a databáze

Získaná data WWWW ukládal do databáze. Podrobnosti o struktuře této databáze nejsou ve zdrojích k dispozici, ale pravděpodobně zahrnovala mapování z klíčových slov nebo termínů na URL adresy nebo dokumenty, podobně jako invertované soubory popisované v jiných systémech té doby. Index zahrnoval specifická pole: titulky, texty odkazů (anchor text) a komponenty URL. Jeden ze zdrojů zmiňuje, že WWWW budoval "jednoduchý index názvů dokumentů a URL". Jak bylo uvedeno, velikost indexu v roce 1994 dosahovala přibližně 110 000 webových stránek/dokumentů a 300 000 multimediálních objektů. Dostupné technické detaily, i když řídké, ukazují na systém optimalizovaný pro extrakci specifických metadat s vysokou informační hodnotou (titulky, kotvy, URL) spíše než na hrubou sílu plnotextové indexace. To pravděpodobně odráželo snahu o vyvážení požadovaných vyhledávacích schopností s dostupnými výpočetními zdroji té doby.

Vyhledávací algoritmy

Základním principem vyhledávání bylo porovnávání klíčových slov. Klíčovou vlastností byla podpora Perl regulárních výrazů, což implikuje existenci komplexnějšího mechanismu pro porovnávání vzorů, který šel nad rámec jednoduchého vyhledávání klíčových slov v tabulce. Implementace vyhledávání pomocí regulárních výrazů vyžaduje parsování výrazu a spuštění stavového automatu nebo podobného algoritmu proti indexovanému textu, což je výrazně složitější než pouhá kontrola přítomnosti klíčového slova. To naznačuje určitou úroveň sofistikovanosti v komponentě pro zpracování dotazů.

Zdroje neposkytují detaily o algoritmu řazení výsledků (rankingu), pokud vůbec nějaký existoval. Rané vyhledávače často měly jen rudimentární nebo žádné řazení podle relevance. Výsledky byly pravděpodobně řazeny jednoduše podle toho, jak byly nalezeny, nebo na základě základních kritérií přítomnosti/nepřítomnosti klíčového slova či jednoduché frekvence. Absence informací o rankingu v kontextu WWWW, v kombinaci s explicitní zmínkou o regulárních výrazech (což je nástroj pro filtrování/porovnávání, nikoli řazení), silně naznačuje, že WWWW poskytoval výsledky primárně na základě shody s dotazem, bez sofistikovaného skórování relevance, což bylo typické pro první generaci vyhledávacích nástrojů.

Technické výzvy

Jako všechny rané vyhledávače, i WWWW čelil významným technickým výzvám. Patřila mezi ně především škálovatelnost – schopnost zvládat neustále rostoucí objem webového obsahu. Další výzvou byla spotřeba zdrojů – crawlery zatěžovaly jak síťovou infrastrukturu, tak navštěvované servery. V neposlední řadě bylo třeba řešit dynamickou povahu webu – udržování aktuálnosti indexu v prostředí, kde se obsah stránek neustále měnil.

Odkaz a zánik WWWW

Přechod a akvizice

Jak již bylo zmíněno, technologie WWWW byla kolem roku 1997 zakoupena společností GoTo.com. Z pohledu tvůrce, Olivera McBryana, šlo o vzdělávací projekt, který neměl v úmyslu komercializovat, částečně i kvůli chybějící infrastruktuře pro transfer technologií na univerzitě v té době. Konec WWWW ilustruje běžnou trajektorii mnoha raných akademických webových projektů: byly vlivné ve své době, ale nakonec byly překonány komerčními podniky s většími zdroji pro škálování a vývoj, nebo byla jejich základní technologie absorbována do těchto komerčních struktur. Tento vzorec odráží přechod vývoje webové infrastruktury z akademické sféry do průmyslu v polovině až koncem 90. let.

Současný stav

Původní služba World Wide Web Worm je již nefunkční. Původní webová adresa projektu na University of Colorado již není aktivní , ačkoli mohou existovat archivované verze stránky. WWWW se z velké části stal součástí historie internetu. Akvizice společností GoTo.com, průkopníkem placeného vyhledávání, naznačuje, že samotná technologie crawleru a indexace se stávala cennou komoditou, nezávisle na uživatelsky orientované vyhledávací službě. Zájem GoTo.com pravděpodobně spočíval v "mechanismech" sběru a organizace webových dat, které mohly být přizpůsobeny jejich komerčním potřebám. To ukazuje na ranou komodifikaci komponent vyhledávací infrastruktury.

Trvalý vliv

Navzdory svému zániku zanechal WWWW trvalý odkaz. Jeho koncepční přínos spočívá v průkopnické práci na poli automatizované indexace a ovlivnění pozdějších generací crawlerů. Jeho existence a provoz zdůraznily kritickou potřebu vyhledávacích nástrojů na rostoucím webu a přispěly k přechodu od manuálních adresářů k algoritmickému vyhledávání.

Základní výzkum: klíčové zdroje o World Wide Web Worm

Primární akademický zdroj

Nejdůležitějším a nejautoritativnějším zdrojem informací o WWWW je vědecký článek samotného tvůrce, Olivera A. McBryana, s názvem "GENVL and WWWW: Tools for Taming the Web". Tento článek byl prezentován na první mezinárodní konferenci o World Wide Web (WWW1), která se konala v CERNu v Ženevě ve dnech 25.–27. května 1994. Tento primární zdroj poskytuje přímý pohled na design, účel a funkcionalitu WWWW (a souvisejícího projektu GENVL) z perspektivy jeho autora v době jeho aktivního vývoje. Existence tohoto formálního konferenčního příspěvku je klíčová, protože umožňuje ověřit nebo korigovat informace nacházející se v sekundárních historických přehledech, které mohou obsahovat nepřesnosti nebo konfliktní detaily (např. ohledně data vývoje).

Historické přehledy a technické retrospektivy

WWWW je zmiňován v řadě historických přehledů a technických článků zabývajících se evolucí vyhledávačů. Například články Sergeye Brina a Larryho Page, tvůrců Google, citují WWWW a jeho statistiky z roku 1994 jako výchozí bod pro demonstraci enormního nárůstu škály webu a zátěže vyhledávačů. Časté citování údajů o velikosti indexu a počtu dotazů WWWW z roku 1994 v pozdějších akademických pracích ukazuje, že WWWW sloužil jako důležitý raný benchmark pro pochopení růstu webu a používání vyhledávačů.

Místo WWWW v historii internetu

Shrnutí klíčových zjištění

World Wide Web Worm (WWWW), vyvinutý Oliverem McBryanem na University of Colorado a spuštěný v březnu 1994, byl jedním z průkopnických vyhledávacích nástrojů založených na technologii crawleru. Jeho hlavní funkce spočívaly v automatizované indexaci specifických částí webových zdrojů – titulků, textů odkazů (anchor text), komponent URL a multimediálních objektů – a v poskytování vyhledávacího rozhraní, které jako jedno z mála v té době podporovalo komplexní dotazy pomocí Perl regulárních výrazů. WWWW sehrál významnou roli v rané fázi vývoje webu tím, že demonstroval životaschopnost automatizovaného přístupu k organizaci webového obsahu a ovlivnil následný vývoj. Navzdory svým inovacím měl svá omezení, zejména v absenci plnotextové indexace a v menším rozsahu ve srovnání s rychle nastupující konkurencí. Jeho technologie byla nakonec získána komerční společností a původní služba zanikla.

Ačkoliv WWWW nebyl jediným ani nutně prvním vyhledávacím nástrojem a byl relativně rychle překonán v rozsahu indexu a funkcích (zejména plnotextovým vyhledáváním), jeho historický význam je nepopiratelný. Byl klíčovým raným inovátorem, jehož důležitost spočívá v demonstraci modelu automatického crawleru, v jeho specifických technických vlastnostech (podpora regex, indexace URL a anchor textu) a v tom, že sloužil jako raný benchmark pro měření rozsahu webu a zátěže vyhledávačů. 

WWWW ztělesňuje ducha raných webových inovací – často akademických, rychle vyvinutých k řešení naléhavých problémů (informační přetížení), experimentujících s novými technickými přístupy a přispívajících základními myšlenkami, i když konkrétní implementace byla krátkodobá. Jeho příběh zároveň slouží jako mikrokosmos evoluce samotného webu: od menší, technicky orientované komunity, využívající nástroje jako regex, k masovému médiu vyžadujícímu jednodušší rozhraní, komplexní (plnotextové) vyhledávání a průmyslovou infrastrukturu pro jeho zajištění. WWWW tak zůstává významným artefaktem "kambrické exploze" vyhledávacích technologií na raném World Wide Webu.