Un motore di ricerca è un programma per computer che agisce come un modo per recuperare informazioni da un database, in base a determinati criteri definiti dall’utente. Quelli moderni cercano database che contengono enormi quantità di dati, raccolti dal World Wide Web, newsgroup e progetti di directory.
Prima che esistesse il World Wide Web, ma dopo l’avvento di Internet e la sua conseguente popolarità nel circuito universitario, è stato creato il primo motore di ricerca. A questo punto della storia, tra la fine degli anni ‘1980 e l’inizio degli anni ‘1990, uno dei principali protocolli utilizzati su Internet era il protocollo di trasferimento dei file (FTP). I server FTP esistevano in tutto il mondo, di solito nei campus universitari, nelle strutture di ricerca o nelle agenzie governative. Alcuni studenti della McGill University di Montreal hanno deciso che un database centralizzato di file disponibili sui vari server FTP più diffusi avrebbe aiutato a risparmiare tempo e avrebbe offerto un ottimo servizio agli altri. Questa è stata l’origine del motore di ricerca Archie.
Archie, che era l’abbreviazione di archivio, era un programma che accedeva regolarmente ai server FTP nel suo elenco e creava un indice di quali file erano sul server. Poiché il tempo del processore e la larghezza di banda erano ancora un bene piuttosto prezioso, Archie controllava gli aggiornamenti solo ogni mese circa. All’inizio l’indice che Archie ha creato doveva essere controllato usando il comando Unix grep, ma presto è stata sviluppata un’interfaccia utente migliore per consentire una facile ricerca dell’indice. Seguendo Archie, sono sorti una manciata di motori di ricerca per cercare il protocollo Gopher simile: due dei più famosi sono Jughead e Veronica. Archie è diventato relativamente obsoleto con l’avvento del World Wide Web e dei successivi motori di ricerca, ma i server di Archie esistono ancora.
Nel 1993, non molto tempo dopo la creazione del World Wide Web, Matthew Gray ha sviluppato il World Wide Web Wanderer, che è stato il primo robot web. Il World Wide Web Wanderer ha indicizzato tutti i siti Web esistenti su Internet acquisendo i loro URL, ma non ha tracciato il contenuto effettivo dei siti Web. L’indice associato al Wanderer, che era uno dei primi tipi di motore di ricerca, si chiamava Wandex.
Alcuni altri piccoli progetti sono cresciuti dopo il Vagabondo, che ha iniziato ad avvicinarsi al moderno motore di ricerca. Questi includevano il World Wide Web Worm, lo spider Repository-Based Software Engineering (RBSE) e JumpStation. Tutti e tre utilizzavano i dati raccolti dai robot web per restituire tali informazioni agli utenti. Tuttavia, le informazioni sono state restituite per la maggior parte non filtrate, sebbene RBSE abbia tentato di classificare il valore delle pagine.
Nel 1993 una società fondata da alcuni studenti di Stanford, chiamata Excite, ha rilasciato quello che è probabilmente il primo motore di ricerca a incorporare effettivamente l’analisi del contenuto della pagina. Questa offerta iniziale era pensata per la ricerca all’interno di un sito, tuttavia, non per la ricerca nel Web nel suo insieme.
Nel 1994, però, il mondo dei motori di ricerca ha avuto una svolta importante. Una società chiamata WebCrawler è andata in onda con un motore di ricerca che non solo catturava il titolo e l’intestazione delle pagine su Internet, ma catturava anche tutto il contenuto. WebCrawler ha avuto un enorme successo, un tale successo che per la maggior parte del tempo non poteva nemmeno essere utilizzato perché le sue risorse di sistema venivano utilizzate tutte.
Un po’ più tardi quell’anno fu rilasciato Lycos, che includeva molte delle stesse funzionalità di WebCrawler e si basava su di esse. Lycos ha classificato i suoi risultati in base alla pertinenza e ha permesso all’utente di modificare una serie di impostazioni per ottenere risultati che si adattassero meglio. Anche Lycos era enorme: in quell’anno aveva archiviato oltre un milione di siti Web e in due anni aveva raggiunto i 60 milioni.