Un motor de búsqueda es un programa informático que actúa como una forma de recuperar información de una base de datos, en base a ciertos criterios definidos por el usuario. Los modernos buscan bases de datos que contienen grandes cantidades de datos, recopilados de la World Wide Web, grupos de noticias y proyectos de directorio.
Antes de que existiera la World Wide Web, pero después de la llegada de Internet y su consiguiente popularidad en el circuito universitario, se creó el primer motor de búsqueda. En este punto de la historia, a fines de la década de 1980 y principios de la de 1990, uno de los principales protocolos que se usaban en Internet era el protocolo de transferencia de archivos (FTP). Los servidores FTP existían en todo el mundo, generalmente en campus universitarios, instalaciones de investigación o agencias gubernamentales. Algunos estudiantes de la Universidad McGill en Montreal decidieron que una base de datos centralizada de archivos disponibles en los diversos servidores FTP populares ayudaría a ahorrar tiempo y ofrecería un gran servicio a los demás. Este fue el origen del motor de búsqueda Archie.
Archie, que era la abreviatura de archivo, era un programa que se conectaba regularmente a los servidores FTP de su lista y hacía un índice de los archivos que estaban en el servidor. Debido a que el tiempo del procesador y el ancho de banda seguían siendo un bien bastante valioso, Archie solo verificaba las actualizaciones aproximadamente cada mes. Al principio, el índice que construyó Archie estaba destinado a ser verificado usando el comando grep de Unix, pero pronto se desarrolló una mejor interfaz de usuario para permitir una búsqueda fácil en el índice. Siguiendo a Archie, surgieron un puñado de motores de búsqueda para buscar el protocolo Gopher similar; dos de los más famosos son Jughead y Veronica. Archie se volvió relativamente obsoleto con la llegada de la World Wide Web y los motores de búsqueda posteriores, pero los servidores de Archie todavía existen.
En 1993, poco después de la creación de la World Wide Web, Matthew Gray desarrolló el World Wide Web Wanderer, que fue el primer robot web. El World Wide Web Wanderer indexó todos los sitios web que existían en Internet mediante la captura de sus URL, pero no realizó un seguimiento del contenido real de los sitios web. El índice asociado con Wanderer, que fue uno de los primeros motores de búsqueda, se llamó Wandex.
Algunos otros pequeños proyectos surgieron después de Wanderer, que comenzó a acercarse al motor de búsqueda moderno. Estos incluyeron el gusano World Wide Web, la araña de ingeniería de software basada en repositorios (RBSE) y JumpStation. Los tres utilizaron datos recopilados por robots web para devolver esa información a los usuarios. Aún así, la información se devolvió sin filtrar en su mayor parte, aunque RBSE intentó clasificar el valor de las páginas.
En 1993, una empresa fundada por algunos estudiantes de Stanford, llamada Excite, lanzó lo que podría decirse que es el primer motor de búsqueda que incorpora realmente el análisis del contenido de la página. Sin embargo, esta oferta inicial estaba destinada a realizar búsquedas dentro de un sitio, no a buscar en la web como un todo.
En 1994, sin embargo, el mundo de los motores de búsqueda tuvo un gran avance. Una empresa llamada WebCrawler puso en marcha un motor de búsqueda que no solo capturaba el título y el encabezado de las páginas de Internet, sino que también capturaba todo el contenido. WebCrawler tuvo un éxito enorme, tanto que gran parte del tiempo ni siquiera se pudo utilizar porque se estaban utilizando todos los recursos del sistema.
Un poco más tarde, ese año, se lanzó Lycos, que incluía muchas de las mismas características que WebCrawler y se basaba en ellas. Lycos clasificó sus resultados en función de la relevancia y permitió al usuario modificar una serie de configuraciones para obtener resultados que se ajustan mejor. Lycos también fue enorme: en ese año tuvo más de un millón de sitios web archivados, y en dos años había alcanzado los 60 millones.