Un rastreador web es un programa automatizado relativamente simple, o secuencia de comandos, que explora metódicamente o «rastrea» las páginas de Internet para crear un índice de los datos que está buscando; Por lo general, estos programas están diseñados para usarse solo una vez, pero también pueden programarse para uso a largo plazo. Hay varios usos para el programa, quizás los más populares son los motores de búsqueda que lo utilizan para proporcionar a los navegantes web sitios web relevantes. Otros usuarios incluyen lingüistas e investigadores de mercado, o cualquier persona que intente buscar información en Internet de manera organizada. Los nombres alternativos para un rastreador web incluyen araña web, robot web, bot, rastreador e indexador automático. Los programas de rastreo se pueden comprar en Internet o en muchas empresas que venden software de computadora, y los programas se pueden descargar en la mayoría de las computadoras.
Usos comunes
Hay varios usos para los rastreadores web, pero esencialmente un rastreador web puede ser utilizado por cualquiera que busque recopilar información en Internet. Los motores de búsqueda utilizan con frecuencia rastreadores web para recopilar información sobre lo que está disponible en las páginas web públicas. Su propósito principal es recopilar datos para que cuando los internautas ingresen un término de búsqueda en su sitio, puedan proporcionar rápidamente al internauta sitios Web relevantes. Los lingüistas pueden utilizar un rastreador web para realizar un análisis textual; es decir, pueden buscar en Internet para determinar qué palabras se usan comúnmente en la actualidad. Los investigadores de mercado pueden utilizar un rastreador web para determinar y evaluar las tendencias en un mercado determinado.
El rastreo web es un método importante para recopilar datos y mantenerse al día con la Internet en rápida expansión. Una gran cantidad de páginas web se agregan continuamente todos los días y la información cambia constantemente. Un rastreador web es una forma de que los motores de búsqueda y otros usuarios se aseguren periódicamente de que sus bases de datos estén actualizadas. Existen numerosos usos ilegales de los rastreadores web, como piratear un servidor para obtener más información de la que se proporciona libremente.
Cómo funciona
Cuando el rastreador web de un motor de búsqueda visita una página web, «lee» el texto visible, los hipervínculos y el contenido de las diversas etiquetas utilizadas en el sitio, como las metaetiquetas ricas en palabras clave. Utilizando la información recopilada del rastreador, un motor de búsqueda determinará de qué se trata el sitio e indexará la información. Luego, el sitio web se incluye en la base de datos del motor de búsqueda y en su proceso de clasificación de páginas.
Los rastreadores web pueden funcionar una sola vez, por ejemplo, para un proyecto único en particular. Si su propósito es para algo a largo plazo, como es el caso de los motores de búsqueda, los rastreadores web pueden programarse para que examinen Internet periódicamente para determinar si ha habido cambios significativos. Si un sitio está experimentando mucho tráfico o dificultades técnicas, la araña puede estar programada para notarlo y volver a visitar el sitio, con suerte después de que los problemas técnicos hayan desaparecido.