La recolección web es el proceso mediante el cual un software especializado recopila datos de Internet y los coloca en archivos para un usuario final. Tiene una función similar, pero más avanzada, a las tareas que realiza un motor de búsqueda. También conocido como web scraping, la recopilación web le da al usuario acceso automatizado a información en Internet que los motores de búsqueda no pueden procesar porque puede trabajar con código HTML. Los tres tipos principales de recolección web son el contenido, la estructura y el uso de la web.
La recolección de contenido web implica la extracción de información extrayendo datos tanto de los resultados de la página de búsqueda como de una búsqueda más profunda del contenido oculto dentro de las páginas web. Esta información adicional a menudo se oculta en los motores de búsqueda porque está oculta por el código HTML. El proceso escanea información de forma similar a como lo harían los ojos humanos, descartando caracteres que no forman frases significativas para extraer elementos útiles.
En lugar de buscar contenido, la recolección de estructuras web recopila datos sobre la forma en que se organiza la información en áreas específicas de Internet. Los datos recopilados proporcionan información valiosa a partir de la cual se pueden realizar mejoras en áreas como la organización y recuperación de la información. Es una forma de perfeccionar la estructura misma de la Web.
La recolección del uso de la Web rastrea los patrones de acceso general y el uso personalizado por parte de los usuarios de la Web. Al analizar el uso de la Web, la recolección puede ayudar a crear claridad sobre cómo se comportan los usuarios. Esta es otra forma de mejorar la función de la Web, pero a nivel de usuario final. Puede ayudar a los diseñadores a mejorar las interfaces de usuario de sus sitios web para lograr la máxima eficiencia. El proceso también proporciona información sobre qué tipo de información buscan los usuarios y cómo lo encuentran, lo que da una idea de cómo se debe desarrollar el contenido en el futuro.
Al recopilar datos de texto e imágenes de archivos e imágenes HTML, la recolección web puede realizar un rastreo web más complejo que profundiza en cada documento. También analiza los enlaces que apuntan a ese contenido para determinar si la información tiene importancia y relevancia en Internet. Esto proporciona una imagen más completa de cómo la información se relaciona e influye en el resto de la Web.
Las empresas utilizan la recolección web para una amplia gama de propósitos. Puede ser una forma eficaz de recopilar datos para analizar. Algunos de los conjuntos de datos más comunes que se compilan son información sobre competidores, listas de diferentes precios de productos y datos financieros. También se pueden recopilar datos para analizar el comportamiento del cliente.