I robot di Internet sono conosciuti con molti nomi: bot, spider, web bot, robot e crawler. Ciò che tutti hanno in comune è che sono applicazioni software o script. Dove differiscono è nei compiti che svolgono. Il loro scopo o vantaggio è semplice: completare rapidamente i lavori, soprattutto quelli ripetitivi.
I bot sono più comunemente usati nell’indicizzazione su un motore di ricerca. Se utilizzati a tale scopo, sono programmati per visitare siti su Internet da utilizzare nelle pagine dei risultati dei motori di ricerca. Cioè, i risultati che un utente ottiene quando esegue una ricerca sul suo motore di ricerca preferito saranno presenti, in parte, perché un bot è uscito e ha identificato quel sito. Vengono eseguiti periodicamente per assicurarsi che la pagina Web esista ancora e sia ancora pertinente a un determinato argomento. Questi sono conosciuti come web bot, web spider o web crawler.
I web bot raccoglieranno anche i link dal sito web che visitano e li aggiungeranno all’elenco dei siti da visitare. Questo è il motivo per cui molte persone credono che sia importante che i siti si colleghino tra loro. In alcuni casi, maggiore è il numero di collegamenti ipertestuali di un URL, migliore sarà la valutazione di quel sito dai motori di ricerca. Inoltre, queste applicazioni possono essere utilizzate per controllare i collegamenti su un sito Web per assicurarsi che indirizzino i clic alla posizione corretta e cercare errori nel codice HTML (HyperText Markup Language).
I bot possono essere utilizzati anche per scopi meno attraenti. Possono essere utilizzati, ad esempio, per visitare siti Web per raccogliere dati come indirizzi e-mail. Questi indirizzi e-mail possono quindi essere utilizzati per inviare e-mail di massa di spam, messaggi inviati senza consenso.
Altre funzioni di questi script includono interfacce interattive utilizzate nei servizi di messaggistica istantanea (IM). I bot avanzati, chiamati anche bot chatter, possono essere in grado di comunicare le informazioni richieste a un utente come ora, data o meteo. Alcuni sono usati per censurare e monitorare l’uso di volgarità.
Le persone che si sono chiesti come un concerto possa essere esaurito a tempo di record potrebbero essere interessate a sapere che è probabile che siano stati impiegati dei robot. Questi consentono all’acquirente di acquistare un gran numero di posti in un periodo di tempo molto breve. Script simili vengono utilizzati anche sui siti di aste e su alcuni siti di giochi online.