Una araña web es un programa que inspecciona las páginas del World Wide Web de forma metódica. Uno de sus usos mas frecuentes que se le da consiste en crear una copia de todas las páginas web visitadas para su procesado posterior por un motor de búsqueda que indexa las páginas proporcinando un sistema de búsqueda mas rápido.
Entre las tareas más comúnes de estas arañas web tenemos:
--Crear el índice de una máquina de búsqueda
--Analizar los enlaces de un sitio para buscar links rotos
--Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo
Los buscadores más populares de internet hacen uso de esta herramienta para indexar las páginas a sus servidores
0 comentarios:
Publicar un comentario