Definição - o que significa o Web Crawler?
Um rastreador da Web é um bot da Internet que ajuda na indexação da Web. Eles rastreiam uma página por vez em um site até que todas as páginas tenham sido indexadas. Os rastreadores da Web ajudam na coleta de informações sobre um site e os links relacionados a eles, e também ajudam na validação do código HTML e dos hiperlinks.
Um rastreador da Web também é conhecido como aranha da Web, indexador automático ou simplesmente rastreador.
Definirtec explica Web Crawler
Os rastreadores da web coletam informações como o URL do site, as informações da metatag, o conteúdo da página da web, os links na página da web e os destinos que levam a partir desses links, o título da página da web e qualquer outra informação relevante. Eles controlam os URLs que já foram baixados para evitar o download da mesma página novamente. Uma combinação de políticas, como política de nova visita, política de seleção, política de paralelização e política de educação determina o comportamento do rastreador da web. Existem muitos desafios para os rastreadores da web, a saber, a grande e em constante evolução da World Wide Web, trocas de seleção de conteúdo, obrigações sociais e lidar com adversários.
Os rastreadores da web são os principais componentes dos mecanismos e sistemas de pesquisa da web que examinam as páginas da web. Eles ajudam a indexar as entradas da Web e permitem que os usuários enviem consultas ao índice e também fornecem as páginas da Web que correspondem às consultas. Outro uso de rastreadores da Web é no arquivamento da Web, que envolve grandes conjuntos de páginas da Web a serem periodicamente coletados e arquivados. Os crawlers da Web também são usados na mineração de dados, em que as páginas são analisadas quanto a propriedades diferentes, como estatísticas, e a análise de dados é então realizada nelas.