A mapa do sítio é um ficheiro onde fornece informações sobre as páginas, os vídeos, as imagens e outros ficheiros do seu sítio Web e as relações entre eles. Motores de pesquisa como Google utilizam este ficheiro para rastrear o seu sítio Web de forma mais eficiente. Os mapas de sítios ajudam os motores de busca a compreender quais as páginas ou ficheiros do seu sítio que são mais essenciais e fornecem detalhes adicionais, como quando uma página foi actualizada ou se existem versões linguísticas alternativas.

Num mapa do site, pode fornecer detalhes para diferentes tipos de conteúdo, incluindo vídeos, imagens e artigos de notícias. Por exemplo:

• Sitemaps de vídeo pode incluir informações como a duração do vídeo, as classificações e o público-alvo.
• Sitemaps de imagem pode especificar a localização das imagens na sua página Web.
• Mapas de sítios de notícias pode indicar os títulos dos artigos e a sua data de publicação.

Precisa de um Sitemap?

Um mapa do sítio pode continuar a desempenhar um papel crucial mesmo que o seu sítio esteja bem estruturado com ligações internas adequadas, em que todas as páginas necessárias são acessíveis através de ligações de navegação (como menus). É particularmente benéfico para sítios Web grandes e complexos ou para os que têm tipos de conteúdo específicos, como os multimédia (vídeos e imagens) ou notícias.

Deve considerar a utilização de um mapa do sítio se:

• O seu sítio Web é grande: Os grandes sítios Web podem ter páginas que não são facilmente acessíveis através da navegação padrão. Assegurar que todas as páginas necessárias estão ligadas pode ser difícil, aumentando a possibilidade de os motores de busca perderem algumas páginas.
• O seu sítio Web é novo e carece de ligações externas: Os motores de busca, como o Google, descobrem novos conteúdos principalmente seguindo os links de outros sítios Web. Se o seu sítio for novo e não tiver muitos backlinks, o Googlebot poderá não encontrar todo o seu conteúdo, a menos que submeta um mapa do sítio.
• O seu sítio Web contém conteúdos multimédia ou notícias: Se o seu site alojar muitos vídeos, imagens ou artigos de notícias, um mapa do site pode ajudar o Google a encontrar e indexar estes ficheiros multimédia. Por exemplo, os metadados de vídeo, como a duração e o público, podem ser incluídos num mapa do site de vídeo para ajudar o Google a compreender este conteúdo.

Por outro lado, pode não precisar de um mapa do sítio se:

• O seu sítio Web é pequeno: Se o seu sítio Web tiver menos de 500 páginas e estas páginas estiverem todas bem ligadas internamente, é provável que o Google encontre todas as páginas essenciais sem um mapa do sítio.
• O seu sítio Web tem ligações internas completas: Se todas as suas páginas importantes forem facilmente acessíveis através de ligações internas, o Googlebot poderá descobri-las sem necessidade de um mapa do sítio.
• Tem poucos meios de comunicação social ou artigos noticiosos: Um mapa do site pode não ser necessário se não tiver muitos vídeos, imagens ou artigos de notícias que precisem de ser indexados.

Como o Googlebot rastreia o seu site

Googlebot é o nome do rastreador da Web do Google, responsável por descobrir e indexar conteúdo na Web. Existem duas versões:

• Googlebot móvel: Simula um utilizador móvel para rastrear a versão móvel dos sítios Web.
• Googlebot Desktop: Simula um utilizador de ambiente de trabalho para rastrear versões de ambiente de trabalho de sítios Web.

Ambos os tipos de Googlebot seguem as mesmas regras no seu ficheiro robots.txt. No entanto, como o Google utiliza principalmente indexação mobile-firstSe o seu sítio Web for indexado, a maioria das pesquisas é efectuada pela versão móvel. Isto significa que o desempenho e a estrutura do seu sítio Web para telemóvel desempenham um papel crucial na forma como o Google indexa o seu conteúdo.

O Googlebot rastreia os sítios Web a um ritmo médio de uma vez em cada poucos segundos. Esta frequência pode variar consoante o tamanho do seu site e a quantidade de novos conteúdos. O Google utiliza computação distribuída, com vários rastreadores a trabalhar em simultâneo a partir de diferentes endereços IP. Isto ajuda a melhorar o desempenho e garante que o Googlebot não sobrecarrega os seus servidores com pedidos.

Para otimizar a localização, o Googlebot pode utilizar HTTP/2 se o seu sítio Web o suportar, o que reduz a carga tanto no seu servidor como no rastreador. No entanto, não existe qualquer vantagem de classificação na utilização do HTTP/2 em relação ao HTTP/1.1. Pode bloquear o rastreio do Googlebot através de HTTP/2 devolvendo um 421 Código de estado HTTP quando é feita uma tentativa de rastejamento.

Gerir a frequência e os limites de rastreio do Googlebot

O Googlebot gere automaticamente a sua taxa de rastreio para a maioria dos sítios Web para evitar sobrecarregar o seu servidor. No entanto, se o seu servidor não conseguir acompanhar os pedidos do Googlebot, pode utilizar Consola de pesquisa do Google para reduzir a velocidade de deslocação.

O Googlebot está programado para rastrear até ao primeiro 15MB de um ficheiro HTML ou de um ficheiro baseado em texto suportado. Depois de atingir este limite de tamanho, o Googlebot deixa de rastrear o ficheiro e apenas os primeiros 15 MB são considerados para indexação. É importante notar que este limite se aplica a dados não comprimidos. Por conseguinte, se as suas páginas forem enormes, poderá querer otimizar os seus ficheiros para garantir que todo o conteúdo crítico se encontra nos primeiros 15 MB.

Bloquear o Googlebot de rastrear determinadas páginas

Se quiser impedir que o Googlebot rastreie páginas específicas do seu site, existem algumas opções:

• Utilize robots.txt: Ao especificar regras no ficheiro robots.txt, pode impedir o Googlebot de rastrear determinadas páginas.
• Utilize a diretiva noindex. Esta diretiva garante que determinadas páginas não aparecerão nos resultados de pesquisa do Google, mesmo que sejam rastreadas.
• Utilize a proteção por palavra-passe: Proteger estas páginas com uma palavra-passe é uma solução eficaz para bloquear o acesso de crawlers e utilizadores a determinados conteúdos.

Verificar a identidade do Googlebot

É essencial verificar a autenticidade dos pedidos que afirmam ser do Googlebot porque outros crawlers podem falsificar a identidade do Googlebot. A melhor maneira de confirmar um pedido do Google é verificar o endereço IP do pedido e verifique-o na lista oficial do Google de Endereços IP do Googlebot.

Conclusão: É necessário um Sitemap para o seu sítio Web?

Em conclusão, embora o Google possa frequentemente encontrar e rastrear o seu Web site sem um mapa do site, há situações em que a utilização de um mapa do site é altamente benéfica. Para Web sites novos ou de grandes dimensões ou com conteúdo multimédia rico, um mapa do site é uma ferramenta valiosa que ajuda os motores de busca como o Google a descobrir e a dar prioridade ao seu conteúdo de forma mais eficiente. Ao fornecer um mapa do site detalhado, garante que as suas páginas mais importantes são indexadas e visíveis nos resultados de pesquisa, melhorando potencialmente o desempenho do seu Web site nas classificações de pesquisa.