A resposta curta
Manter uma página fora das pesquisas, pedir aos rastreadores que não a procurem e restringir quem a pode abrir são tarefas diferentes. O robots.txt e o noindex não protegem informações confidenciais. Escolha o controlo com base no resultado pretendido e utilize uma proteção de acesso real quando apenas as pessoas autorizadas deveriam ver o conteúdo.
Três objetivos que necessitam de controlos diferentes
Uma proposta privada é carregada no site. Alguém adiciona uma regra ao robots.txt e chama-lhe oculta. Noutros locais, o rastreio de uma página pública antiga é bloqueado porque a equipa deseja que seja removida dos resultados da pesquisa.
Ambas as ações parecem razoáveis até que se pergunte o que o visitante ou o motor de busca ainda pode fazer. A privacidade, o rastreio e a indexação precisam de decisões separadas. Confundi-los pode tornar o conteúdo privado acessível ou impedir que um motor de pesquisa leia as próprias instruções destinadas a remover uma página.
Comece por quem deve ter permissão para abrir a página
Se um documento contém informações confidenciais de clientes ou de negócios, a primeira questão é o acesso. Uma pessoa que conheça o URL não poderá abri-lo sem a permissão necessária. Uma preferência do rastreador não é uma verificação de acesso.
Solicite uma demonstração num browser desconectado ou com uma conta à qual não deveria ter acesso. A proteção exata depende do sistema, mas o resultado deve ser observável: os visitantes não autorizados não podem recuperar o conteúdo privado. Não confie num nome de ficheiro obscuro.
Um exemplo trabalhado
Suponha que uma empresa necessita de uma proposta de cliente privada e de uma página de evento pública separada que já não deve aparecer no inquérito.
Onde corre mal
Bloqueie ambos os URLs no robots.txt e descreva-os como privados e removidos.
O que fazer em vez
Proteja a proposta com verificações de acesso reais. Escolha e verifique o comportamento de indexação adequado para a página pública, permitindo que o motor de pesquisa leia as instruções quando necessário.
Os controlos correspondem a dois resultados distintos. A confidencialidade já não depende de um rastreador de pesquisa seguir uma preferência.
De seguida, decida o que deve acontecer na pesquisa
O Robots.txt informa principalmente os rastreadores cooperantes sobre quais os URLs que podem procurar. Um URL bloqueado pode ainda aparecer no Google com base noutras informações. O Noindex informa um motor de pesquisa de suporte para não indexar uma página que possa procurar e processar.
Estes controlos podem entrar em conflito. Se o rastreio estiver bloqueado, o Google não conseguirá ler uma instrução noindex na página. Adicionar ambos sem considerar esta sequência pode prejudicar o resultado pretendido. Peça ao implementador para explicar o comportamento combinado, em vez de contar o número de restrições.
Verifique o resultado pretendido após a alteração
A proteção de acesso pode ser verificada diretamente. A remoção da pesquisa envolve o processamento de um motor de pesquisa e pode não aparecer imediatamente. Separe estes resultados na transferência para que a 'configuração adicionada' não seja confundida com 'removida de todos os resultados'.
Para páginas públicas, considere também se a remoção é a decisão certa. Uma página desatualizada pode necessitar de uma atualização precisa ou de uma substituição relevante. Escolha o comando após decidir o que deve acontecer às pessoas que ainda seguem um link antigo.
Leve isso para a sua próxima conversa
Perguntas a colocar à sua agência
- Alguém com o URL deve conseguir abrir isto?
- Estamos a controlar o acesso, o rastreio ou a indexação?
- O motor de pesquisa pode ler as instruções de remoção?
- Que evidências comprovam cada resultado pretendido?
Perguntas comuns
Um URL não listado é privado?
Não. Os links podem ser partilhados ou descobertos. Se o conteúdo exigir permissão, aplique essa permissão quando alguém a solicitar.
O noindex removerá um resultado imediatamente?
Não presuma isso. Os motores de pesquisa precisam de processar as instruções. Comunique a configuração e o estado de pesquisa observado separadamente.
Notas de origem
Orientação da plataforma por detrás deste tópico:
Da explicação à implementação
Este guia é publicado pela NAVIFLARE, um website, prática de fluxo de trabalho de CRM e IA. As notas de origem identificam a orientação da plataforma; exemplos resolvidos explicam um método em vez de reivindicar o resultado de um cliente.
Explorar design e desenvolvimento de sitesO seu próximo passo
Identifique as páginas envolvidas e anote quem as deve abrir e se devem aparecer na pesquisa. Isto fornece um ponto de partida concreto para discutir os controlos corretos do website.
Discuta o acesso à página e a pesquisa
