Robots.txt: o que é, quando mexer e o erro que tira o site do Google

1. Um arquivo de duas linhas que pode sumir com o site

O site ficou pronto, foi ao ar, e meses depois ninguém o encontra no Google, nem pelo nome da empresa. O telefone não toca, e a primeira suspeita costuma ser o conteúdo, a concorrência ou o Google “demorando”. Às vezes a causa é um arquivo de texto com duas linhas que ninguém abriu.

Esse arquivo é o robots.txt. Ele fica na raiz de todo site que o tem e diz aos robôs dos buscadores por onde podem passar. Escrito certo, é inofensivo. Escrito errado, pode impedir o Google de ler o site inteiro.

Este guia explica o que o arquivo é, para que serve, como ler o do seu site e quando vale mexer nele. As regras citadas vêm da documentação do Google Search Central, da Ajuda do Search Console e da página da OpenAI sobre os robôs do ChatGPT, lidas em novembro de 2026.

2. O que é o robots.txt

O Google define o robots.txt como um arquivo que indica aos rastreadores quais URLs do site eles podem acessar. Rastrear é o primeiro passo da busca: o robô visita a página, lê o conteúdo e só depois o Google decide se ela entra no índice e para quais buscas aparece.

As regras de criação são poucas e rígidas. O arquivo tem de se chamar exatamente robots.txt, ficar na raiz do host (como https://www.exemplo.com.br/robots.txt) e ser texto simples em UTF-8. Não pode ficar numa subpasta. Cada combinação de protocolo, host e porta tem o seu: o arquivo de exemplo.com.br não vale para loja.exemplo.com.br nem para a versão sem HTTPS.

O Google também avisa para não editar o arquivo num processador de texto, porque ele pode trocar aspas retas por curvas e inserir caracteres que o robô não entende. Bloco de notas ou o editor do próprio servidor resolvem.

3. Como o arquivo é escrito

O robots.txt é organizado em grupos. Cada grupo começa dizendo a qual robô se aplica e, abaixo, lista o que ele pode ou não rastrear. O Google lê quatro campos e ignora os outros.

Leia a tabela de cima para baixo, como o robô lê. Primeiro ele procura o grupo com o nome dele; se não achar, usa o grupo do asterisco. Dentro do grupo, vale a regra de caminho mais longo, e em caso de empate, a menos restritiva. As regras diferenciam maiúsculas de minúsculas: bloquear /Arquivo não bloqueia /arquivo.

Dois detalhes evitam confusão. O campo crawl-delay, que aparece em muitos modelos prontos, é ignorado pelo Google. E o Google não aceita noindex dentro do robots.txt: a regra de não indexar vai na própria página. O arquivo também tem limite de tamanho: o que passar de 500 KiB é ignorado.

4. Para que ele serve, segundo o Google

A documentação lista dois usos principais. O primeiro é controlar o tráfego de robôs, para que o rastreamento não sobrecarregue o servidor. O segundo é deixar de rastrear páginas pouco importantes ou muito parecidas entre si, como resultados de busca interna ou filtros de loja que geram milhares de combinações.

Para arquivos de mídia, o robots.txt também impede que imagens, vídeos e áudios apareçam nos resultados. E pode bloquear arquivos de estilo e scripts, mas só se a página funcionar bem sem eles. Se a falta desses arquivos atrapalhar o Google a entender a página, eles não devem ser bloqueados.

A pergunta “meu site precisa de robots.txt?” tem uma resposta curta do Google: só se fizer sentido para o seu caso. Um site institucional de poucas páginas, sem área restrita nem busca interna, pode viver sem o arquivo. Quando ele não existe, o Google entende que não há restrição e rastreia tudo.

5. Robots.txt não esconde página: a diferença para o noindex

Este é o mal-entendido mais comum. O Google escreve, com todas as letras, que o robots.txt não é um mecanismo para manter uma página fora do Google. Uma URL bloqueada pode aparecer nos resultados sem descrição, e pode até ser indexada se outros sites linkarem para ela, mostrando o endereço e o texto desses links.

A conclusão da tabela tem uma armadilha. Para o noindex funcionar, a página não pode estar bloqueada no robots.txt. Se estiver, o Google nunca a visita, nunca vê a regra, e a página pode continuar aparecendo. Quem quer tirar uma página do Google e bloqueia no robots.txt e ainda coloca noindex consegue o contrário do que pretendia. Para conteúdo sensível de verdade, como área de clientes, o Google indica proteger com senha no servidor.

6. O erro que tira o site do Google

Durante a construção, há quem bloqueie o site inteiro para o Google não indexar uma versão pela metade. A forma mais simples são duas linhas: User-agent: * e Disallow: /. Segundo a documentação de criação do arquivo, essa combinação bloqueia todo o site para todos os robôs, exceto os AdsBot.

O problema é quando o site vai ao ar e as duas linhas ficam. A página de requisitos técnicos do Google diz que, para ser elegível à indexação, a página não pode impedir o rastreamento do Googlebot, e que páginas bloqueadas no robots.txt dificilmente aparecem nos resultados. Na prática, o site existe, abre normalmente no navegador, e não aparece na busca.

Em construtores de site, o mesmo efeito pode vir da opção de visibilidade para buscadores, que o próprio Google cita para quem usa Wix ou Blogger. Desligada, ela esconde o site por outro caminho, com a mesma consequência. Se o site novo não aparece nem pelo nome, essa é uma das primeiras coisas a conferir, junto com as causas listadas no guia por que minha empresa não aparece no Google.

7. Quem lê o arquivo: os robôs do Google e do ChatGPT

O robots.txt não vale só para o Google. Cada robô se identifica por um nome, e o arquivo pode dar regras diferentes para cada um. Os nomes abaixo são os que mais interessam a um negócio que quer ser encontrado.

Leia a tabela pela última coluna. Bloquear o Googlebot tira o site da Pesquisa. Bloquear o Google-Extended, segundo o Google, não afeta a inclusão na Pesquisa nem é sinal de ranqueamento. Do lado da OpenAI, a página oficial diz que quem bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, e que bloquear o GPTBot não muda essa visibilidade. Cada nome é uma decisão separada.

Há um limite que vale para todos: o robots.txt é um pedido, não uma tranca. O Google lembra que só robôs respeitáveis obedecem ao arquivo e que cada um pode interpretar a sintaxe de um jeito. Informação que não pode vazar precisa de proteção no servidor. A relação entre esse arquivo e o llms.txt, outro arquivo proposto para as IAs, está no guia llms.txt.

8. Como ver o robots.txt do seu site

A conferência mais rápida não exige ferramenta. Digite o endereço do site seguido de /robots.txt no navegador. Se aparecer uma página de erro, o arquivo não existe, e o Google rastreia tudo. Se aparecer texto, leia as linhas de Disallow. Uma barra sozinha depois de Disallow:, num grupo de User-agent: * ou Googlebot, é o sinal de alerta.

O Google recomenda abrir o arquivo numa janela anônima, para ter certeza de que ele está acessível ao público e não só para quem está logado no painel do site. O mesmo truque serve para ver o arquivo de qualquer concorrente.

No Search Console, o relatório de robots.txt mostra os arquivos que o Google encontrou nos 20 principais hosts do site, quando cada um foi lido pela última vez, o status da leitura e os problemas de análise. O relatório fica disponível para propriedades de domínio. Depois de corrigir um bloqueio, dá para pedir uma nova leitura pelo próprio relatório, embora a Ajuda diga que isso normalmente não é necessário, porque o Google lê o arquivo com frequência.

9. Quando o servidor falha

Pouca gente sabe que o Google trata de forma diferente a falta do arquivo e a falha do servidor. A documentação sobre como o Google interpreta o robots.txt descreve o que acontece em cada caso.

A última linha é a que preocupa. Se o servidor responde com erro ao pedido do robots.txt, o Google interrompe o rastreamento do site inteiro nas primeiras horas, mesmo que as páginas estejam no ar. Hospedagem instável, portanto, afeta o Google por um caminho que não aparece para o visitante. O Google guarda o arquivo em cache, em geral, por até 24 horas, por isso uma correção não vale no mesmo minuto.

10. Wix, Blogger e outros construtores

Em plataformas de site pronto, o dono nem sempre tem acesso ao arquivo. O Google reconhece isso: diz que em serviços como Wix e Blogger pode não ser possível editar o robots.txt direto, e orienta procurar nas configurações a opção de visibilidade nos buscadores.

Para o dono do negócio, a consequência é que a pergunta a fazer não é “como edito o arquivo”, e sim “a opção de aparecer nos buscadores está ligada?”. Ela costuma ficar nas configurações de SEO do site ou de cada página. Se o site foi feito por terceiros num construtor, peça que mostrem essa tela, com a opção de aparecer nos buscadores ligada.

Com o arquivo liberado, o passo seguinte é avisar o Google que o site existe, enviando o sitemap pelo Search Console. O guia como colocar o site no Google mostra esse passo.

11. Quando mexer e o que cobrar de quem faz o site

Para a maioria dos sites de serviço, o robots.txt certo é curto: libera tudo e, no máximo, indica o endereço do sitemap. Mexer faz sentido quando há área de clientes, painel administrativo, busca interna ou páginas de filtro geradas aos milhares. Fora isso, regra a mais é risco a mais.

Um exemplo, montado só para ilustrar, de arquivo enxuto para um site de serviço com painel administrativo tem três linhas: User-agent: *, Disallow: /painel/ e Sitemap: https://www.exemplo.com.br/sitemap.xml. Lido em voz alta: vale para todos os robôs, nenhum deles deve rastrear o painel, e o mapa do site está naquele endereço. Todo o resto fica liberado, porque o que não está bloqueado está permitido. Se o seu arquivo for muito maior que isso, peça a quem o escreveu que explique cada linha.

Na entrega de um site novo, peça três confirmações por escrito. Que o arquivo, se existir, não bloqueia o Googlebot nem o site inteiro. Que a opção de “ocultar dos buscadores” da plataforma está desligada. E que o Search Console foi configurado com acesso para você, para que o relatório de robots.txt fique sob seu controle, e não só do fornecedor.

Na troca de fornecedor ou de plataforma, repita a conferência. Numa migração, o site novo passa por uma fase de construção, e o bloqueio dessa fase pode ir junto para o ar. Esse e outros itens de conferência estão reunidos no guia SEO técnico.

12. Erros comuns

• “Disallow: /” esquecido depois do lançamento. Bloqueia o site inteiro para todos os robôs que respeitam o arquivo.
• Usar robots.txt para esconder página. O Google diz que a URL bloqueada ainda pode aparecer, sem descrição.
• Bloquear e colocar noindex na mesma página. O Google não rastreia, não vê o noindex, e a página pode ficar.
• Colocar noindex ou crawl-delay no arquivo. O Google ignora os dois.
• Bloquear CSS e scripts de que a página depende. O Google pede para não bloquear o que ele precisa para entender a página.
• Arquivo numa subpasta. Só vale na raiz do host.

Repare que quase todos esses erros vêm de tentar usar o arquivo para mais do que ele faz. O robots.txt controla por onde o robô passa, e só isso. Indexação, privacidade e segurança têm ferramentas próprias.

13. Em resumo

O robots.txt é um arquivo de texto na raiz do site que diz aos robôs quais endereços podem rastrear. Ele serve para controlar o rastreamento, não para tirar páginas do Google, que é papel do noindex, e não protege nada, que é papel da senha no servidor.

Para um site pequeno, o arquivo pode nem existir. O que não pode é sobrar o “Disallow: /” da fase de construção ou a opção de ocultar dos buscadores ligada no construtor. Abra seudominio.com.br/robots.txt agora, veja o relatório no Search Console e cobre de quem faz o site a confirmação de que nada importante está bloqueado. Com o caminho livre, o que o site consegue na busca depende do conteúdo, do mercado e da concorrência.