Google网站管理员工具错误“URL已被robots.txt阻止。”

时间：2017-02-09 作者：Joel

我有一个WordPress网站，我把它提交给了谷歌站长，在提交了网站地图后，它给了我一个错误“URL blocked by robots.txt”。

请帮忙，我该怎么办？

2 个回复
SO网友:ClodClod91

尝试转到设置-->读取，查看搜索引擎可见性是否已选中，在本例中是否未选中。现在是机器人。txt仅禁止wp admin路径

SO网友:Faisal Alvi

你可以read this article.

一些来自那里：

当谷歌由于机器人无法抓取特定URL时，会出现此错误。txt限制

  • <；meta name=“robots”content=“noindex”/>
  • X-robots-Tag:noindex不允许：[路径或/]（在robots.txt文件中）

    标签： robots.txt   google-xml-sitemaps   customization   小码农  

    相关推荐

    robots.txt Not Updating

    今天我收到了一封来自网站管理员工具的电子邮件，声明“Googlebot无法访问CSS和JS文件”。所以我开始更新我的机器人。txt文件位于我的服务器的根目录中。原始内容：User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM &#