我向谷歌网站管理员工具提交了WordPress网站的网站地图。好几次。我一直收到同样的信息:
“Url被robots.txt阻止。”和“站点地图包含被robots.txt阻止的URL。”
但我没有机器人。txt任意位置。看来我的整个网站和上面的每个链接都被Googlebot阻止了。我正在使用WordPress的Yoast SEO插件和Cloudflare,但我禁用了它们并清除了缓存,但没有任何效果。起初我以为是尤斯特的错。
WordPress的“搜索引擎可见性”设置未选中“阻止搜索引擎为此网站编制索引”,这是应该的。现在我想知道WordPress是否创建了自己的虚拟机器人。txt或其他在站点根目录中未显示的内容。
有什么好处?我需要等几天吗?我从来没有机器人。txt开头!