Googlebot在我的URL末尾添加/提要

时间:2014-09-28 作者:JoaMika

我在Google网站管理员上看到,爬虫通过添加/feed在他们的尽头。

e、 g。

4    holiday-fashion-from-daisy-darche/feed/       404         8/4/14
这显然会导致404错误。

谷歌为什么要这么做?我如何防止这种情况?

我找到了这篇相关文章:http://utcc.utoronto.ca/~cks/space/blog/web/GooglebotCrawlingFeeds

1 个回复
SO网友:Otto

将提要添加到URL的末尾不是错误,也不应导致404。

WordPress支持以feed的形式发送大多数页面数据,Google会根据这些信息对其进行抓取,以获取URL和其他信息。

结束