我的WordPress网站上有很多404错误,我使用重定向插件控制了很多错误。
现在有一种特殊类型的404源于Googlebot请求。这些是我以前的帖子,试图寻找与我以前的主题和插件相关的文件,我不再使用这些文件了。如果我通过链接在浏览器中浏览这些页面,则不会抛出404,因此就像谷歌机器人仍在查看旧页面一样。
这些插件(&A);主题文件变化很大。一些是js文件,而另一些是CSS文件。我之前在某个地方读到,超时的谷歌机器人将从这些404错误中学习,谷歌缓存中的旧帖子将得到更新。但几个月后,我仍然看到这种404发生。
我也曾多次向谷歌网站管理员工具提交网站地图。我不喜欢看到这些404个错误,我每个月都会收到500个这样的错误。
我怎样才能解决这个问题?有没有办法告诉Google bot这些插件/主题没有被我使用,所以不要再找它们了,如果你愿意的话,抓取更新版本的页面。
这是我404日志中的一篇这样的帖子https://www.bintooshoots.com/nokia-3310-4g-connectivity-android-based-yunos-spotted-tenaa/
最合适的回答,由SO网友:Peter HvD 整理而成
我知道——我讨厌谷歌为网站代码编制索引,然后在我的日志中充斥着404个旧文件。
您可以在robots.txt
文件:
User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
你可能只是
Disallow: /wp-content/
但这也会阻止上传文件夹中的图像也被索引。。。除非你想要!