robots.txt Not Updating

时间:2015-07-28 作者:user1356029

今天我收到了一封来自网站管理员工具的电子邮件,声明“Googlebot无法访问CSS和JS文件”。所以我开始更新我的机器人。txt文件位于我的服务器的根目录中。

原始内容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml
我从文件中删除了行“不允许:/wp内容/主题/”,并重新上载了文件,但当我在浏览器中查看新文件时,没有任何更改,然后我执行了以下操作:

1) 已删除。根目录中的txt文件

2) 已清除缓存(W3总缓存)

但还是机器人。txt可在我的浏览器中查看。这可能只意味着一件事,即文件实际上是生成的,对吗?我甚至在另一个浏览器中查看,以确保没有缓存发生。

经过多次搜索,我没有找到为什么我的机器人的答案。txt不会更新或从何处生成?

这里有人知道发生了什么事吗?

我使用的一些插件:

1) Better WordPress Google XML Sitemaps
2) W3 Total Cache
3) Yoast SEO
任何帮助都将不胜感激,谢谢。

1 个回复
SO网友:William Turrell

通常,如果磁盘上有WordPress文件,在WordPress介入之前,首先由Apache或Nginx直接提供。

这是在virtualhost配置中完成的,例如,在Nginx中,您通常会发现以下内容,这告诉它先尝试实际文件,然后再进行索引。php处理URL并根据需要生成页面。

location / {
    index index.php index.html;
    try_files $uri $uri/ /index.php?$args;
}
所以如果你的机器人。txt被忽略您的Web服务器配置可能有问题。

我刚刚试用了你提到的三个插件,主题是“215”,一切正常。Yoast SEO允许您编辑机器人。顺便说一句,从管理页面获取txt(转到SEO>工具>文件编辑器。)

如果没有robots.txt 找到文件,或控件已传递给WordPress,默认输出为:

User-agent: *
Disallow: /wp-admin/
请参见wp-includes/functions.php 查看其工作原理,但永远不要编辑核心文件。

这可以通过操作和过滤器进行定制–例如,BWP Sitemaps插件添加了Sitemap: 线

如果你找不到一个插件(或者你的主题中的任何东西),那么do_robotsdo_robotstxt, 这是对你主题的破解functions.php 可能会执行此任务的文件:

/**
 * Remove unwanted \'themes\' from robots.txt with find/replace
 * @param string $input original robots.txt content
 *
 * @return string mixed
 */
function patch_robots_file( $input ) {
    return str_replace( \'Disallow: /wp-content/themes/\', \'\', $input );
}

add_filter( \'robots_txt\', \'patch_robots_file\' );

结束
robots.txt Not Updating - 小码农CODE - 行之有效找到问题解决它

robots.txt Not Updating

时间:2015-07-28 作者:user1356029

今天我收到了一封来自网站管理员工具的电子邮件,声明“Googlebot无法访问CSS和JS文件”。所以我开始更新我的机器人。txt文件位于我的服务器的根目录中。

原始内容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml
我从文件中删除了行“不允许:/wp内容/主题/”,并重新上载了文件,但当我在浏览器中查看新文件时,没有任何更改,然后我执行了以下操作:

1) 已删除。根目录中的txt文件

2) 已清除缓存(W3总缓存)

但还是机器人。txt可在我的浏览器中查看。这可能只意味着一件事,即文件实际上是生成的,对吗?我甚至在另一个浏览器中查看,以确保没有缓存发生。

经过多次搜索,我没有找到为什么我的机器人的答案。txt不会更新或从何处生成?

这里有人知道发生了什么事吗?

我使用的一些插件:

1) Better WordPress Google XML Sitemaps
2) W3 Total Cache
3) Yoast SEO
任何帮助都将不胜感激,谢谢。

1 个回复
SO网友:William Turrell

通常,如果磁盘上有WordPress文件,在WordPress介入之前,首先由Apache或Nginx直接提供。

这是在virtualhost配置中完成的,例如,在Nginx中,您通常会发现以下内容,这告诉它先尝试实际文件,然后再进行索引。php处理URL并根据需要生成页面。

location / {
    index index.php index.html;
    try_files $uri $uri/ /index.php?$args;
}
所以如果你的机器人。txt被忽略您的Web服务器配置可能有问题。

我刚刚试用了你提到的三个插件,主题是“215”,一切正常。Yoast SEO允许您编辑机器人。顺便说一句,从管理页面获取txt(转到SEO>工具>文件编辑器。)

如果没有robots.txt 找到文件,或控件已传递给WordPress,默认输出为:

User-agent: *
Disallow: /wp-admin/
请参见wp-includes/functions.php 查看其工作原理,但永远不要编辑核心文件。

这可以通过操作和过滤器进行定制–例如,BWP Sitemaps插件添加了Sitemap: 线

如果你找不到一个插件(或者你的主题中的任何东西),那么do_robotsdo_robotstxt, 这是对你主题的破解functions.php 可能会执行此任务的文件:

/**
 * Remove unwanted \'themes\' from robots.txt with find/replace
 * @param string $input original robots.txt content
 *
 * @return string mixed
 */
function patch_robots_file( $input ) {
    return str_replace( \'Disallow: /wp-content/themes/\', \'\', $input );
}

add_filter( \'robots_txt\', \'patch_robots_file\' );

相关推荐

Yoast SEO插件打开图形添加meta标签以从作者页面获取阿凡达

我正在尝试创建一个新的og:当用户将其作者个人资料页面共享到Facebook时,为作者头像创建一个新的og:图像。我是WordPress的新手,在搜索了6个多月后,我总是失败。我的网站是多作者的,我需要为作者添加og:图像元标记。php“作者简介”,我被卡住了,我真的厌倦了搜索。当我们的用户试图共享他的个人资料时。。头像没有出现!因为Facebook找不到作者avatar og:image!我使用的插件:Yoast SEO, Simple Local Avatars, AddToAny Share But