Add robots.txt to root

时间:2013-02-25 作者:Mike Deck

我有一个新的Wordpress 3.5.1安装程序(托管在Dreamhost FWIW上)not 希望被搜索引擎索引。我想服务一个简单的机器人。txt带Disallow: / 对于所有用户代理。

我已选中“设置”>“阅读”菜单上的“阻止搜索引擎为此网站编制索引”框,但http://mysite.com/robots.txt 仍然返回404。

有没有办法让Wordpress自动生成并服务于合适的机器人。txt文件?如果没有,配置它来为我自己的静态机器人服务的最佳方式是什么。txt文件?

2 个回复
最合适的回答,由SO网友:Mark Kaplun 整理而成

首先,为了让Wordpress生成一个机器人。txt对于您来说,您必须使用非默认的永久链接结构。确保已在“设置”>“永久链接”菜单中选择了一个选项。

还有,如果是机器人。txt文件存在于根目录中,它将覆盖Wordpress中的设置。看起来你已经有机器人了。txt文件,这就是wordpress设置被忽略的原因。

SO网友:Eugene Manuilov

您不需要添加robots.txt 文件的根目录。robots.txt 文件在您访问时实时生成http://mysite.com/robots.txt. 负责创建此文件的函数是do_robots.

如果您希望添加自己的指令,只需为robots_txt 过滤器,如下所示:

add_filter( \'robots_txt\', \'wpse8170_my_robots_txt\', 10, 2 );
function wpse8170_my_robots_txt( $output, $public ) {
    if ( \'0\' != $public ) {
        $output .= \'
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
\';
    }
    return $output;
}

结束

相关推荐

What is a good robots.txt?

什么是“最佳”设置robots.txt?我正在使用以下permalink结构/%category%/%postname%/.我的robots.txt 目前看起来像这样(从很久以前的某个地方复制):User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache