通常,如果磁盘上有WordPress文件,在WordPress介入之前,首先由Apache或Nginx直接提供。
这是在virtualhost配置中完成的,例如,在Nginx中,您通常会发现以下内容,这告诉它先尝试实际文件,然后再进行索引。php处理URL并根据需要生成页面。
location / {
index index.php index.html;
try_files $uri $uri/ /index.php?$args;
}
所以如果你的机器人。txt被忽略您的Web服务器配置可能有问题。
我刚刚试用了你提到的三个插件,主题是“215”,一切正常。Yoast SEO允许您编辑机器人。顺便说一句,从管理页面获取txt(转到SEO>工具>文件编辑器。)
如果没有robots.txt
找到文件,或控件已传递给WordPress,默认输出为:
User-agent: *
Disallow: /wp-admin/
请参见
wp-includes/functions.php
查看其工作原理,但永远不要编辑核心文件。
这可以通过操作和过滤器进行定制–例如,BWP Sitemaps插件添加了Sitemap:
线
如果你找不到一个插件(或者你的主题中的任何东西),那么do_robots
或do_robotstxt
, 这是对你主题的破解functions.php
可能会执行此任务的文件:
/**
* Remove unwanted \'themes\' from robots.txt with find/replace
* @param string $input original robots.txt content
*
* @return string mixed
*/
function patch_robots_file( $input ) {
return str_replace( \'Disallow: /wp-content/themes/\', \'\', $input );
}
add_filter( \'robots_txt\', \'patch_robots_file\' );