在WordPress的robots.txt文件中，用户代理和不允许是什么意思

时间：2015-02-03 作者：TrendyUpdates

用户代理和不允许的含义是什么robots.txt WordPress中的文件。我对此有点困惑。

1 个回复
SO网友:Gyanendra Giri

User-agent

它们是网络机器人（也称为网络漫游者、爬虫或蜘蛛），是自动穿越网络的程序。谷歌（Google）等搜索引擎使用它们为web内容编制索引，垃圾邮件发送者使用它们扫描电子邮件地址，它们还有许多其他用途。

Disallow

它告诉机器人，它不应该访问此标记不允许的页面或网站目录。

Details here

结束
标签： robots.txt   小码农  

相关推荐

这个robots.txt是不是让谷歌不显示我的一些内容？

http://chineselearnonline.com/User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Sitemap: http://chinesele