你能为WordPress验证一下我的robots.txt吗?

时间:2011-10-15 作者:webmasters

我是写这篇文章的新手,因为这是一件很危险的事情(如果你不知道自己在做什么),你能验证一下吗?

我使用wordpress多站点,这就是为什么我选择允许博客。目录

我只想把我的帖子和类别编入索引。就是这样:)

User-agent: *

Disallow: /cron/
Disallow: /lo/
Disallow: /portfolio.html

Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-login.php

Allow: /wp-content/uploads/
Allow: /wp-content/blogs.dir/

Disallow: /author/
Disallow: /tag/
Disallow: /archives/
Disallow: /2010/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /about/

Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /feed
Disallow: */feed
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.xlsx $
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.zip$

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
Ty,保重;)

2 个回复
最合适的回答,由SO网友:Juan Ramón 整理而成

文件机器人。txt不排除所有搜索引擎对您的网站进行爬网。。。大多数搜索引擎在不使用机器人的情况下就可以抓取漏洞站点。txt文件正在考虑中。

我认为最好的方法是在博客的主题中使用元标记。

对帖子和类别模板文件使用下一个元标记:

<meta name="robots" content="index, follow" /> 
<meta name="googlebot" content="index, follow" />
对其余模板文件使用此元标记

<meta name="robots" content="noindex, nofollow, noarchive" />
<meta name="googlebot" content="noindex, nofollow, noarchive" />

SO网友:mAsT3RpEE

至于机器人。txt文件。这将适用于主要搜索引擎(谷歌、必应/雅虎、Yandex、百度)。

User-agent: *
Disallow: *.php
Disallow: *.js
Disallow: *.inc
Disallow: *.css
Disallow: *.gz
Disallow: *.wmv
Disallow: *.cgi
Disallow: *.xhtml
Disallow: *.xlsx
Disallow: *.doc
Disallow: *.pdf
Disallow: *.zip
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /author/
Disallow: /tag/
Disallow: /archives/
Disallow: /2010/*
Disallow: /2011/*
Disallow: /2012/*
Disallow: /about/
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /feed
Disallow: */feed
Allow: /wp-content/uploads/
Allow: /wp-content/blogs.dir/
Sitemap: http://domain.com/post_sitemap.xml
Crawl-delay: 4
确保您包含一个只有帖子的网站地图。Yoast\'s Plugin 可以做到这一点。

最后(如果您没有SEO插件),请将以下内容添加到页面模板中:

<meta name="robots" content="noindex, nofollow" />
这是你的帖子模板

<meta name="robots" content="noindex, nofollow" />

结束

相关推荐

Multisite features

我在考虑创建一个由用户创建的博客组成的网络。我读过一些关于wordpress多站点功能的文章,我想知道这是否是我想要的。。。我需要做的是创建一个网站,让用户注册并创建他们的onw博客。wordpress multisite是否提供此功能?如果不是,手动将此功能实现到wp中是可行的,还是应该从0或其他平台开始?非常感谢。