网站SEO诊断之robots.txt文件

我们都知道搜索引擎使用 spider 程序自动访问互联网上的网页并获取网页信息。spider 在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt 的纯文本文件，这个文件用于指定 spider 在您网站上的抓取范围。您可以在您的网站中创建一个 robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。所以这将是我们网站 SEO 诊断检查的第一要素，因为一旦不小心定义错了 robots.txt 文件，网站将可能消失在搜索引擎结果中，以下可乎网络将会列举需要注意事项，以及 robots.txt 文件的详细写法和 robots 书写例子，同时也收集拓展了一些各大搜索引擎蜘蛛名称。

一、网站 robots.txt 文件注意事项

1、robots.txt 文件必不可少

不论你网站有没有需要禁止搜索引擎抓取的目录或者页面，可乎网络都建议大家添加一个 robots.txt 文件，因为当搜索蜘蛛发现不存在 robots.txt 文件时，会产生一个 404 错误日志在服务器上，从而增加服务器的负担，因此为站点添加一个 robots.txt 文件还是很重要的。

2、robots.txt 文件命名

可能很多人习惯把因为首字母大写，所以在 robots.txt 文件命名必须全部小写。

3、robots.txt 文件位置

robots.txt 必须放置与站点的根目录下，如果放置在二级目录等位置搜索引擎抓取时均会被忽略。

4、robots 文件书写注意

在书写这些Robots规则语句的时候尤其注意的一点是冒号（:）和（ /） 之间要有一个空格符，如果这个空格没有加的话，是不能起到作用的，并且冒号需要是英文半角输入，否则也是无效。

5、robots 规则首字母大写

robots 文件规则的写法中，每一行规则的关键字的首字母都是大写的，如：User-agent、Disallow、Allow、Sitemap

6、robots 规则符号的区别

在屏蔽目录的时候，如果是阻止抓取某目录的话目录名字一定要注意“/”，不带“/”表示的是阻止访问这个目录页面和目录下的页面，而带上“/”则表示进阻止目录下的内容页面，这两点要分清楚。

7、robots 中添加网站地图链接

为了让搜索引擎更快的收录我们的内页，我们一般都会做一个 xml 的百度地图或者谷歌地图，Sitemap: 网站地图，这个命令就可以快速的引导搜索引擎蜘蛛来到你的地图页面对网站内页进行抓取。当网站的死链接过多处理非常麻烦的时候，我们可以利用 robots 来屏蔽这些页面，这样就可以避免网站因为死链接被百度降权。

二、网站 robots.txt 语句详细写法

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符

Disallow: /admin/ 这里定义是禁止爬寻 admin 目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的 URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg 格式的图片

Disallow:/a/b.html 禁止爬取 a 文件夹下面的 b.html 文件。

Allow: /cgi-bin/ 这里定义是允许爬寻 cgi-bin 目录下面的目录

Allow: /tmp 这里定义是允许爬寻 tmp 的整个目录

Allow: .htm$ 仅允许访问以".htm"为后缀的 URL。

Allow: .gif$ 允许抓取网页和 gif 格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图

三、网站 robots.txt 写法举例

1、禁止所有搜索引擎访问网站的所有部分

User-agent: *

Disallow: /

2、禁止百度索引你的网站

User-agent: Baiduspider

Disallow: /

3、禁止 Google 索引你的网站

User-agent: Googlebot

Disallow: /

4、禁止除 Google 外的一切搜索引擎索引你的网站

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

5、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

6、禁止蜘蛛访问某个目录

User-agent: *

Disallow: /css/

7、允许访问某个目录中的某些特定网址

User-agent: *

Allow: /admin/html

Allow: /images/index

Disallow: /admin/

Disallow: /images/

SEO诊断之H1标签优化

H 标签是一个正常网页中结构的划分，更是对正文标题的一个明确和表示，是关键词优化的另一个页面元素，而 H1 标签则被认为是仅次于页面 title 标签，当然也有一些做黑帽 SEO 的人曾经利用搜索引擎对这些标签特性的认可，所以也导致后来搜索引擎给予 H 标签的权重优势降低，但这并不意味这失去权重和标签的一个特性，而是这对一个页面结构的明确。

H 标签按重要性分为 6 层，从 H1 到 H6。H 标签对应于文章的正常结构。文章一定会有一个标题，应该使用 H1 标签，其中包含最重要的关键词。文章中出现小标题，使用 H2 标题，可以包含辅助或相关词语。如果还有更小的标题，可以使用 H3 标签，再低层次的标题意义不大，不仅使文章结构过于复杂，搜索引擎给予的权重也很低了。

网站SEO诊断之nofollow标签属性

nofollow 标签作用

我们都知道，反向链接即外链是搜索引擎给网站排名的一个重要因素。为了添加反向链接，SEO 作弊者会在论坛和博客等大量发布带无关链接的内容。这些垃圾链接的存在给搜索引擎对网页质量的评估造成一定程度的麻烦，可以说 nofollow 是一个非常好的“垃圾链接防火墙”。正是百度、谷歌、Yahoo、MSN 为了应对垃圾链接(Spam)引入的一个属性，此属性目前应该被广泛采用。

nofollow 使用方法

<a href="https://www.kehu56.com" rel="nofollow">可乎网络</a>

nofollow 标签应用

你可以为站点的内部链接添加 nofollow。比如：联系我们、关于我们、隐私保护、公司简介、网站后台等的链接可以把它们 nofollow 掉，这样做，首页的 PR 值就不会传输给他们。因为，他们有太多的 PR 值显然没用;另外网站上的一些广告，因为这些广告只是让其带来 IP 和流量，而不是让其加重搜索引擎的权重，所以也可以加上这个 nofollow 标签，这样不会影响其本来意愿。