网站地图sitemap和robots网站爬虫的综合使用

下面说说Sitemap和Robots.txt的SEO优化技巧

第一部分:网站站点地图优化的技巧。

1.网站必须建立网站地图文件。

无论你的网站是否被收录，建立一个sitemap文件就像是给搜索引擎提供了一个你网站的目录，让搜索引擎更高效的抓取和抓取你的网站。

2.根目录中必须有sitemap.xml文件。

这是针对第一点的。许多网站系统可以自动生成站点地图文件。但是，存储的名称和位置可以不同:例如，ecshop生成的默认sitemap文件命名为sitemaps.xml；dedecms系统生成的sitemap文件位于data/rss/目录下，其名称也是用数字命名的。这些都不规范。搜索引擎的默认格式是根目录中的sitemap.xml文件。也就是说，当搜索引擎来到你的网站时，它会自动寻找你的sitemap.xml文件，而不是其他目录或其他名称的文件。

3.建立网站地图的索引文件。

没有多少人知道sitemap的索引文件。主要是你没有考虑第二个问题，以为你只需要建立自己的sitemap文件。俗话说，酒香还怕巷子深。如果把sitemap文件放在这么深的文件目录里，你觉得搜索一下就能找到吗？有人说我把管理员工具提交给了搜索引擎，但并不是每个搜索引擎都有管理员工具。如果您在网站的根目录中设置了默认的站点地图索引文件，您可以很容易地向任何访问您网站的搜索引擎显示您的网站目录。

不是每个网站都需要网站地图索引文件。这是因为索引文件的作用是引导搜索引擎抓取你真正的sitemap文件。一般来说，当你有至少两个或两个以上的站点地图文件时，建议建立一个站点地图索引文件。在根目录下创建一个名为sitemap.xml的索引文件，指向您真正的站点地图文件。

4.在robots.txt上声明您的站点地图文件

如果没有直接链接，一些搜索引擎可能不会主动搜索您网站目录中的sitemap文件。但是，无论google、百度还是其他不知名的小搜索引擎，都会先索引你网站根目录下的robots.txt文件。如果你在robots.txt文件中声明了你的站点地图文件和它的位置，那么蜘蛛就会顺利爬行。

第二部分:网站robots.txt优化的技巧。
1.根据需要设置robots.txt文件。

要优化任何东西，首先要明白它是用来做什么的。Robots.txt文件是专门为你的搜索引擎准备的。告诉他这个网站哪里能爬，哪里不能爬。或者那些蜘蛛会爬而那些蜘蛛不会。例如，Taobao.com的robots.txt声明禁止百度蜘蛛抓取。其实说白了robots.txt就是搜索引擎抓取网站的许可证。获得许可后，根据网站目录(sitemap文件)抓取你的网站。如果您的网站有特殊设置，您可以使用robots.txt进行设置。

2.在robots中设置你网站的非必要内容页面和目录。

这里提到的设置一般是指不允许没有真实内容的页面和目录。你为什么这么做？原因是搜索引擎在各个网站停留和抓取的时间有限。我们需要确保搜索引擎抓取并包含我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多的流量。如果有些目录和页面即使被搜索引擎抓取收录也不能带来流量，反而占用了搜索引擎搜索你其他有价值页面的机会，那就得不偿失了。这些目录和页面的共同点是:

A.管理后台，加密目录(搜索引擎抓取的话对你没好处)。

B.功能目录，没有内容页面链接的目录；

C.注册、注销、领取、打印等环节(或使用rel="nofollow "标记)；

3. 在robots.txt中声明你的sitemap文件。

为什么这么做已经在上面说过了，在此不重复，具体设置的方法如下：

在robots.txt加入如下的一行文字：
Sitemap: http://tiehoo.com/sitemap.xml (替换自己的sitemap文件地址)

有多个sitemap文件，没有建立sitemap索引文件的也可以在robots.txt里同时声明。
Sitemap: http://tiehoo.com/sitemap.xml