
在做网站优化时,不仅要优化网站内容、外部链接和内部链接,还要从细节入手sitemap和robots.txt Map和robots.txt是一个网站为搜索引擎设置的两个极其重要的文件。大多数站长都知道,建好一个网站后,需要构建网站的sitemap.xml,特殊情况下需要设置robots.txt文件。
下面说说Sitemap和Robots.txt的SEO优化技巧
第一部分:网站站点地图优化的技巧。
1.网站必须建立网站地图文件。
无论你的网站是否被收录,建立一个sitemap文件就像是给搜索引擎提供了一个你网站的目录,让搜索引擎更高效的抓取和抓取你的网站。
2.根目录中必须有sitemap.xml文件。
这是针对第一点的。许多网站系统可以自动生成站点地图文件。但是,存储的名称和位置可以不同:例如,ecshop生成的默认sitemap文件命名为sitemaps.xml;dedecms系统生成的sitemap文件位于data/rss/目录下,其名称也是用数字命名的。这些都不规范。搜索引擎的默认格式是根目录中的sitemap.xml文件。也就是说,当搜索引擎来到你的网站时,它会自动寻找你的sitemap.xml文件,而不是其他目录或其他名称的文件。
3.建立网站地图的索引文件。
没有多少人知道sitemap的索引文件。主要是你没有考虑第二个问题,以为你只需要建立自己的sitemap文件。俗话说,酒香还怕巷子深。如果把sitemap文件放在这么深的文件目录里,你觉得搜索一下就能找到吗?有人说我把管理员工具提交给了搜索引擎,但并不是每个搜索引擎都有管理员工具。如果您在网站的根目录中设置了默认的站点地图索引文件,您可以很容易地向任何访问您网站的搜索引擎显示您的网站目录。
不是每个网站都需要网站地图索引文件。这是因为索引文件的作用是引导搜索引擎抓取你真正的sitemap文件。一般来说,当你有至少两个或两个以上的站点地图文件时,建议建立一个站点地图索引文件。在根目录下创建一个名为sitemap.xml的索引文件,指向您真正的站点地图文件。
4.在robots.txt上声明您的站点地图文件
如果没有直接链接,一些搜索引擎可能不会主动搜索您网站目录中的sitemap文件。但是,无论google、百度还是其他不知名的小搜索引擎,都会先索引你网站根目录下的robots.txt文件。如果你在robots.txt文件中声明了你的站点地图文件和它的位置,那么蜘蛛就会顺利爬行。
第二部分:网站robots.txt优化的技巧。
1.根据需要设置robots.txt文件。
要优化任何东西,首先要明白它是用来做什么的。Robots.txt文件是专门为你的搜索引擎准备的。告诉他这个网站哪里能爬,哪里不能爬。或者那些蜘蛛会爬而那些蜘蛛不会。例如,Taobao.com的robots.txt声明禁止百度蜘蛛抓取。其实说白了robots.txt就是搜索引擎抓取网站的许可证。获得许可后,根据网站目录(sitemap文件)抓取你的网站。如果您的网站有特殊设置,您可以使用robots.txt进行设置。
2.在robots中设置你网站的非必要内容页面和目录。
这里提到的设置一般是指不允许没有真实内容的页面和目录。你为什么这么做?原因是搜索引擎在各个网站停留和抓取的时间有限。我们需要确保搜索引擎抓取并包含我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多的流量。如果有些目录和页面即使被搜索引擎抓取收录也不能带来流量,反而占用了搜索引擎搜索你其他有价值页面的机会,那就得不偿失了。这些目录和页面的共同点是:
A.管理后台,加密目录(搜索引擎抓取的话对你没好处)。
B.功能目录,没有内容页面链接的目录;
C.注册、注销、领取、打印等环节(或使用rel=”nofollow “标记);
3. 在robots.txt中声明你的sitemap文件。
为什么这么做已经在上面说过了,在此不重复,具体设置的方法如下:
在robots.txt加入如下的一行文字:
Sitemap: http://tiehoo.com/sitemap.xml (替换自己的sitemap文件地址)
有多个sitemap文件,没有建立sitemap索引文件的也可以在robots.txt里同时声明。
Sitemap: http://tiehoo.com/sitemap.xml
原文链接:https://tiehoo.com/362.html,转载请注明出处。