在做网站优化时,不仅要优化网站内容、外部链接和内部链接,还要从细节入手sitemap和robots.txt Map和robots.txt是一个网站为搜索引擎设置的两个极其重要的文件。大多数站长都知道,建好一个网站后,需要构建网站的sitemap.xml,特殊情况下需要设置robots.txt文件。
下面说说Sitemap和Robots.txt的SEO优化技巧
无论你的网站是否被收录,建立一个sitemap文件就像是给搜索引擎提供了一个你网站的目录,让搜索引擎更高效的抓取和抓取你的网站。
这是针对第一点的。许多网站系统可以自动生成站点地图文件。但是,存储的名称和位置可以不同:例如,ecshop生成的默认sitemap文件命名为sitemaps.xml;dedecms系统生成的sitemap文件位于data/rss/目录下,其名称也是用数字命名的。这些都不规范。搜索引擎的默认格式是根目录中的sitemap.xml文件。也就是说,当搜索引擎来到你的网站时,它会自动寻找你的sitemap.xml文件,而不是其他目录或其他名称的文件。
没有多少人知道sitemap的索引文件。主要是你没有考虑第二个问题,以为你只需要建立自己的sitemap文件。俗话说,酒香还怕巷子深。如果把sitemap文件放在这么深的文件目录里,你觉得搜索一下就能找到吗?有人说我把管理员工具提交给了搜索引擎,但并不是每个搜索引擎都有管理员工具。如果您在网站的根目录中设置了默认的站点地图索引文件,您可以很容易地向任何访问您网站的搜索引擎显示您的网站目录。
不是每个网站都需要网站地图索引文件。这是因为索引文件的作用是引导搜索引擎抓取你真正的sitemap文件。一般来说,当你有至少两个或两个以上的站点地图文件时,建议建立一个站点地图索引文件。在根目录下创建一个名为sitemap.xml的索引文件,指向您真正的站点地图文件。
如果没有直接链接,一些搜索引擎可能不会主动搜索您网站目录中的sitemap文件。但是,无论google、百度还是其他不知名的小搜索引擎,都会先索引你网站根目录下的robots.txt文件。如果你在robots.txt文件中声明了你的站点地图文件和它的位置,那么蜘蛛就会顺利爬行。
要优化任何东西,首先要明白它是用来做什么的。Robots.txt文件是专门为你的搜索引擎准备的。告诉他这个网站哪里能爬,哪里不能爬。或者那些蜘蛛会爬而那些蜘蛛不会。例如,Taobao.com的robots.txt声明禁止百度蜘蛛抓取。其实说白了robots.txt就是搜索引擎抓取网站的许可证。获得许可后,根据网站目录(sitemap文件)抓取你的网站。如果您的网站有特殊设置,您可以使用robots.txt进行设置。
这里提到的设置一般是指不允许没有真实内容的页面和目录。你为什么这么做?原因是搜索引擎在各个网站停留和抓取的时间有限。我们需要确保搜索引擎抓取并包含我们网站上最有价值的页面。通过这些有价值的内容页面给我们带来更多的流量。如果有些目录和页面即使被搜索引擎抓取收录也不能带来流量,反而占用了搜索引擎搜索你其他有价值页面的机会,那就得不偿失了。这些目录和页面的共同点是:
A.管理后台,加密目录(搜索引擎抓取的话对你没好处)。
B.功能目录,没有内容页面链接的目录;
C.注册、注销、领取、打印等环节(或使用rel="nofollow "标记);
为什么这么做已经在上面说过了,在此不重复,具体设置的方法如下:
在robots.txt加入如下的一行文字:
Sitemap: http://tiehoo.com/sitemap.xml (替换自己的sitemap文件地址)
有多个sitemap文件,没有建立sitemap索引文件的也可以在robots.txt里同时声明。
Sitemap: http://tiehoo.com/sitemap.xml
上一篇:如何正确使用Bing IndexNow插件快速推送文章
下一篇:WordPress 中如何添加 Cloudflare Turnstile
支付宝扫一扫打赏
微信扫一扫打赏