西安seo技术分享者。联系QQ877374936

西安seo-关于robots.txt的常规屏蔽项

SEO优化教程 西安seo 1833℃ 0评论

昨天在seo贴吧有朋友问道关于robots的写法,其中有人问道网站需要屏蔽掉那些文件是不能让搜索引擎抓取的,下面西安seo橙子就对robots网站屏蔽进行介绍下。

robots.txt

robots.txt的常规屏蔽项

robots的介绍和写法我就在这里讲了还不了解的朋友可以看我之前的文章,今天主要介绍下robots的在网站使用中的屏蔽事项。

1、admin:屏蔽掉admin目录,admin目录一般都是网站的后台信息,所以要屏蔽掉不让搜索引擎蜘蛛抓取到admin的隐身信息;

写法:Disallow: /wp-admin/

2、includes:数据库信息,数据库是我们网站的一个储存信息的文件包括管理员登陆信息等。

写法:Disallow: /includes/

3、template:模板信息,抓取网站模板信息经常会出行路径丢失情况,从而造成404状态码所以需要屏蔽掉。

写法:Disallow: /template/

4、JS代码;目前的搜索引擎爬虫是无法识别js代码的,而且JS代码的爬去会造成大量的无效抓取不利于seo优化,我们可以利用robots.txt屏蔽掉。

因各个模板的规则有所不同,无法举例说明;

5、动态路径:做完伪静态后的还会出一些动态规则参数,也同样需要屏蔽掉

写法:没有具体写法,因为动态路径的规则大家都不尽相同。

关于第4条、和第5条的写法因为模板不同规则也无法判读。所以就没写。大家可以去看我的上一篇文章(Robots.txt的组成与写法运用

转载请注明:西安SEO-SEO网站优化-SEO橙子 » 西安seo-关于robots.txt的常规屏蔽项

喜欢 (7)or分享 (0)

您必须 登录 才能发表评论!