西安seo技术分享者。联系QQ877374936

SEO基础知识(12)Robots是什么?在网站优化中的作用以及查看方法(图文)

SEO优化教程 西安seo 1028℃ 0评论

一、Robots是什么

Robots及robots.txt是引擎爬虫的协议,全名叫:“网络爬虫排除标准”(Robots Exclusion Protocol)是一种引擎爬虫协议,网站通过robots.txt协议来制约搜索引擎爬虫的抓取权限,当搜索引擎来到网站的时候首先浏览网站的robots.txt文件协议来衡量自己的抓取权限。

二、如何查看Robots.txt

Robots文件的查看方法有两种:

1、在网址加上/robots.txt来查看.比如在www.tmall.com后面输入/robots.txr查看天猫的协议。

robots.txt查看

2、我们还可以利用百度站长平台来查看,不过这个只有通过站点验证后才能查看,查看方法点击robots——检测并更新。

robots查看

三、Robots在网站中的作用

RObots协议可以用来制约引擎爬虫的抓取权限,比如我们网站内有不想被搜索引擎发现|”东西”,这个“东西”可能是一篇文章,一张图片或者一个具体的网页,如我们的后台登陆,数据库,以及伪静态设置的动态元素不希望被引擎蜘蛛抓取,我们就可以通过robots的书写来控制。

对于SEO网站优化来说,通过rbots协议屏蔽做了伪静态处理后的动态路径,避免搜索蜘蛛抓取困难(动态元素超过5个就就造成对蜘蛛爬取不利),屏蔽死链增加蜘蛛对网站的友好度;还可以进行权重的集中,屏蔽不相关的页面,集中权重利于排名。

延伸内容:robots的写作方法与运用

转载请注明:西安SEO-SEO网站优化-SEO橙子 » SEO基础知识(12)Robots是什么?在网站优化中的作用以及查看方法(图文)

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!

(1)个小伙伴在吐槽