西安seo技术分享者。联系QQ877374936

SEO基础知识(11)Robots.txt的组成与写法运用

SEO优化教程 西安seo 1757℃ 0评论

robots写法

Robots.txt的组成与写法运用

一、Robots.txt的组成:

Robots.txt协议是由三个命令值,四个通配符组成的。

1、三个命令值

  • User-agent:用户代理,利用该命令来区分各大搜索引擎爬虫。
  • Disallow:不容许,禁止。
  • Allow:  允许。

2、两个通配符

  • *” 匹配多个任意字符。
  • $” 匹配行结束符。

二、Robots.txt的写法运用

  • User-agent: Baiduspider  (指百度引擎爬虫,当然也可以是Googlebot谷歌爬虫)
  • User-agent: *    (加通配符*泛指的是所有的搜索引擎)

2、Disallow

Disallow的意思是禁止不允许搜索引擎爬虫抓取。网站有不想被引擎抓取的内容,如后台隐私、动态地址、死链等等,都可以利用Disallow进行屏蔽:

Disallow的写法是:

  • Disallow: /   (单独的”/”指全站都不允许被引擎榨取)
  • Disallow: /admin/ (不允许抓取admin文件夹中的所以文件,这里的”/xxx /”是指完全匹配及精确的意思)
  • Disallow: /a  (/a是指以a开头的路径的都不允许抓取)
  • Disallow: /xxx.html (指的屏蔽xxx.html这个网页)
  • Disallow: /*.gif$   (指引擎不允许抓取”gif格式的图片,*匹配任意字符,不论.gif前面的是什么字符主要包含,$匹配url结束)
  • Disallow: /*?xxx*?xxx指动态参数的规律,表示包含“?xxx”的路径都不允许抓取,一般用来屏蔽动态路径)

3、Allow的写法和运用:

Allow是允许被抓取,和Disallow配合使用

  • Disallow: /amAllow: /am5/:那么这段指令的意思是,不允许抓取以已am开始的文件,但是允许抓取am5这个文件。

三、Robots的操作规范和注意要点:

  • 新建txt文档并以robots命名(一行只能写一个指令)。 
  • 注意要点:User-agent: / ;Disallow: /;  Allow: /所有的指令开头字母必须是大写,且有:号后面加上空格。
  • 主要屏蔽图片时,前应在图片格式前加上点“.”。
  • 进行robots操作时一定要区分大小写,并确保需要操作的目标,与源文件的名称一样
  • 上线后切勿进行伪静态屏蔽!否则会造成大量死链产生,对网站优化造成不利。
  • 写好的robots文件上传到网站根目录。
  • 20161130113007
  • 检测robots.txt是否成功,输入“网站/robots.txt”看是否能打开,显示的内容是否符合。。
  • 使用百度站长工具robots,检查网站robots.txt是否生效。

推荐内容robots在网站优化中的作用以及查看方法

转载请注明:西安SEO-SEO网站优化-SEO橙子 » SEO基础知识(11)Robots.txt的组成与写法运用

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!

(3)个小伙伴在吐槽
  1. 大橙子2017-02-18 14:51