seo基础robots写法及robots高级玩法

　　robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索来爬行网站时候，会先看网站里有没有robots这个文件，如果有这个文件，会按照robots文件给的爬行规则进行网站的爬取。　　为什么要用robots?　　网站为了seo网站优化肯定会有部分页面不想被搜索抓取和收录，如“联系我们”“广告合作”这时就会用到robots，来屏蔽搜索的爬取和收录。　　robots的基本写法　　1、允许所有搜索引擎访问　　User-agent: *　　Disallow:　　或者　　User-agent: *　　Allow: /　　注意，可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。　　2、禁止所有搜索引擎访问　　User-agent: *　　Disallow: /　　或者　　User-agent: *　　allow:　　3、禁止所有搜索引擎访问网站中的几个部分，在这里我用a、b、c目录来代替　　User-agent: *　　Disallow: /a/　　Disallow: /b/　　Disallow: /c/　　如果是允许，则是　　Allow: /a/　　Allow: /b/　　Allow: /c/　　4、禁止某个搜索引擎的访问，我用w来代替　　User-agent: w　　Disallow: /　　或　　User-agent: w　　Disallow: /d/*.htm　　在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL，包含子目录。　　5、只允许某个搜索引擎的访问，我用e来代替　　User-agent: e　　Disallow:　　在Disallow：后面不加任何东西，意思是仅允许e访问该网站。　　6、使用”$”限制访问url　　User-agent: *　　Allow: .htm$　　Disallow: /　　意思是仅允许访问以”.htm”为后缀的URL　　7、禁止访问网站中所有的动态页面　　User-agent: *　　Disallow: /*?*　　8、禁止搜索引擎F抓取网站上所有图片　　User-agent: F　　Disallow: .jpg$　　Disallow: .jpeg$　　Disallow: .gif$　　Disallow: .png$　　Disallow: .bmp$　　意思是只允许引擎抓取网页，禁止抓取任何图片(严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)　　9、只允许搜索引擎E抓取网页和.gif格式图片　　User-agent: E　　Allow: .gif$　　Disallow: .jpg$　　Disallow: .jpeg$　　Disallow: .png$　　Disallow: .bmp$　　意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片　　针对seo的robots高级写法　　顶级seo高手robots.txt的写法　　robots使用时的注意点　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。　　针对新手使用robots　　百度站长平台刚升级了robots　　可以检测你自己制作的robots规则是否能生效。当然基本的robots写法你要懂，推荐中国推广学院卡卡老师的视频教程：robots.txt写法　　这样只需掌握robots的基础写法，就能写出高级robots。