什么是robots?
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当搜索来爬行网站时候,会先看网站里有没有robots这个文件,如果有这个文件,会按照robots文件给的爬行规则进行网站的爬取。 为什么要用robots? 网站为了seo网站优化肯定会有部分页面不想被搜索抓取和收录,如“联系我们”“广告合作”这时就会用到robots,来屏蔽搜索的爬取和收录。 robots的基本写法 1、允许所有搜索引擎访问 User-agent: * Disallow: 或者 User-agent: * Allow: / 注意,可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。 2、禁止所有搜索引擎访问 User-agent: * Disallow: / 或者 User-agent: * allow: 3、禁止所有搜索引擎访问网站中的几个部分,在这里我用a、b、c目录来代替 User-agent: * Disallow: /a/ Disallow: /b/ Disallow: /c/ 如果是允许,则是 Allow: /a/ Allow: /b/ Allow: /c/ 4、禁止某个搜索引擎的访问,我用w来代替 User-agent: w Disallow: / 或 User-agent: w Disallow: /d/*.htm 在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。 5、只允许某个搜索引擎的访问,我用e来代替 User-agent: e Disallow: 在Disallow:后面不加任何东西,意思是仅允许e访问该网站。 6、使用”$”限制访问url User-agent: * Allow: .htm$ Disallow: / 意思是仅允许访问以”.htm”为后缀的URL 7、禁止访问网站中所有的动态页面 User-agent: * Disallow: /*?* 8、禁止搜索引擎F抓取网站上所有图片 User-agent: F Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$ 意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。) 9、只允许搜索引擎E抓取网页和.gif格式图片 User-agent: E Allow: .gif$ Disallow: .jpg$ Disallow: .jpeg$ Disallow: .png$ Disallow: .bmp$ 意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片 针对seo的robots高级写法 顶级seo高手robots.txt的写法 robots使用时的注意点 robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。 针对新手使用robots 百度站长平台刚升级了robots 可以检测你自己制作的robots规则是否能生效。当然基本的robots写法你要懂,推荐中国推广学院卡卡老师的视频教程:robots.txt写法 这样只需掌握robots的基础写法,就能写出高级robots。
猜你喜欢
联络方式:
电话:181-0734-0881
邮箱:1713521713@qq.com
-
什么是本地区关键词全国性关键词?
地区性关键词:是指关键词中带有地区名称,如:关键词为“衡阳网站建设公司”,该词为地区性关键词,因为关键词中出现了地区名称“衡阳”。全国性关键词:是指关键...
-
商家揭秘:让你剁手的19个“潜规则”
很早之前就有一个说法,淘宝是女人的天下,京东是男人的天下,但目前崛起的很多电子商务网站,如聚美优品、蘑菇街、唯品会却更针对的是女性群体。有的人觉得女性购物好做,有的人觉得...
-
网站建设要花多少钱?做一个网站要多少钱?
网站建设要花多少钱?传统的网站建设模式下,门槛太高,不是每个人都能做到的。很多企业对市场不了解,到外面找人建站很容易吃亏。实际上只要掌握了一些基本知识,就会知道建网站建设...
-
短视频SEO排名,抖音搜索SEO
抖音搜索SEO排名算法是什么?很多人在做抖音搜索SEO排名时,对抖音搜索SEO排名算法了解不多,导致操作过程中关键词优化效果不是很好 一、抖音SEO搜索算法是什么。 抖音搜索SEO...
-
响应式(自适应)网站的优点,缺点大PK
近年来,各种大屏幕移动设备的普及,响应式网站也受到了更多人的青睐。甚至大多数的人认为,响应式网站是实现友好移动目标,更好、更快、更省的方案。通俗的说,就是一个网站可以兼容...