怎样查看网站有没有屏蔽百度蜘蛛的抓取

2022-03-29 19:14:46

有些站长在优化网站的过程中，会遇到这样一个问题：我网站的关键词布局没问题、内容质量没问题，并且规律性的更新网站内容，同时也有持续在一些高权重平台发布外链，为什么百度蜘蛛就是不收录的的网页？对于这样的问题，笔者认为首先要知道网站是否有屏蔽了百度蜘蛛的抓取，因为有些站长在建站初期的无意识操作下屏蔽了百度蜘蛛，这也是比较常见的。下面笔者来教大家怎样查看网站有没有屏蔽百度蜘蛛的抓取。网站建设★网站设计★网站制作★网页设计-599元全包;企业网络推广☆网站优化☆seo☆关键词排名☆百度快照-2200元全年展示;做网站优化排名-网站建设公司

　　想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法

　　第一种：查看网站的robots.txt文件，此文件一般在网站的根目录下，显示如下：

　　User-agent:*

　　Disallow:/

　　这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。

　　User-agent:Baiduspider

　　Disallow:/

　　这样就表示屏蔽了百度蜘蛛抓取。

　　那要怎样才能让百度蜘蛛抓取呢？笔者举个例子，如下：

　　User-agent:*

　　Disallow:/wp-admin/

　　Disallow:/wp-content/