木片机厂家
免费服务热线

Free service

hotline

010-00000000
木片机厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

百度蜘蛛spider不在支持Crawl

发布时间:2021-01-21 05:53:59 阅读: 来源:木片机厂家

首先,先了解下Crawl-delay的相关解释,Crawl-delay参数,设置为多少秒,以等待同服务器之间连续请求。Crawl-delay在t 里,有一个特定的扩展名,可以通过它对我们的抓取程序设定一个较低的抓取 请求频率。

站长或SEOer可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序两次进入站点时,以秒为单位的最低延时,即每2次抓取的时间间隔。如果crawler频率对 您的服务器是一个负担,您可以将这个延时设定为任何您认为恰当的数字,例如1或10。

例如,您想设定一个5秒的延时,语句如下:

User-agent: *

Crawl-delay: 5

例如:和讯网t设置,截图如下。

百度声明:尊敬的各位用户,亲爱的站长们,大家好!

近期,我们收到一些对Crawl-delay用法的询问,现明确百度对网站访问频率不再参考该设置,即不支持Crawl-delay配置,如果您希望配置网站针对百度spider的访问频率,建议您使用百度站长平台的抓取压力反馈工具,先查询网站在百度近一个月的天级抓取量趋势图,可调节百度spider每天访问您网站的抓取压力上限,供百度参考,避免百度spider对站点抓取压力过大,造成网站服务器负载及抓取异常。截图如下:

整理选编:少年装()吴飞

七星彩够力下载安装

下载福彩365

坦克荣耀之传奇王者手游

龙腾传世破解版