其他教程

其他教程

Products

当前位置:首页 > 其他教程 >

站长派 | 网站开通cloudflare后,百度站长平台robots功能无法使用

GG网络技术分享 2025-03-18 16:14 0


大家好,这里是关于[cloudflareCDN开启恶意高风险IP访问自动验证],[站长派 | 网站开通cloudflare后,百度站长平台robots功能无法使用]问题的解答,希望对您有所帮助。如果你还想了解更多这方面的信息,请关注本站其他相关内容,共同学习吧!

cloudflareCDN开启恶意高风险IP访问自动验证

教程大全Cloudflare,cloudflareCDN,高风险IP

cloudflareCDN开启恶意高风险IP访问自动验证

下列方法开启后CDN自动会根据IP的恶意值来进行选择是否开启访问验证。

注:该方法可能存在一定的误伤。

登陆cloudflare,然后在上方导航栏进入Firewall然后进入Firewall Rules

然后我们在里面创建一条规则,名字就叫“高风险IP访问验证”。

然后“Field”选择Threat Score,Operator选择greater than or equal to,Value里面填写2

填写2代表的意思是这个IP的风险度为2,风险度等级是从0到100。正常IP一般都是0。具体需要填写多少自己来选择。

最下面有个Choose an action,这个是代表所进行的操作行为,我们选择Challenge (Captcha),意思是给他出现验证码让他验证通过后方可访问。

然后为了防止搜索引擎爬虫的IP也被拦截进入验证码验证界面,我们还需要关联一条规则。

点击规则后面的and,选择Known Bots,后面的开关点到off灰色。

最后点击右下方的Deploy部署即可生效。

规则设置如下图

站长派 | 网站开通cloudflare后,百度站长平台robots功能无法使用

近日站长派发现一个问题,那就是网站开通cloudflare后,百度站长平台的robots功能无法使用。

具体情况是这样的:

1、站长派开通了cloudflare后使用百度站长平台的robots功能,提示如下:
您的服务器配置有误
百度暂时无法连接您的服务器,请检查服务器的设置,确保您网站的服务器能被正常访问。错误码:500

2、根据提示显然是网站的服务器有问题,但是此时网站是可以正常打开的,并且使用站长平台的“抓取诊断”功能,结果提示网站抓取也是正常的。

3、此时站长派就对此问题提交到了反馈中心,隔天接到的反馈则是:
您好,近期工具内部调整中,无法正常使用,很抱歉给您带来不便,我们会尽快优化,感谢您的反馈。

4、反馈说是功能“无法正常使用”?于是就测试了另一个没有开通cloudflare的网站,则提示:您的Robots文件已生效

由此说明,并不是百度站长平台的Robots功能不能使用了,而是对于开通了cloudflare的网站无法抓取或者识别他的Robots,算是一个BUG,也希望官方人员早些修复此功能。


知识拓展:

一、什么是cloudflare
简单来说cloudflare 是一家国外的 CDN 加速服务商,还是很有名气的。提供免费和付费的加速和网站保护服务。站长派就使用了cloudflare免费的加速和网站保护服务。

具体方法大家可以直接到cloudflare的官网了解,因为整个设置的过程属于傻瓜式操作,所以站长派就不做具体说明。

二、百度站长平台的robots功能是做什么的?
其实就是提供检测网站的robots文件并测试网址是否被阻止抓取的功能,具体如下:

1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
2、 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
3.、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

标签:

提交需求或反馈

Demand feedback