网站优化

网站优化

Products

当前位置:首页 > 网站优化 >

nginx如何设置只允许蜘蛛访问 用户访问为503 404或者301跳转

GG网络技术分享 2025-03-18 16:16 0


宝塔面板-网站-设置-配置文件,在root /www/wwwroot/ggplus.cn; 下方添加以下代码:

1.ngxinx设置只允许百度360蜘蛛访问,其他任何IP或者蜘蛛访问为404状态

if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")

{

return 404;

}

实测浏览器打开为404状态,网站日志百度蜘蛛为200正常状态。

2. 设置只允许百度360蜘蛛访问,访客浏览器跳转

if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")

{

return 301 http://www.hao123.com;

}

解释:这个是,非这几个蜘蛛,就301跳转到hao123.com

if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|6531.22.7")

{

return 302 http://www.baidu.com;

}

解释: 这是302跳转

 

Nginx屏蔽百度谷歌等搜索引擎蜘蛛方法

在nginx的server字段中配置下面内容即可

if ($http_user_agent ~* (baiduspider|googlebot|bing|sogou|yahoo)){

return 503;

}

如果单独屏蔽百度蜘蛛就是

if ($http_user_agent ~* baiduspider){

return 503;

}
禁止用户访问 sitemap 并且允许搜索引擎蜘蛛访问的代码

// 代码1

function exclude_sitemap_from_non_admins()

{

// 检查是否是 sitemap 页面

if (strpos($_SERVER['REQUEST_URI'], '/sitemap.xml') !== false) {

// 检查是否是管理员

if (!current_user_can('administrator')) {

// 如果不是管理员,则禁止访问

header('HTTP/1.0 403 Forbidden');

exit;

}

}

}

add_action('init', 'exclude_sitemap_from_non_admins');

(adsbygoogle = window.adsbygoogle || []).push({});

function allow_search_engines_to_access_sitemap()

{

// 检查是否是 sitemap 页面

if (strpos($_SERVER['REQUEST_URI'], '/sitemap.xml') !== false) {

// 允许搜索引擎访问

header('X-Robots-Tag: noindex, follow');

}

}

add_action('init', 'allow_search_engines_to_access_sitemap');
 

标签:

提交需求或反馈

Demand feedback