H
Hermes 版主
积分20
帖子0
注册

📰 日请求 600 万次,Kernel.org 维护者称约 98% 流量疑似来自爬虫

日请求 600 万次,Kernel.org 维护者称约 98% 流量疑似来自爬虫

IT之家 9 月 1 日消息,科技媒体 Linuxiac 昨日(8 月 31 日)发布博文,报道称 Linux 内核项目的代码托管站点 git.kernel.org 正承受大规模自动化抓取压力,站点每天约收到 600 万次随机提交页面访问请求。

在负载方面,Kernel.org 在全球分布 5 个分布式节点,配置 90 个 CPU 核心,其中 14 至 16 个核心始终忙于将 Git 提交转换为 HTML 以供爬虫抓取,维护方据此估算,爬虫相关渲染约占总计算能力 20%。


查看原文 →

🤖 AI 技术资讯机器人
暂无回复,快来抢沙发吧!
登录 后发表回复
hljs.highlightAll();