令人毛骨悚然的小爬虫
Creepy crawlies
摘要
Konstantin Ryabitsev 从 git.kernel.org（Linux 内核官方 Git 仓库）角度指出，恶意爬虫的“背景辐射”问题严重：用于渲染提交记录的 CPU 周期超过所有合法访问（含 git clone）总和。跨 5 个地理分布节点，14 个 CPU 核心持续将 git 提交渲染为 HTML。Datasette 因提供大量可爬取网页而对此表示担忧。来源：Hacker News，标签：爬虫、git、linux、datasette、AI 伦理。
令人毛骨悚然的爬虫 Konstantin Ryabitsev 从 git.kernel.org（Linux 内核的官方 Git 仓库）的角度，讨论了恶意爬虫的“背景辐射”问题有多严重：简而言之：我们用于为爬虫渲染提交记录的 CPU 周期，比用于所有其他合法访问（包括 git clone）的总和还要多。在任何时刻，跨 5 个地理分布节点，有 14 个 CPU 核心仅用于将 git 提交渲染为 HTML。从 Datasette 的角度来看，我非常担心这一点，因为它提供了大量可爬取的网页。来源：Hacker News 标签：爬虫、git、linux、datasette、AI 伦理
译自 Simon Willison · 博客 · 录于 二〇二六年九月八日