🎉 Golog 现支持人机验证了,不用再害怕爬虫肆无忌惮地爬取。
你可能没察觉,但每天可能有成百上千个爬虫在不停地抓取你的博客文章,有些是搜索引擎(这还好),但更多是AI 训练采集、内容搬运站、数据分析公司的脚本。
这些爬虫的特点:
| 行为 | 后果 |
|---|---|
| 每秒请求几十次,24 小时不间断 | 服务器 CPU 一直处于高负荷 |
| 一次性抓走全部历史文章 | 带宽被大量消耗,流量费用飙升 |
| 完全不看页面内容,只抽数据 | 服务器在为“偷内容的人”付电费 |
结果正常读者访问时,页面加载变慢,甚至偶尔报错。花钱买的资源,大部分喂给了爬虫。所以必须要对爬虫做一些限制,Golog 内置工作量证明(PoW)来实现这个需求。
PoW 的核心逻辑:
服务器不直接放行请求,而是先抛给客户端一道需要花几秒计算的数学题,算对了才允许访问。
真人读者正常浏览时点击一次验证即可,耗时2~3秒,感知很小甚至无感。浏览器会保存凭据一段时间,除非过期,否则期间不会再遇到验证。
爬虫脚本每次请求都得老实算几秒钟,想抓 1 万篇文章?先算 1 万次题,每次算题都需要消耗爬虫自己的 CPU 和电力,爬取速度瞬间从“跑车”变成“自行车”。当成本超过爬取内容的价值时,爬虫自然就放弃了。
启用 PoW ,需要在后台设置页开启

注意开启PoW验证时,记得勾选允许已知搜索引擎爬虫跳过验证,否则SEO会被影响到,影响正常用户搜索你的博文,如果想放行某些类型的爬虫,可以往自定义爬虫User-Agent列表添加记录。
再次访问首页,显示如下,就说明PoW已经正常启用了。

留言
暂无留言