搞爬虫、跑批量请求，最让人头疼的是啥？IP 一被封，倒下一大片，任你把代码写出花来也全白搭。 给你推个硬核货：mubeng，用 Go 写的，速度快得邪乎，核… · @0x8888 · TwKit

@0x8888

搞爬虫、跑批量请求，最让人头疼的是啥？IP 一被封，倒下一大片，任你把代码写出花来也全白搭。 给你推个硬核货：mubeng，用 Go 写的，速度快得邪乎，核心就干两件事： 1️⃣ 在本地架起一台代理服务器，每发一次请求便自动换一个 IP，什么防暴力破解、API 限速、按 IP 封的 WAF，全都被它绕开 2️⃣ 顺带把代理池挨个过一遍，哪些还能蹦跶、哪些已经凉透，一眼就能看穿，别的验代理工具干脆可以卸了 HTTP、SOCKS、Amazon API Gateway 全都在支持之列，Windows、Linux、Mac 乃至树莓派都能跑，几乎不用配置，丢个代理文件进去就能开工。轮换逻辑也犯不着自己手搓了。 项目地址放这儿：https://github.com/mubeng/mubeng

曝光 58 · 评论 0 · 点赞 0 · 书签 0