玩爬虫、跑批量请求最窝火的，莫过于IP被端，一端就是一大片，代码写得再花哨也全白搭。 给你推个狠货：mubeng，Go语言写的，快得没边，就专心干两桩事： … · @bkdgiffug · TwKit

@bkdgiffug

玩爬虫、跑批量请求最窝火的，莫过于IP被端，一端就是一大片，代码写得再花哨也全白搭。 给你推个狠货：mubeng，Go语言写的，快得没边，就专心干两桩事： 1️⃣ 本地起一台代理服务器，每发一次请求自动换IP，暴力破解防护、API限速、WAF按IP封这套，通通绕开 2️⃣ 捎带手给代理池做个体检，哪个活哪个死一眼看穿，别的验代理工具可以卸了 HTTP、SOCKS、Amazon API Gateway全都认，Windows、Linux、Mac连树莓派都能跑，一堆配置不用折腾，扔个代理文件进去就完事。轮换逻辑也用不着自己手搓了。 🔗 https://github.com/mubeng/mubeng

曝光 556 · 评论 5 · 点赞 5 · 书签 7