刚刷到一个叫 Scrapling 的 Python 爬虫库,路子挺野的。平时抓个页面、渲个 JS、再搞代理轮换,得拼好几个库,它直接收进一个库里了。单次请求… · @yuanbaopower · TwKit
@yuanbaopower
刚刷到一个叫 Scrapling 的 Python 爬虫库,路子挺野的。平时抓个页面、渲个 JS、再搞代理轮换,得拼好几个库,它直接收进一个库里了。单次请求能跑,整站爬取也能跑,中间断了还能暂停再续上。它还带了给 AI agent 用的 MCP,爬取这活 agent 也能直接接手。全塞一个库里是省事,可真到反爬严的站上,还扛不扛得住啊? 来源:https://github.com/D4Vinci/Scrapling
曝光 47 · 评论 0 · 点赞 1 · 书签 0
查看原帖