TwKit
正在载入
TwKit

如果你想无痛爬取数据, 分享几个好用仓库: 1. 只读几个网页:Jina Reader,网址前加http://r.jina.ai就行,不用装 http://… · @JackHuang47 · TwKit

@JackHuang47

如果你想无痛爬取数据, 分享几个好用仓库: 1. 只读几个网页:Jina Reader,网址前加http://r.jina.ai就行,不用装 http://github.com/jina-ai/reader 2. 要读X、小红书、B站:Agent Reach,要登录,默认复制Chrome里的登录,记得换小号 http://github.com/Panniantong/Agent-Reach 3. 爬整站转Markdown:Firecrawl,能自托管,AGPL协议商用先看清 http://github.com/firecrawl/firecrawl 4. 想本地免费跑:Crawl4AI,Apache协议 http://github.com/unclecode/crawl4ai 5. 碰到反爬:Scrapling,官方说能处理Cloudflare验证 http://github.com/D4Vinci/Scrapling 发给你的AI或者保存起来吧!

曝光 1 · 评论 0 · 点赞 0 · 书签 0

查看原帖