TwKit
正在载入
TwKit

我我正在尝试将 @NowledgeMem 的Browse Now和Crawl4AI(评论区项目地址)结合起来。 我是Docker部署的NM,官方镜像先前好像… · @Yayoi_no_yume · TwKit

@Yayoi_no_yume

我我正在尝试将 @NowledgeMem 的Browse Now和Crawl4AI(评论区项目地址)结合起来。 我是Docker部署的NM,官方镜像先前好像没办法正常用Browse Now(由于我已经自己打通了,所以我也不确定现在的官方镜像有无Browse Now支持) 在我打通Docker版NM的Browse Now之后,我发现使用AI Now对文档进行批量抓取的过程还是非常原始,比如我想抓Pi的官方文档,但是只能一页一页去抓,并且格式清理也得AI自己做。 一开始我是开多个会话,每个会话去抓不同的文档,然后我就发现每个会话里AI抓文档的姿势都不一样。我很需要一套标准、可靠、可配置的抓取工具。 今天了解到了Crawl4AI,它是一个能够自部署的抓取工具,比FireCrawl要轻一些,并且官方付费云版本与自部署版本差异也不是很大。 官方付费的版本多了一个云浏览器,这部分恰好被Browse Now弥补。 我希望他们能够协同工作,最理想的情况下: 他们共用一个浏览器对一个需要登录态的文档进行抓取,Browse Now负责登录态,搞定之后,Crawl4AI上场继承登录态,并发挥批量抓取功能,还可以用LLM对内容进行结构化和整理。 顺带一提,我很喜欢在NM里对常用工具的文档进行管理,比如Claude Code,Codex,Pi之类的文档,不过NM的资料库似乎没能提供一个非常直接方便的更新已加入资料库的文档的方法。 具体如何让Browse Now和Crawl4AI协同工作的文章我还在整理中,晚一点发出来。

曝光 337 · 评论 2 · 点赞 4 · 书签 1

查看原帖