对于我的日常的论文等等的获取，之前有人问过我找到这类高质量的对应精细化领域的论文怎么找。这里简单说一下吧。 我不是一开始就有一套非常完美的系统，而是边用边调… · @snwiki238337 · TwKit

@snwiki238337

对于我的日常的论文等等的获取，之前有人问过我找到这类高质量的对应精细化领域的论文怎么找。这里简单说一下吧。 我不是一开始就有一套非常完美的系统，而是边用边调整。中途断断续续改过很多次关键词、来源和筛选规则，最后才逐渐做到每天抓到的论文，大部分都符合我自己关注的领域，而且质量和相关性也比较稳定。 现在我的日常论文，主要是让 Grok Bot 按固定的站点和关键词帮我抓取，再由它做初筛、去重和摘要整理。 最后我会自己大致每篇阅读一下找出几篇比较好的来精读一下，有时间的话会分享出来。 这里简单分享一下我目前的论文获取流程。 先从近期新稿里候选，然后呢用主题词补漏；然后和候选取并集，去重、排除，最后回到原文摘要核对机构和研究内容，再决定是否进入当天的论文清单。 下面是这套流程目前的大致样子。 先把来源分成几类。我不会只盯一个 arxiv，而是把来源分成核心论文池、固定关注对象、旁路几类。这样做的好处是既能覆盖最新论文，也不会因为单一入口的排序和召回漏掉重要的好论文。 日常最主要的来源还是 arXiv，具体会用到下面几个入口： - arXiv API：[https://export.arxiv.org/api/query](https://export.arxiv.org/api/query) - arXiv 列表页：[https://arxiv.org/list/cs.AI/pastweek](https://arxiv.org/list/cs.AI/pastweek) - 摘要页：`https://arxiv.org/abs/<id>` 主要关注的分区包括： - `http://cs.AI` - `cs.LG` - `http://cs.CL` - `http://cs.MA` - `http://cs.CR` - `http://cs.SE` - `cs.HC` - `http://cs.IR` - `http://cs.RO` 其中`http://cs.AI`、`cs.LG`、`http://cs.CL`、`http://cs.MA` 是最常用的几类。训练相关内容会额外重点看 `cs.LG`、`http://cs.CL` 和 `http://cs.AI`，偶尔也会看 `http://cs.AR`。 通常优先通过 API 查询。如果遇到 API 或 TLS 不稳定，就退回到 arXiv 的列表页，比如： - `pastweek` - `recent` - `new` 先拿到论文 ID 和标题，再打开对应的摘要页做进一步核对。真正需要深读时，才会对摘要页进行 WebFetch。 第二个就是HF Daily Papers，主要拿来补充热门和工程向论文 另一个比较有用的入口是 Hugging Face Daily Papers： https://huggingface.co/papers 它特别适合用来发现一些已经被社区关注、标题里带有 harness、agent、tool、reasoning 等信号的论文。这个入口我主要用来补充候选，尤其是一些可能已经在工程圈开始传播，但还没有被关键词主线及时捞到的论文。 不过HF Daily Papers 的排序和热度不等于论文质量，所以它更适合作为发现入口，不直接等于入选。 再就是可以固定关注的作者、课程和解读站。除了论文数据库，我还会固定几个信息源： - Furong Huang 的博客：[https://furong-huang.com/blog/](https://furong-huang.com/blog/) - CMU 11-768：[https://www.cmu-agents.com/](https://www.cmu-agents.com/) - SoL-Pi 论文解读：[https://shibing624.github.io/ai-paper-analysis/](https://shibing624.github.io/ai-paper-analysis/) CMU 11-768 及其 slides 对 agent、multi-agent 和相关系统方向比较有帮助；Furong 的博客则适合做作者和研究方向的定向追踪；SoL-Pi 解读更像是发现渠道，适合在不知道论文标题时，通过解读内容反向找到原论文。 这些站点不会替代 arXiv，用来补充人和研究脉络这一层信息。 然后就是对于这个Agent 主线。Agent 方向更新很快，而且agent这个词本身非常宽。很容易漏掉论文或者不符合自己要找的论文的方向。 所以现在采用的是两层搜索，先按分区和时间窗口抓取近期新稿，再用主题关键词做补充搜索。 近窗新稿主要按以下分区搜索： `http://cs.AI`、`http://cs.CL`、`http://cs.MA`、`cs.LG`、`http://cs.CR`、`http://cs.SE`、`cs.HC`、`http://cs.IR`、`http://cs.RO` 关键词主要是： - `agent` - `agents` - `agentic` 这里通常会要求关键词出现在摘要中，而不是只看标题。原因是很多真正相关的论文，标题未必直接写 agent，但摘要会明确说明系统使用了 agent、agentic workflow 或 autonomous interaction。 不过摘要含 agent 也不代表一定与我关注的方向有关，所以后面还要结合领域、方法和研究问题继续过滤。 我还会对近半年内容做主题的补搜，重点包括下面几组。 多智能体与协作 - `multi-agent` - `multi agent` - `multiagent` - `collaboration` - `debate` - `coordination` - `orchestration` - `swarm` - `topology` - `orchestrator` - `hierarchical` - `communication protocol` - `role assignment` Harness、Scaffold 与 Skill - `harness` - `scaffold` - `scaffolding` - `skill` - `skills` - `skill library` - `agent skills` 记忆与自进化 - 标题含 `memory`，再结合 `agent` 过滤 - `self-evolving` - `self-improving` - `self-improvement` - `self-evolution - `recursive self-improvement` - `automated AI research` 沙箱、凭证与权限 - `sandbox` - `credential` - `credentials` - `least privilege` - `permission` - `permissions` Prompt Injection 与安全 - `prompt injection` 评测中的常见陷阱 标题包含 `benchmark` 或 `evaluation`，同时摘要中出现 - `pitfall` - `flaw` - `contamination` - `reward hacking` - `shortcut` - `reliability` 监控、控制和行为分析 - `monitoring` - `oservability` - `AI control` - `sabotage` - `misbehavior` - `trajectories` 工作流和 Computer Use - 标题含 `workflow` 或 `workflows`，同时结合 `agent` - `computer use` - `GUI agent` - `web agent` - `browser agent` 作者追踪 - `au:"Furong Huang"` 以上关键词里，很多会再和 `LLM` 或 `language model` 组合使用，主要是为了减少捞到传统多智能体系统、非语言模型协作或年代较久论文的情况。 除了 Agent 主线，我还会单独维护一条训练线。这个方向大约占日常论文筛选中的几席，不能完全依赖 agent 关键词，因为很多训练方法和 agent 没有直接关系，但对模型能力和系统表现非常关键。 目前训练线主要关注这些词： 数据和预训练 - `pretraining` - `pre-training` - `mid-training` - `data selection` - `mixture` - `filtering` - `synthetic data` - `distillation` 强化学习和后训练 - `RLVR` - `GRPO` - `verifiable rewards` - `RLHF` - `policy optimization` - `reward model` - `DPO` - `SFT` - `post-training` - `instruction tuning` 优化器与训练效率 - `Muon` - `Adam` - `learning rate` - `scaling law` - `scaling laws` - `FP8` - `FP4` - `quantization` 长上下文和模型结构 - `long-context` - `RoPE` - `tokenizer` - `mixture of experts` - `test-time scaling` - `chain-of-thought` - `linear attention` - `state space` - `diffusion language model` 训练线的目的不是每天把所有训练论文都扫一遍，而是补充那些可能直接影响模型能力、推理效果、推理成本或 Agent 系统表现的工作。 实际工作流 这里可能是最重要的一点：这些关键词不是每个单独开一个搜索任务，然后把所有结果简单拼起来。 我现在的实际流程大概是下面这样。 第一步：先按分区和时间窗口抓近期论文 先从几个核心分区的 `pastweek`、`recent` 或 API 结果开始，抓取近期新稿。第一层主要围绕 `agent`、`agents`、`agentic` 做召回。 这一层的目标是尽量不漏掉近期出现的新方向。 第二步：用主题关键词补漏 在近期结果之外，再对近半年做主题加码搜索，比如多智能体、harness、memory、自进化、权限、prompt injection、评测可靠性等。 这样可以找回两类论文： - 论文标题没有直接写 agent，但实质上和 agent 系统有关 - 论文发布时没有进入当天新稿筛选，但后来逐渐显现出重要性 第三步：合并 将 HF Daily Papers、固定关注的博客和课程、SoL-Pi 论文 ID 统一并入候选集合。 第四步：按论文 ID 和标题去重 arXiv 同一篇论文可能会在多个分区出现，也可能先以预印本出现，后续又被不同渠道重复推荐。因此会优先根据 arXiv ID 去重，再辅助检查标题、作者和版本信息。 通常还会处理 - 不同来源对同一篇论文的标题写法差异 - arXiv 版本更新造成的重复 - 博客解读和原论文同时出现 第五步：过排除表 去重以后不会直接进入日选，而是要过一遍排除表。常见的排除理由包括 - 和当前关注方向关系太弱； - 只是在摘要里顺带提到 agent； - 纯应用案例，缺少可迁移的方法或系统洞见； - 主要是传统多智能体或机器人问题，与 LLM agent 无关； - 标题很像热点方向，但正文解决的问题并不匹配； - 评测规模太小，结论不稳定； - 只是已有工作的轻微变体，新增信息量有限； - 论文信息不完整，暂时无法核实机构、方法或实验设置； - 质量信号不足，且没有明显的社区或作者背景支撑。 排除表非常重要。很多人以为找论文最难的是扩大召回，但实际稳定地排除不相关和低价值结果同样关键。 第六步：摘要页核对 候选通过初筛后，再打开 arXiv 摘要页进行核对，重点看 - 论文到底研究什么问题 - agent 是核心对象，还是只是背景词 - 方法是否有明确的新意 - 是否给出足够的实验和对比 - 作者和机构信息是否清楚 - 是否与我当前关注的主题直接相关 机构新闻站、Meta 博客、AWS 博客等可以作为发现信号，但一般不会直接作为日选论文正文的依据。最终还是以论文原文和摘要为准。 第七步：做排序和摘要 经过以上步骤后，才会对剩下的论文进行排序、打分和摘要整理。 我觉得我的这套方法里一个比较实用的经验是：站点和关键词最好分开维护。 两者如果混在一起之后，一旦结果质量下降，就很难判断到底是来源变了，还是关键词问题。 目前大致可以这样理解： - arXiv API 和列表页：负责稳定、系统地抓新稿； - arXiv 摘要页：负责最终核对； - HF Daily Papers：负责补充热门和社区关注的论文； - Furong、CMU 11-768：负责固定方向和研究脉络追踪； - SoL-Pi：负责从解读和旁路内容中发现论文； - 队友日报和人物扫描：负责外部候选补充； - 关键词集合：负责把搜索范围扩展到标题未必显式写出的相关主题。 如果你也想搭一套类似的流程，建议不按下面的顺序搭建：先明确自己真正关注的 2—4 条研究主线，每条主线维护一组核心词、扩展词和排除词，先用近期新稿建立高召回入口，再用近半年窗口补搜主题词，固定几个稳定的信息源和作者，建立去重规则和排除表，最后做摘要、打分和每日排序。最虎就是你需要每隔一段时间根据误报和漏报情况调整词表。

曝光 21 · 评论 0 · 点赞 0 · 书签 0