>>4. 获得良好 AI 研发成果的瓶颈在于转向提出正确的问题并正确使用诸如集群之类的东西，但这些问题的答案将在未来 3 个月内变得更加清晰 如果找不到正确… · @chaojidigua · TwKit

@chaojidigua

>>4. 获得良好 AI 研发成果的瓶颈在于转向提出正确的问题并正确使用诸如集群之类的东西，但这些问题的答案将在未来 3 个月内变得更加清晰 如果找不到正确的问题, 有一个问题永远正确: 提升算法效率. 用同样的硬件和功耗, 实现算力飞跃. 这个任务可以自动验证. 因此在未来几个月/年, 将持续突破. 算法优化 10%, 就相当于 GPU 和电力增加了 10%. 对于 OpenAI, 就相当于资产瞬间增加上百亿美元. === Sam Altman 谈 AI 研发自动化、RSI、OpenAI 的内部模型： 1. “我们还不知道[自动化 AI 研发]真正会如何运作。我们今天知道如何说：给我找到一个 5% 的计算效率提升。” （注：模型能自动找到的 5% 计算效率提升其实是个大事！） 2. “我认为目前没人知道如何去做的是说，去发现一个新的架构，其单次飞跃性进步像 transformer 一样巨大。我认为事情正朝着这个方向发展。” 3. “如果你将我们用来让模型在数学上如此出色的那条流水线应用到 AI 研究上，它很可能就会奏效[用于自动化 AI 研发]。” 4. 获得良好 AI 研发成果的瓶颈在于转向提出正确的问题并正确使用诸如集群之类的东西，但这些问题的答案将在未来 3 个月内变得更加清晰： “OpenAI 内部人们经常讨论的有趣事情之一……是，你应该向 GPT-7 提出什么问题？可能光是说，给我制造 RSI 是不够的。而且，可能光是说，给我买一个 5% 的计算效率提升也是不够的。我认为这是目前最有趣的辩论之一。而且答案不仅仅是该问它什么问题，而是诸如代理集群之类的东西。我们将如何以一种真正最大化我们能从中获得价值的方式来使用这些模型？我认为我们在未来 3 个月内会学到很多关于这个的东西。” 5. OpenAI 对模型效率的极端关注： “我打赌，我们能在它完成一年后，以 1/100 的成本重做 Navier-Stokes。” 6. 更多关于 OpenAI 内部模型的内容： “有一个周末，我们得到一个新模型……频道的名字是‘model-name-hold-my-beer’。人们只是把那个扔向他们能想到的最难的问题。人们根本没想到模型会做到这些事情。我们有这种集体体验，人们学术生涯中最难的研究问题，模型只是一个接一个地击倒它们，很多不同领域，看着太不可思议了……那是我们在很多发表的问题，还有很多其他东西。” 7. 另一个循环是自我复制的数据中心： “是的，人们经常谈 RSI 作为做 AI 研究的 AI。很少有人谈自我复制的数据中心，这个想法是你可以用 AI 来控制机器人、运行晶圆厂、建造涡轮机或太阳能板并建造数据中心。但我认为我们已经触手可及。”

曝光 55 · 评论 0 · 点赞 0 · 书签 0