大模型上下文窗口越推越大，但推理延迟和显存瓶颈依然明显 技术突破的核心，到底靠堆参数还是优化长上下文并行？ · @AiPoJuGe · TwKit

@AiPoJuGe

大模型上下文窗口越推越大，但推理延迟和显存瓶颈依然明显 技术突破的核心，到底靠堆参数还是优化长上下文并行？

曝光 143 · 评论 3 · 点赞 2 · 书签 0