当全公司的代码、所有大模型的微调脚本、基础设施配置和评估套件全部塞进同一个 Git 单体仓库（Monorepo），会发生什么？ OpenAI 官方博客刚刚复… · @fishjar · TwKit

@fishjar

当全公司的代码、所有大模型的微调脚本、基础设施配置和评估套件全部塞进同一个 Git 单体仓库（Monorepo），会发生什么？ OpenAI 官方博客刚刚复盘了他们的工程血泪史：万人物理仓库把 Git 的设计极限彻底撑爆了。 每天数万次自动化 Commit、庞大的二值模型权重元数据，直接让本地的 .git 目录膨胀到几百个 G。工程师在终端敲一个简单的 git status，由于需要扫描上百万个文件索引，能直接卡死两三分钟；Git 底层的 packfile 甚至撞上了 32 位寻址的硬上限。 更要命的是，自动化 CI/CD 农场拉取代码的峰值并发，直接把传统的 Git 服务器压垮到瘫痪。 OpenAI 并没有换掉 Git，而是在底层做了一整套外科手术：自研服务把 Git 协议拦截并分布式化，把对象存储拆分给后端对象池；在客户端全面强推稀疏检出（Sparse Checkout）和虚拟文件系统驱动，让普通开发者本地只挂载自己负责的微服务目录，按需动态流式拉取代码文件。 即使是今天最前沿的通用人工智能实验室，底层也是一帮资深工程师在替三十年前的 UNIX 工具擦屁股。 详见：https://openai.com/index/scaling-git-at-openai/

曝光 279 · 评论 4 · 点赞 2 · 书签 0