为什么现在很多公司都不做后训练了？ 大模型这个概念，从一开始的设计初衷，就是一个超级大模型解决所有事情。从 2022 年底开始就是这样，一个模型既能回复邮件… · @kafkaup · TwKit

@kafkaup

为什么现在很多公司都不做后训练了？ 大模型这个概念，从一开始的设计初衷，就是一个超级大模型解决所有事情。从 2022 年底开始就是这样，一个模型既能回复邮件，又能翻译、写代码。当我们看到 GPT-3.5 的时候，都感觉算法工程师这个岗位是不是要干到头了，以前 NLP 的各种细分小任务都不需要做了。 但大家总不能直接摆烂什么都不做，除了搞基座模型的大佬，普通算法工程师也得混口饭吃。所以在 2023、2024 年，很多大中小公司纷纷推出各种垂直模型。所谓的垂直模型，就是基于开源大模型和自己领域的数据，后训练出一个符合特定场景要求的模型。但大家想想，所谓的“垂直”，是不是本来就和大模型的本质有点背道而驰？ 不可否认，垂直模型在某个具体领域的数据上确实能取得更好的效果，这我不跟你犟。但只要你真正工作甚至实习过，就会明白为什么大多数公司或团队都不会去做后训练： 1. 成本问题：这里的成本不仅是训练成本，更重要的是运维成本。一个模型不是训练完就完事了，它需要持续迭代，还要保证生产环境的稳定。如果只用开源模型，100 台服务器可以覆盖公司所有的业务场景，互相做 backup；但如果针对某个场景单独后训练了一个模型，它就只能在这个场景发挥作用，我还得单独搞一套集群去部署它，别的服务还用不了。这个运维成本太高了。 2. 绝大多数公司根本不具备后训练的条件：99% 的公司其实没有这个能力。工作不是写论文，不是说有现成的数据、跑跑脚本、看看训练集群就完事了。想真正玩明白后训练，需要深入梳理业务场景，需要业务方紧密配合。而且如果团队里没有一个懂行的 Leader，纯粹是在浪费算力资源，搞了一年可能还不如直接用开源模型的效果好。 大家都知道大模型的价值很高，但很多公司根本没法靠它赚到更多的钱。现在摆在面前的两条路：要么去研究应用落地，看怎么用 AI 提高公司利润；要么继续砸钱做后训练，虽然能帮助员工成长，但能不能帮公司赚到钱完全是未知数。换作你是老板，你会怎么选？ 当然，有一类场景下后训练确实非常有价值：就是调用量极其庞大的高频场景。这种情况下，后训练一个小模型确实能大幅节省成本、提高推理速度。但这种团队往往都是大厂的核心团队，本身并不需要多少人，只要极少数的顶尖牛人。能不能进得去这样的团队，就是另一个大问题了。

曝光 136 · 评论 1 · 点赞 0 · 书签 0