TwKit
正在载入
TwKit

网飞当年悬赏100万美元买来的推荐算法,最后一行代码都没敢上线。 全球4万支队伍死磕了3年。 两支顶级战队在终点线打成平手,仅仅差了20分钟。 网飞真金白银… · @mubeitech · TwKit

@mubeitech

网飞当年悬赏100万美元买来的推荐算法,最后一行代码都没敢上线。 全球4万支队伍死磕了3年。 两支顶级战队在终点线打成平手,仅仅差了20分钟。 网飞真金白银把100万支票递了过去。 然后,转头就把这套冠军模型扔进了冷宫。 时间拉回2006年。 那时的网飞还主要靠邮寄DVD赚钱。 为了把自家的推荐算法精度提升10%,他们直接掏出100万美元设下擂台。 考核标准极为残酷:均方根误差(RMSE)。 186个国家、4万多支技术团队闻风而动,全部扑了上去。 开赛才两个月,一位叫西蒙·芬克(Simon Funk)的参赛者在博客上公开了一个神级思路。 矩阵分解。 他把用户当成行,电影当成列,假设每个人和每部电影背后都藏着一组隐性特质。 不用复杂玄学,先算基准底色:全平台均分,加上用户打分是刻薄还是宽容,再加上电影本身的口碑。 最后用两个特征向量做一次点积,喜好就匹配出来了。 这套逻辑直接引爆了战局。 来自美国电话电报公司(AT&T)实验室的贝尔科(BellKor)战队一路领跑,后来更是拉上对手合并组团。 最后决战日,贝尔科联合队在比赛截止前24分钟交卷。 20分钟后,追赶他们的“联盟队”也交出了方案。 在隐藏测试集上,双方的精度提升幅度一模一样:不多不少,正好10.06%。 贝尔科早交了20分钟,凭时间优势拿走了100万美元大奖。 但为什么这套神级代码网飞不用? 不是网飞想赖账,而是这套模型在工程上根本跑不动。 为了在排行榜上抠出最后千分之几的精度,获胜方案硬生生暴力堆叠了几百个复杂算法。 网飞测算后 :这点额外的精度提升,完全无法弥补把它们部署进生产环境的算力代价。 更何况,网飞当时的业务正全面倒向流媒体。 真正被他们搬进生产线的,反而是比赛早期那套轻量的矩阵分解,撑起了50多亿条真实评分。 当年参赛者们摸索出来的特征向量,后来演变成了整个科技界的嵌入(Embedding)技术。 从谷歌的视频推荐,到今天大模型的向量检索,底座都是它。 推荐系统最终撬动了网飞80%的播放时长,每年替它省下超过10亿美元。

曝光 372 · 评论 0 · 点赞 1 · 书签 1

查看原帖