如果把梯度下降算法放到人生层面，它最有价值的不是教你努力，而是教你在看不清大局的复杂世界里，怎么持续做出相对正确的局部更新。 人生和训练神经网络有个很深的相… · @wingsonto · TwKit

@wingsonto

如果把梯度下降算法放到人生层面，它最有价值的不是教你努力，而是教你在看不清大局的复杂世界里，怎么持续做出相对正确的局部更新。 人生和训练神经网络有个很深的相似点：你几乎永远不知道全局最优解在哪。你不知道哪家公司适合你，不知道哪项技术十年后最重要，不知道哪次选择会改变命运，也不知道今天遇到的人以后意味着什么。你拥有的往往只有当前的位置和局部反馈，而这恰恰是梯度下降能工作的条件。 首先，人生不只是努力问题，而是目标函数的问题。机器学习里最危险的不是优化得慢，而是优化了错误的损失函数。如果损失函数定义错了，优化越强结果可能越荒谬，就像毛泽东说的：方向错了，知识越多越反动。 如果把目标函数定义成收入最大化，或者别人对我的认可最大化，就会自然地不断优化这些目标。如果只以收入或地位为目标，最终很可能活成高度依赖外界评价的人，家庭、健康、自由、兴趣、尊严等都可能被当作无关变量牺牲掉。 真正成熟的人生不应该只有一个指标，更接近现实的是多目标优化问题：事业、家庭、健康、重要关系、亲密关系、自由度、人生意义感，各有各的权重。 真正困难的是确定每个目标的权重，这不是数学能替你决定的。人生最重要的能力之一，就是不断修复自己的目标函数。很多人不够努力，是因为二十岁写下的损失函数，四十岁还在疯狂优化。 而且我们不要妄图一开始就看懂整座山、整座山坡、整个山脉。梯度下降的朴素思维是：不需要知道最低点在哪，只需要知道现在往哪边走更好。年轻时容易焦虑未来的方向，但这些问题往往无法提前回答，因为缺少未来的信息。 更合理的问题不是十年后的全局最优解是什么，而是在当前信息下，下一步最值得走的方向是什么。比如你是图像算法工程师，不必现在就知道四十岁是当CTO、创业者、研究员还是投资人，只需要判断未来一年把模型训练、边缘部署、工程落地、系统设计甚至产品销售打通，能力空间是不是扩大了。如果是，这就是负梯度方向，先走就完事了。 走到新位置后，能看到的世界会变化，再重新计算梯度。人生不是从A到Z的直接过程，而是先有目标0，到达后再设目标1、目标2。每得到新目标或新损失函数，就拥有了以前没有的信息。 真正重要的不是永远做对，而是永远拥有反馈闭环。梯度下降最反直觉的是：

曝光 249 · 评论 1 · 点赞 4 · 书签 1