硅谷 ML 面试基础题（10/23） Q：随机森林和 GBDT 都是一堆决策树，区别到底在哪？ 一句话：森林并行投票降方差，提升串行纠错降偏差。 1️⃣ 组… · @Zen_with_AI · TwKit

@Zen_with_AI

硅谷 ML 面试基础题（10/23） Q：随机森林和 GBDT 都是一堆决策树，区别到底在哪？ 一句话：森林并行投票降方差，提升串行纠错降偏差。 1️⃣ 组合方式 随机森林 = Bagging：树并行、独立训练，分类投票、回归取平均。 GBDT = Boosting：树串行接力，后一棵拟合前面累计预测的负梯度（平方损失下就是残差）。 前者像 100 个专家独立投票，后者像接力赛层层纠错。 2️⃣ 偏差与方差 随机森林靠平均降方差，所以单棵树可以长得很深，树与树越不像，平均越稳。 GBDT 主要靠纠错降偏差，所以单棵树通常很浅（弱学习器），一步步磨掉系统性错误。 3️⃣ 随机性来源 随机森林双重随机：bootstrap 有放回抽样本，每次分裂只从随机一部分特征里挑最优。 原始 GBDT 默认用全量数据和特征（XGBoost、LightGBM 常加行列采样），靠学习率 shrinkage 当刹车：步子越小要的树越多，但泛化更稳。 追问加分：XGBoost 在 GBDT 上改进了什么？ · 二阶泰勒展开，拟合更精确 · 损失里加正则项，控制树复杂度 · 自动学习缺失值的默认分裂方向 · 列采样与系统层面的并行优化 更深一问：为什么随机森林的树可以很深而不怕过拟合，GBDT 一深就容易过拟合？ 深树低偏差、高方差。森林靠平均抵消方差；GBDT 是串行叠加，深树会快速拟合噪声，后续树继续拟合这些噪声，误差累积，且没有平均来抵消。

曝光 863 · 评论 2 · 点赞 13 · 书签 11