数据仓库和数据湖，一个偏向把数据整理好再用，一个偏向先保留原貌，再按用途处理。 传统数据仓库通常先抽取、清洗和转换数据，再写入预先设计的结构。这通常采用 E… · @BaiBtw · TwKit

@BaiBtw

数据仓库和数据湖，一个偏向把数据整理好再用，一个偏向先保留原貌，再按用途处理。 传统数据仓库通常先抽取、清洗和转换数据，再写入预先设计的结构。这通常采用 ETL 流程，并在写入前定义数据结构。商品、用户、支付等数据经过整理，可以供报表、分析和机器学习使用。 数据湖能同时保存结构化数据、邮件这类半结构化数据，以及图片、视频和原始二进制文件。它常先把数据装进较低成本的存储，再按使用需求转换，属于 ELT 的思路；“读取时确定结构”意味着不必在入库前为所有数据定好同一套模型。 两者也可以串起来：原始数据先留在湖里，需要进一步整理用于分析时，再转换后送进仓库。这里比较的是常见架构，不能把 ETL 和 ELT 当成区分所有产品的硬边界。

曝光 37 · 评论 1 · 点赞 2 · 书签 0