全栈攻城狮

Appearance

大数据技术大全 ​

概述 ​

本文是速查手册：大数据常用名词中英文对照、生态架构图集、官方文档与学习链接汇总。适合随手查阅，也是面试前快速过一遍的清单。

一、核心名词中英对照 ​

1.1 计算与存储 ​

英文中文说明
Batch Processing批处理离线批量计算
Stream Processing流处理实时流式计算
DAG有向无环图任务依赖图
Shuffle洗牌数据重分布
Partition分区数据分片
Data Locality数据本地性就近计算
Columnar Storage列式存储按列存储

1.2 数据架构 ​

英文中文说明
Data Warehouse数据仓库结构化数仓
Data Lake数据湖全量数据存储
Lakehouse湖仓一体湖+仓能力
Data Mart数据集市面向主题
Lambda ArchitectureLambda 架构批+流结合
Kappa ArchitectureKappa 架构纯流架构
Schema-on-Write写时模式写入定结构
Schema-on-Read读时模式读取定结构

1.3 实时与一致性 ​

英文中文说明
CDC变更数据捕获数据变更同步
Event Time事件时间事件发生时间
Watermark水位线乱序处理
Exactly-Once精确一次不重不丢
At-Least-Once至少一次可能重复
Checkpoint检查点状态快照
Rebalance再平衡分区重分配

1.4 数据治理 ​

英文中文说明
Metadata元数据数据的数据
Data Lineage数据血缘数据来源去向
Data Quality数据质量完整性等
Data Governance数据治理数据管理
Data Catalog数据目录元数据目录
Data Product数据产品领域数据交付
PII个人可识别信息隐私数据

1.5 OLAP 相关 ​

英文中文说明
OLAP联机分析处理分析型
OLTP联机事务处理事务型
MPP大规模并行处理并行架构
Cube数据立方体预聚合
Rollup上卷汇总
Drill-down下钻明细
Materialized View物化视图预计算结果

1.6 机器学习 ​

英文中文说明
Feature Engineering特征工程特征处理
Feature Store特征存储特征管理
Feature Leakage特征泄露未来信息
Model Serving模型服务推理部署
A/B TestingAB 实验对比实验
Model Drift模型漂移效果衰减
AutoML自动机器学习自动调参

二、生态项目速查表 ​

2.1 分层项目清单 ​

层次项目一句话定位
采集Canal/DataX/SeaTunnel数据同步
消息Kafka/Pulsar/RocketMQ消息管道
存储HDFS/对象存储/HBase数据存储
计算Spark/Flink/MapReduce数据处理
查询Presto/Trino/Impala即席查询
OLAPClickHouse/Doris/StarRocks分析引擎
表格式Iceberg/Delta/Hudi湖仓表
调度Airflow/DolphinScheduler任务编排
治理Atlas/DataHub/Ranger元数据/权限
质量Great Expectations/Deequ数据质量
MLMLlib/MLflow机器学习

2.2 版本与许可证速记 ​

Apache 顶级项目（部分）：
  Hadoop、Hive、Spark、Flink
  Kafka、Pulsar、Iceberg、Hudi
  Doris、ClickHouse（部分）、Airflow

  注意：
    ClickHouse 采用 Apache 2.0
    StarRocks/Delta 各有商业版本
    选型注意版本与许可

三、架构图集（文字版） ​

3.1 离线数仓架构 ​

离线数仓：
  数据源（业务库/日志）
  → 采集（DataX/Flume）
  → ODS（原始层）
  → DWD（明细层）
  → DWS（汇总层）
  → ADS（应用层）
  → 报表/分析

  调度：Airflow/DolphinScheduler
  治理：元数据 + 血缘 + 质量

3.2 实时数仓架构 ​

实时数仓：
  业务库（binlog）→ Canal → Kafka
  → Flink（清洗/加工）
  → Doris/StarRocks（服务层）
  → 大屏/实时报表/实时指标

  关键：Kafka 消息分层（ODS/DWD/DWS）

3.3 湖仓一体架构 ​

湖仓一体：
  对象存储（底座）
  + 表格式（Iceberg/Delta，ACID）
  + Spark（离线）/ Flink（实时）
  + Presto/Doris（查询）
  + 元数据/权限（治理）

3.4 消息管道架构 ​

消息管道：
  生产者 → Kafka（分区/副本）
  → 消费者组（并行消费）
  → Flink/Spark/业务

  可靠性：Ack/ISR/幂等/事务
  监控：Lag/吞吐

四、常用命令速查 ​

4.1 HDFS ​

常用命令：
  hdfs dfs -ls /path          # 列出
  hdfs dfs -put local /path   # 上传
  hdfs dfs -get /path local   # 下载
  hdfs dfs -rm -r /path       # 删除
  hdfs dfsadmin -report       # 集群状态

4.2 Kafka ​

常用命令：
  kafka-topics --create --topic t --partitions 3 --replication-factor 2
  kafka-topics --describe --topic t
  kafka-console-producer --topic t
  kafka-console-consumer --topic t --from-beginning
  kafka-consumer-groups --describe --group g

4.3 Hive/Spark SQL ​

常用命令：
  hive -e "SELECT count(*) FROM t"       # 执行 SQL
  spark-sql -e "SELECT count(*) FROM t"   # Spark SQL
  spark-submit --class Main app.jar       # 提交任务

五、官方文档与参考链接 ​

5.1 官方文档 ​

项目官网
Hadoophadoop.apache.org
Hivehive.apache.org
Sparkspark.apache.org
Flinkflink.apache.org
Kafkakafka.apache.org
Icebergiceberg.apache.org
Delta Lakedelta.io
Hudihudi.apache.org
ClickHouseclickhouse.com
Dorisdoris.apache.org
StarRocksstarrocks.io
Airflowairflow.apache.org
DolphinSchedulerdolphinscheduler.apache.org
Pulsarpulsar.apache.org

5.2 学习参考 ​

高质量来源：
  Apache 官方文档（首选）
  GitHub 源码与 issue
  云厂商最佳实践（阿里云/腾讯云/华为云）
  技术社区（掘金/知乎/InfoQ）
  源码解析博客
论文/标准：
  MapReduce（Google 论文）
  Spanner/BigTable（原理参考）
  TPC-H/TPC-DS（性能基准）
  DCMM（数据管理能力成熟度）

六、常见英文缩写 ​

缩写全称中文
ODSOperational Data Store操作数据层
DWDData Warehouse Detail明细层
DWSData Warehouse Summary汇总层
ADSApplication Data Store应用层
ETLExtract Transform Load抽取转换加载
SLAService Level Agreement服务等级协议
HAHigh Availability高可用
SRESite Reliability Engineering站点可靠性
ISRIn-Sync Replicas同步副本
HWHigh Watermark高水位
LEOLog End Offset日志末端偏移

七、使用建议 ​

速查用法：
  面试前：过名词对照 + 架构图
  写方案：抄架构图 + 组合选型
  排障：查命令 + 查参考链接
  学习：按官方文档深入

八、小结 ​

本手册把大数据知识压缩成对照表、架构图、命令、链接四类速查内容：名词对照帮你扫清术语，架构图帮你建立全局，命令表帮你上手实操，官方链接帮你继续深入。收藏备用，需要时随手查阅即可。