全栈攻城狮

Appearance

大数据 ​

大数据技术体系文档，从 Hadoop 生态与存储基础出发，逐步覆盖数据仓库、实时计算、OLAP 与数据治理等方向。

文档列表 ​

Hadoop 基石 ​

列式存储与序列化 ​

数据仓库建模 ​

Hive 深度 ​

Spark Core ​

  • Spark 架构总览 — Driver/Executor/ClusterManager 角色、Job/Stage/Task 三层模型、DAG 执行流程、SparkEnv
  • RDD 深入 — RDD 五大特性、窄/宽依赖、血统容错、缓存与 Checkpoint 对比、持久化策略
  • Spark 调度机制 — FIFO/Fair 调度、Stage 划分算法、Task 调度与数据本地性、推测执行、动态资源分配
  • Spark Shuffle 机制 — Hash 到 Sort 到 Tungsten 演进、Shuffle 读写流程、调优参数、数据倾斜治理
  • Spark 内存管理 — 统一内存模型、堆内/堆外内存、执行与存储动态借用、OOM 排查
  • Spark 部署模式 — Local/Standalone/YARN/Kubernetes 对比、Client/Cluster 部署、动态资源分配
  • Spark Core 面试专题 — RDD 算子、重分区、缓存策略、血统容错、OOM 排查高频问答

Spark SQL 与 DataFrame ​

Spark Streaming 与图计算 ​

  • Flink Table 与 SQL — 动态表与持续查询、CDC Connector、Temporal Join、维表 Join
  • Flink 与 Kafka 集成 — Kafka Source/Sink、offset 提交、动态分区发现、Exactly-Once 写入
  • Flink CDC 实战 — MySQL/PG CDC、Debezium 集成、全量+增量同步、生产实践
  • Flink 复杂事件处理 CEP — Pattern API、NFA 引擎、超时处理与侧输出、风控场景
  • Flink 部署 — Standalone/YARN/Kubernetes、高可用配置、内存模型与资源配置
  • Flink 调优 — 数据倾斜、反压、网络缓存、序列化、State Backend 选型
  • Flink 面试专题 — 容错、状态、窗口、时间语义、CDC、反压排查高频问答

数据湖与湖仓一体 ​

实时数仓 ​

OLAP 引擎 ​

数据集成 ​

  • CDC 技术全景 — 基于查询/日志的 CDC、Canal/Debezium/Maxwell/DataX、选型对比
  • Canal 源码深入 — EventParser/EventSink/EventStore 架构、binlog dump 协议、HA 机制
  • Debezium 深入 — Snapshot 模式、Kafka Connect 集成、Schema 变更处理、Exactly-Once
  • 数据同步方案 — 全量 vs 增量、离线 vs 实时、异构数据源映射、断点续传
  • SeaTunnel / DataX — 插件化架构、多源读写、限流/断点/脏数据处理、性能调优
  • Kafka Connect — Source/Sink Connector 开发、REST API 管理、Standalone/Distributed 模式
  • 数据集成面试专题 — CDC 原理、数据一致性、断点续传、异构同步高频问答

调度编排 ​

数据治理 ​

  • 数据治理全景 — 数据标准/质量/安全/生命周期、DCMM 成熟度模型
  • Apache Atlas 数据目录 — 类型系统、元数据导入导出、血缘解析、分类/标签、安全审计
  • DataHub / Amundsen — 元数据采集、Search/Lineage/Glossary、开放 API 对比
  • 数据血缘 — 字段级血缘解析、SQL Parser 实现、Spark/Flink/Hive 血缘自动采集
  • 数据质量平台 — Great Expectations / Deequ 质量验证框架、质量规则引擎、质量看板
  • 数据安全治理 — 数据分级分类、脱敏策略、数据水印、访问审计、隐私合规
  • 数据治理面试专题 — 元数据、血缘、质量、安全治理体系高频问答

大数据平台 ​

Kafka 深入 ​

消息平台 ​

机器学习与大数据 ​

前沿趋势与生态盘点 ​