全栈攻城狮

Appearance

大数据平台整体架构 ​

概述 ​

大数据平台是数据价值的基础设施：从采集到存储、计算、服务、应用五层架构，配套调度、治理、安全等支撑体系。本文给出平台分层架构、选型依据与硬件规划。

一、平台定位 ​

大数据平台 = 数据全链路基础设施：
  让数据进来（采集）
  让数据存住（存储）
  让数据算好（计算）
  让数据可用（服务）
  让数据产生价值（应用）
用户能力
开发开发/调度
分析查询/分析
业务报表/大屏
运营监控/治理

二、五层架构 ​

2.1 数据采集层 ​

类型工具
离线同步DataX/SeaTunnel
实时 CDCCanal/Debezium/Flink CDC
日志采集Flume/Logstash
消息中间Kafka
采集目标：
  业务库、日志、埋点、外部数据
  全量 + 增量 + 实时

2.2 数据存储层 ​

存储用途
HDFS/对象存储原始/湖
湖格式Iceberg/Paimon
数仓Hive
消息Kafka
OLAPDoris/ClickHouse
数据库MySQL/HBase
存储分层：
  冷数据（湖/对象）
  温数据（数仓）
  热数据（OLAP/DB）

2.3 数据计算层 ​

引擎场景
Spark离线批
Flink实时流
HiveSQL 批
Presto/Trino即席查询
调度Airflow/Dolphin
计算体系：
  离线（T+1）
  实时（秒级）
  即席（灵活）

2.4 数据服务层 ​

服务说明
查询网关统一入口
指标服务指标 API
数据 API接口
自助分析BI 工具
元数据服务数据地图
服务目标：
  统一、高效、安全
  屏蔽底层差异

2.5 数据应用层 ​

应用说明
报表固定报表
大屏实时展示
分析自助分析
算法推荐/风控
搜索数据检索

三、支撑体系 ​

3.1 调度 ​

统一调度：
  任务编排（DAG）
  定时/依赖
  补数/重跑
  优先级/资源

3.2 治理 ​

元数据 + 血缘 + 质量 + 安全：
  找数据、管数据、控数据

3.3 安全 ​

认证/授权/审计：
  平台统一权限
  敏感数据管控

3.4 监控 ​

集群/任务/数据监控：
  资源、延迟、质量
  告警闭环

四、平台选型 ​

4.1 选型原则 ​

原则说明
需求驱动场景决定
团队熟悉技术栈
生态社区/兼容
成本硬件/运维
演进可扩展

4.2 组件选型 ​

层主流选择
采集Flink CDC + Kafka
存储HDFS/S3 + Iceberg
计算Spark + Flink
OLAPDoris/ClickHouse
调度Airflow/Dolphin
治理Atlas/DataHub
监控Prometheus/Grafana
选型建议：
  新平台 → 现代栈（湖仓一体）
  存量 → 平滑演进

五、硬件规划 ​

5.1 节点规划 ​

节点职责
管理节点元数据/调度（高配）
存储节点HDFS/湖（大盘）
计算节点Spark/Flink（高 CPU）
服务节点查询/OLAP（内存）
规划原则：
  按负载拆分
  管理/数据/计算分离
  可扩展

5.2 资源估算 ​

资源估算
存储数据量 × 副本 × 冗余
内存计算需求
CPU并行度
网络万兆
估算流程：
  数据规模 → 增长
  计算负载 → 峰值
  冗余 → 容错

5.3 规模参考 ​

规模说明
小5-10 节点
中10-50 节点
大50+ 节点
节点配比：
  存储节点为主
  计算节点按需
  管理节点 3-5

六、实施路径 ​

6.1 阶段 ​

1. 基础设施（集群）
2. 采集存储（数据进来）
3. 计算平台（算）
4. 服务应用（用）
5. 治理安全（管）

6.2 里程碑 ​

阶段产出
一期集群 + 采集 + 存储
二期计算 + 调度
三期服务 + 报表
四期治理 + 安全

七、平台演进 ​

传统数仓 → 湖仓一体 → 云原生
  批流一体
  存算分离
  数据网格
趋势说明
湖仓一体统一存储
批流一体统一引擎
云原生弹性
数据网格组织治理

常见问题速查 ​

问题要点
平台几层采集/存储/计算/服务/应用
怎么选型需求 + 团队 + 生态
硬件怎么规划按负载拆分
先建什么基础设施
演进方向湖仓/云原生