全栈攻城狮

Appearance

Apache Atlas 数据目录 ​

概述 ​

Apache Atlas 是 Hadoop 生态的元数据治理与数据目录平台：类型系统定义数据模型，Hook/导入采集元数据，血缘解析数据流转，分类标签打标，配合 Ranger 实现安全审计。本文逐一讲透。

一、Atlas 定位 ​

特性说明
定位元数据治理/数据目录
生态Hadoop 生态
核心类型 + 实体 + 血缘
集成Hive/HBase/Kafka/Spark
安全Ranger 联动
价值：
  找数据（目录）
  理解数据（血缘）
  治理数据（分类/审计）

二、类型系统 ​

2.1 概念 ​

类型（Type）定义元数据模型：
  实体类型（表、列、数据集）
  关系类型（血缘、依赖）
  枚举（分类、状态）
类型示例
实体类型hive_table、hive_column
关系lineage、owned_by
枚举分类、状态
属性名称、类型、注释

2.2 类型定义 ​

json
{
  "name": "hive_table",
  "typeName": "hive_table",
  "attributes": {
    "name": "string",
    "db": "hive_db",
    "columns": "array<hive_column>"
  }
}
Atlas 内置类型：
  hive_db / hive_table / hive_column
  hdfs_path / kafka_topic
  自定义类型（扩展）

三、实体与关系 ​

3.1 实体 ​

实体 = 类型的实例：
  hive_table: db.orders（具体表）
  属性含值

3.2 关系 ​

实体间关系：
  表 → 库（contained）
  表 → 列（contains）
  表 → 表（血缘 lineage）
  表 → Owner（归属）
血缘关系：
  lineage：数据流转
  上游 → 下游

四、元数据导入导出 ​

4.1 采集方式 ​

方式说明
Hook引擎钩子自动上报
Bridge桥接器拉取
REST API手动导入
文件批量导入

4.2 Hook 采集 ​

Hive Hook：
  DDL/DML 触发上报：
    建表 → hive_table 实体
    查询 → 血缘
Spark Hook / Kafka Hook：
  作业执行 → 元数据自动更新

4.3 导出 ​

导出格式：
  Atlas JSON 格式
  Atlas 分类/实体
  用于备份/迁移/分析

五、血缘解析 ​

5.1 血缘类型 ​

类型说明
表级血缘表 → 表
字段级血缘列 → 列
作业血缘作业参与的流转

5.2 解析方式 ​

1. Hook 自动采集：
   Hive/Spark 作业上报输入输出
2. SQL 解析：
   INSERT ... SELECT 识别来源
3. 手工补录
血缘展示：
  上游来源 → 表 → 下游使用
  影响分析 / 溯源

5.3 血缘应用 ​

应用说明
影响分析改表影响下游
溯源数据从哪来
下线评估依赖检查
质量定位问题来源

六、分类与标签 ​

6.1 概念 ​

分类（Classification）= 标签：
  给实体打标
  标记性质（敏感/质量）
分类说明
敏感PII/财务
质量重要/普通
归属团队/业务
状态生产/测试

6.2 使用 ​

json
// 给表打标签
{
  "entity": { "typeName": "hive_table", "attributes": {"qualifiedName": "db.orders@cluster"} },
  "classification": { "typeName": "PII" }
}
标签价值：
  检索过滤
  安全策略依据
  治理分组

七、安全审计 ​

7.1 与 Ranger 集成 ​

Ranger 使用 Atlas 标签做策略：
  标签 → 权限策略
  数据分级管控
流程：
  Atlas 标记敏感数据
  Ranger 按标签授权
  访问时校验

7.2 审计 ​

审计说明
操作记录谁访问了什么
元数据变更历史版本
血缘审计数据流转
Atlas 审计：
  JanusGraph + 日志
  操作可追溯

八、架构与部署 ​

8.1 组件 ​

组件说明
Atlas Server核心服务
存储JanusGraph/HBase + Solr
Hook引擎采集
Kafka消息通道
UI/API访问入口

8.2 部署要点 ​

要点说明
依赖HBase/Solr/Kafka
HA服务高可用
规模元数据量规划
性能检索索引

九、最佳实践 ​

实践说明
标准命名实体规范化
分类体系统一打标
Hook 全覆盖元数据完整
血缘定期核对准确性
与 Ranger 联动安全治理

常见问题速查 ​

问题要点
类型系统定义数据模型
元数据怎么来Hook/Bridge/API
血缘怎么解析Hook + SQL 解析
分类干嘛打标/安全
审计怎么做Ranger 联动 + 日志
架构依赖HBase/Solr/Kafka