数据资产平台
概述
数据是企业的核心资产。资产平台把散落的表、指标、API、模型统一盘点、编目、分级、运营，让数据从"库存"变成"资产"。本文讲透资产盘点、目录、分级、血缘与运营报表。
一、为什么要做数据资产
现状问题：
表有几千张，不知道有哪些
找表靠问人，效率低
敏感数据裸奔，无分级
资产价值说不清| 痛点 | 表现 | 资产平台解法 |
|---|---|---|
| 家底不清 | 不知道有哪些数据 | 自动盘点 |
| 找数困难 | 靠人肉打听 | 资产目录 |
| 安全失控 | 敏感数据无标记 | 分级分类 |
| 价值模糊 | 说不清资产价值 | 运营报表 |
价值：
家底清晰 → 统一盘点
查找高效 → 统一目录
安全可控 → 统一分级
运营可量 → 统一报表二、资产盘点
2.1 盘点范围
| 资产类型 | 说明 | 示例 |
|---|---|---|
| 数据表 | 各引擎中的表 | Hive/Doris/CH 表 |
| 指标 | 指标平台指标 | GMV、活跃用户 |
| API | 数据服务接口 | 订单查询接口 |
| 报表 | BI 报表 | 经营日报 |
| 模型 | 机器学习模型 | 流失预测模型 |
| 文档 | 数据说明文档 | 数仓设计文档 |
2.2 自动盘点机制
采集方式：
元数据采集（引擎侧）
+ 配置注册（人工补充）
+ 任务上报（调度侧）
→ 汇总成资产清单| 手段 | 说明 |
|---|---|
| 引擎采集 | 连引擎拉元数据 |
| 日志解析 | 从执行日志提取 |
| 平台注册 | 开发时自动登记 |
| 人工补录 | 业务文档补充 |
盘点频率：
核心资产：每日增量采集
全量核对：每周/每月全量
变更感知：元数据事件实时2.3 资产登记内容
| 字段 | 说明 |
|---|---|
| 资产名称 | 业务可读名 |
| 资产编码 | 唯一标识 |
| 资产类型 | 表/指标/API |
| 所属域 | 业务域 |
| 负责人 | 责任团队 |
| 存储位置 | 引擎+库+表 |
| 数据量 | 分区数/行数 |
| 更新频率 | 日/小时/实时 |
| 分级 | L1-L4 |
| 状态 | 在用/闲置/下线 |
三、资产目录
3.1 目录结构
数据资产目录：
按业务域组织
电商域
├── 订单数据
├── 商品数据
└── 用户数据
内容域
金融域| 维度 | 说明 |
|---|---|
| 业务域 | 电商/内容/金融 |
| 数据主题 | 订单/用户/商品 |
| 资产类型 | 表/指标/API |
| 组织归属 | 部门 |
3.2 目录能力
| 能力 | 说明 |
|---|---|
| 检索 | 关键词/条件检索 |
| 导航 | 按目录浏览 |
| 详情 | 资产详情页 |
| 收藏 | 常用资产收藏 |
| 评论 | 使用反馈 |
检索能力：
精确搜索（资产名/编码）
模糊搜索（关键词）
条件筛选（域/分级/负责人）
语义搜索（自然语言）3.3 资产详情页
一个资产的详情页应包含：
资产详情：
基本信息（名称/编码/负责人）
元数据（字段/分区/类型）
血缘（上游/下游）
使用情况（被谁引用）
质量信息（质量评分）
安全信息（分级/脱敏要求）四、资产分级
4.1 分级标准
| 级别 | 定义 | 示例 |
|---|---|---|
| L1 | 公开数据 | 产品介绍、公告 |
| L2 | 内部数据 | 内部报表、经营数据 |
| L3 | 敏感数据 | 交易明细、薪资 |
| L4 | 核心机密 | 客户隐私、支付凭证 |
4.2 分级依据
| 维度 | 说明 |
|---|---|
| 敏感度 | 是否含个人隐私 |
| 商业价值 | 是否核心经营数据 |
| 法律要求 | 是否受合规约束 |
| 泄露影响 | 泄露后的损失程度 |
4.3 分级后的管控
| 级别 | 管控要求 |
|---|---|
| L1 | 开放访问 |
| L2 | 内部账号可访问 |
| L3 | 申请审批+脱敏 |
| L4 | 白名单+加密+审计 |
分级联动：
数据分级 → 权限控制
数据分级 → 脱敏策略
数据分级 → 安全审计
数据分级 → 合规检查五、资产血缘
5.1 资产血缘的意义
作用：
数据从哪来 → 来源可查
数据到哪去 → 下游可估
变更影响 → 影响面可算
责任界定 → 责任可追5.2 血缘层级
资产血缘：
表级血缘（表→表）
字段级血缘（字段→字段）
指标血缘（指标→表/字段）
API 血缘（API→表）5.3 血缘应用场景
| 场景 | 应用 |
|---|---|
| 变更评估 | 改表前评估影响 |
| 问题定位 | 数据异常反向追溯 |
| 成本治理 | 找无下游的僵尸资产 |
| 合规审计 | 证明数据来源合法 |
成本治理案例：
通过血缘找无下游调用的表
→ 标记为闲置资产
→ 下线释放存储与计算六、资产运营报表
6.1 运营指标
| 指标 | 说明 |
|---|---|
| 资产总量 | 表/指标/API 数量 |
| 新增/下线 | 增长与清理 |
| 活跃资产 | 近期有使用的资产 |
| 闲置资产 | 长期无使用 |
| 资产覆盖率 | 核心资产登记率 |
| 使用热度 | 被引用次数 |
6.2 报表体系
运营报表：
资产全景（总量/分布/趋势）
资产活跃度（周/月使用排行）
闲置资产清单（待清理）
分级合规（分级覆盖率）
质量健康（各资产质量分）| 报表 | 用途 |
|---|---|
| 资产全景 | 向管理层汇报家底 |
| 活跃度排行 | 找热点资产 |
| 闲置清单 | 推动清理降本 |
| 分级合规 | 推动安全治理 |
6.3 运营动作闭环
闭环：
盘点 → 分析 → 决策 → 行动 → 复盘
发现闲置 → 评估 → 下线 → 释放成本
发现高热度 → 加强保障 → 提升稳定七、资产平台架构
应用层：资产目录 / 资产检索 / 资产详情 / 运营看板
↓
服务层：盘点服务 / 目录服务 / 分级服务 / 血缘服务 / 运营统计
↓
数据层：资产元数据库 / 血缘库 / 使用日志库
↓
采集层：引擎采集器 / 调度采集器 / API 采集器| 模块 | 职责 |
|---|---|
| 盘点引擎 | 多源资产自动采集 |
| 目录服务 | 组织与检索 |
| 分级服务 | 分级管理 |
| 血缘服务 | 采集与查询 |
| 运营统计 | 指标计算与报表 |
技术要点：
元数据量大 → 分库分表/ES 检索
采集并发 → 任务调度+限流
血缘图 → 图数据库存储
使用日志 → 埋点上报+聚合八、常见问题与最佳实践
8.1 资产盘点不准确
| 问题 | 解法 |
|---|---|
| 采集不全 | 多源采集+人工补录 |
| 重复登记 | 唯一编码去重 |
| 变更不同步 | 元数据事件驱动 |
| 无人维护 | 负责人制度+考核 |
8.2 资产目录没人用
最佳实践：
让目录"好用"（检索快、信息全）
与开发流程集成（创建即登记）
与使用场景绑定（取数即从目录找）
运营激励（贡献积分/排行榜）8.3 分级落地难
| 手段 | 说明 |
|---|---|
| 默认分级 | 新资产默认内部级 |
| 智能识别 | 按字段名/内容识别敏感 |
| 人工复核 | 关键资产人工确认 |
| 定期抽查 | 分级准确性抽查 |
九、小结
数据资产平台回答三个问题：有什么（盘点）、在哪找（目录）、值多少（运营）。核心路径：自动盘点 → 统一编目 → 分级管控 → 血缘贯通 → 运营报表。把数据当资产管起来，才能让数据价值被看见、被度量、被复用。