Hive 高级特性

概述

Hive 3 之后的能力远不止"跑批 SQL"：ACID 事务让 Hive 能承担更新场景，物化视图加速重复查询，LLAP 把查询延迟降到秒级，CBO 优化器自动选最优执行计划，UDF/UDAF/UDTF 则补齐了自定义逻辑能力。本文逐项展开。

一、ACID 事务

1.1 为什么 Hive 需要事务

传统 Hive 只能 INSERT OVERWRITE 整分区，无法做行级更新与删除，与业务系统的数据修正需求脱节。Hive 3 + ORC 支持完整 ACID：

能力	说明
行级 UPDATE/DELETE	支持事务表
MERGE	一次合并多源变更
快照隔离	读不阻塞写

1.2 实现原理：delta 文件

事务表的数据由**基础文件（base）+ 增量文件（delta）**组成：

写入 → 生成 delta 文件（记录新增/变更）
删除 → 生成 delete delta（标记删除的行）
读取 → base + delta 合并可见
合并 → Compaction（minor 合并 delta，major 全量合并）

术语	说明
Base 文件	合并后的完整数据
Delta 文件	事务产生的变更
Minor Compaction	合并多个 delta 成新 base
Major Compaction	全量重写，清理删除标记

1.3 使用注意

表必须 STORED AS ORC + transactional=true。
高频小事务会产生大量 delta，定期做 Compaction。
海量更新场景仍建议"全分区覆盖"，事务表用于修正类小作业。

二、物化视图

2.1 作用

把高频聚合查询（如每日 GMV）的结果预先存储，查询命中视图时直接读结果：

sql

CREATE MATERIALIZED VIEW mv_gmv_daily AS
SELECT dt, SUM(amount) AS gmv
FROM dwd_order GROUP BY dt;

2.2 自动维护

行为	说明
增量维护	基表数据变化后自动刷新受影响分区
查询重写	命中物化视图的查询自动改写，透明加速
手动刷新	`ALTER MATERIALIZED VIEW ... REBUILD`

2.3 适用场景

重复执行的固定聚合报表。
查询重写覆盖的明细聚合。
与 LLAP 配合，交互式分析体验接近 OLAP。

三、LLAP 加速

3.1 原理

LLAP（Live Long and Process，即 Hive 3 的 Interactive 模式）在 NodeManager 常驻辅助进程（llap daemon）：

传统：查询每次冷启动，读 HDFS + 反序列化
LLAP：常驻进程缓存数据块与元数据，SQL 直接在常驻进程执行

3.2 收益

项	传统 Hive	Hive + LLAP
查询延迟	分钟级	秒级
缓存	无	数据块 + 文件元数据缓存
小任务开销	高（调度+启动）	低（常驻复用）
并发	低	高（缓存命中多）

3.3 使用注意

LLAP 常驻进程占用固定资源，需从 YARN 中预留。
适合交互式查询与 BI 场景；超大批处理（如全量聚合）仍走批任务。
部署复杂度高，小集群可不启用。

四、Cost-Based Optimizer（CBO）

4.1 RBO vs CBO

优化器	依据	特点
RBO（规则）	固定规则集	规则顺序敏感，易选错
CBO（代价）	统计信息估算代价	自动选最优 Join 顺序/策略

Hive 3 默认 hive.cbo.enable=true，基于表/列的统计信息做代价估算。

4.2 统计信息

CBO 依赖统计信息，统计过期会导致错误计划：

sql

-- 收集表统计
ANALYZE TABLE dwd_order COMPUTE STATISTICS;
-- 收集列级统计（CBO 更精确）
ANALYZE TABLE dwd_order COMPUTE STATISTICS FOR COLUMNS;

统计项	用途
行数、文件大小	估算扫描代价
列基数、空值率	Join/过滤代价
分区统计	分区裁剪选择

定期 ANALYZE 是关键：大表结构或数据量变化后，CBO 计划可能退化。

4.3 调试

sql

EXPLAIN SELECT ...;            -- 查看最终计划
EXPLAIN COST SELECT ...;       -- 查看代价估算

五、UDF / UDAF / UDTF

5.1 三种函数类型

类型	输入→输出	示例
UDF	一行 → 一行	字符串转换、脱敏
UDAF	多行 → 一行	聚合（sum/custom_avg）
UDTF	一行 → 多行	行转列（explode）

5.2 UDF 开发示例（Java）

java

import org.apache.hadoop.hive.ql.exec.UDF;

public class MaskPhone extends UDF {
    public String evaluate(String phone) {
        if (phone == null || phone.length() < 7) return phone;
        return phone.substring(0, 3) + "****" + phone.substring(7);
    }
}

sql

-- 注册使用
ADD JAR /opt/hive-udfs/hive-udf.jar;
CREATE TEMPORARY FUNCTION mask_phone AS 'com.example.MaskPhone';
SELECT mask_phone(phone) FROM ods_user;

5.3 UDAF 开发要点

java

import org.apache.hadoop.hive.ql.udf.generic.AbstractGenericUDAFResolver;

实现 Resolver（入参校验）+ Evaluator（iterate/merge/terminate）。
分 Map 端局部聚合与 Reduce 端全局合并。
参考内置 sum 的实现模式。

5.4 UDTF 开发要点

一行输入可输出多行（如 JSON 展开）。
注意与其他列配合：LATERAL VIEW explode(...)。
内建 explode / posexplode 覆盖多数场景，自定义少见。

5.5 使用规范

项	约定
函数命名	语义清晰，加前缀（如 `mask_`）
性能	优先内建函数，UDF 尽量简单
兼容	临时函数仅会话内，生产用永久函数库
测试	单测 + 小数据验证

六、特性选型对照

需求	特性
行级修正	ACID 事务表
重复聚合加速	物化视图
交互式查询	LLAP
自动最优计划	CBO + 统计信息
自定义逻辑	UDF/UDAF/UDTF

场景	建议
报表固定查询多	物化视图
BI 秒级交互	LLAP 或换 OLAP 引擎
数据修正	事务表 + Compaction
复杂转换	UDF + 规范管理

常见问题速查

问题	原因与处理
事务表 delta 堆积	Compaction 未执行，定期 major compaction
物化视图数据旧	检查自动刷新配置，手动 REBUILD
CBO 计划变差	统计信息过期，重新 ANALYZE
LLAP 内存不足	预留资源不足，调 llap 分配
UDF 报类冲突	JAR 版本冲突，隔离函数库

Hive 高级特性 ​

概述 ​

一、ACID 事务 ​

1.1 为什么 Hive 需要事务 ​

1.2 实现原理：delta 文件 ​

1.3 使用注意 ​

二、物化视图 ​

2.1 作用 ​

2.2 自动维护 ​

2.3 适用场景 ​

三、LLAP 加速 ​

3.1 原理 ​

3.2 收益 ​

3.3 使用注意 ​

四、Cost-Based Optimizer（CBO） ​

4.1 RBO vs CBO ​

4.2 统计信息 ​

4.3 调试 ​

五、UDF / UDAF / UDTF ​

5.1 三种函数类型 ​

5.2 UDF 开发示例（Java） ​

5.3 UDAF 开发要点 ​

5.4 UDTF 开发要点 ​

5.5 使用规范 ​

六、特性选型对照 ​

常见问题速查 ​