全栈攻城狮

Appearance

StarRocks 深入 ​

概述 ​

StarRocks 是高性能 MPP OLAP 数据库（Doris 分叉演进而来），以极速查询、高并发、多表 Join 著称，支持存算分离与实时更新。本文讲透存算一体/分离架构、CBO 优化器、主键模型、物化视图与 Flink/Spark 集成。

一、StarRocks 定位 ​

特性说明
类型MPP OLAP
架构FE + BE
特点高并发、强 Join、实时更新
模型明细/聚合/更新/主键
适用实时报表、高并发分析
与 Doris 关系说明
同源均源自百度 Palo
演进StarRocks 独立发展
差异性能与存算分离

二、存算一体 vs 存算分离 ​

2.1 存算一体 ​

BE 节点 = 计算 + 本地存储
  数据本地、IO 快
  扩展需同时扩存储计算
优点缺点
IO 快扩展耦合
部署简单存储利用率低

2.2 存算分离 ​

BE 计算 + 对象存储（S3/OSS）
  数据在对象存储，计算弹性
优点缺点
弹性扩算网络 IO
存储廉价冷热分层
云原生按需扩展

2.3 选型 ​

场景模式
高性能本地存算一体
云上弹性存算分离
大存储小计算分离
低延迟一体
StarRocks 3.x 支持两种模式共存

三、CBO 优化器 ​

3.1 作用 ​

基于代价（Cost-Based）优化：
  统计信息 → 生成最优执行计划
优化说明
谓词下推提前过滤
Join 重排最优顺序
Runtime Filter运行时过滤
物化视图匹配自动命中
分区裁剪减少扫描

3.2 统计信息 ​

列统计：行数、基数、分布
  自动收集 / 手动 ANALYZE
CBO 收益：
  复杂查询自动选择最优路径

四、数据模型 ​

4.1 模型类型 ​

模型特点适用
Duplicate全量明细明细查询
Aggregate预聚合汇总
Unique主键唯一最新状态
Primary Key强更新实时更新

4.2 主键模型 ​

sql
CREATE TABLE orders (
  order_id BIGINT PRIMARY KEY,
  status VARCHAR(20),
  amount DECIMAL(12,2),
  updated_at DATETIME
) DISTRIBUTED BY HASH(order_id) BUCKETS 16;
特性说明
更新主键级实时更新
删除支持
适用CDC 实时同步
性能快（主键索引）

4.3 主键模型注意 ​

注意说明
主键高基影响内存
频繁更新保证流写入
与 Unique 差异更新机制更强

五、物化视图 ​

5.1 作用 ​

预计算聚合/Join：
  查询自动命中 → 加速
sql
CREATE MATERIALIZED VIEW mv_city_gmv AS
SELECT city, order_date, SUM(amount) AS gmv
FROM orders GROUP BY city, order_date;

5.2 自动刷新 ​

刷新说明
同步刷新数据变更即刷新
异步刷新定时刷新
物化匹配查询自动选择
优势说明
透明优化器选择
实时同步刷新
多表支持 Join 物化

六、Join 优化 ​

6.1 Join 策略 ​

策略说明
Colocate Join分桶一致本地 Join
Bucket Shuffle Join桶间数据转发
Broadcast Join小表广播
Runtime Filter动态过滤
CBO 自动选择最优 Join 方式

6.2 优化建议 ​

建议说明
分桶键一致Colocate
小表Broadcast
大表分桶并行

7.1 Flink 集成 ​

sql
-- Flink SQL 写 StarRocks
CREATE TABLE sr_sink (
  order_id BIGINT,
  amount DECIMAL(12,2)
) WITH (
  'connector' = 'starrocks',
  'fenodes' = 'fe:8030',
  'table.identifier' = 'db.orders',
  'sink.label-prefix' = 'flink',
  'sink.properties.format' = 'json'
);

INSERT INTO sr_sink SELECT ... FROM source;
特性说明
实时写入流式
主键更新Primary Key 模型
精确一次label 幂等

7.2 Spark 集成 ​

Spark Connector：
  批量读写 StarRocks
  用于离线加工
场景引擎
实时入仓Flink
离线批量Spark
查询直接 SQL

八、高并发与扩展 ​

8.1 高并发 ​

并发能力：
  主键点查（实时场景）
  预聚合 + 物化视图
  列式 + 向量化
手段说明
物化视图减少计算
缓存结果缓存
分区裁剪减少扫描

8.2 扩展 ​

FE 扩展：元数据高可用
BE 扩展：计算/存储
存算分离：弹性计算

九、适用场景 ​

场景说明
实时报表主键 + 物化
高并发分析并发强
大宽表 Join多表关联
实时数仓Flink 集成
云原生存算分离

常见问题速查 ​

问题原因与处理
更新慢检查主键模型与写入
Join 慢Colocate/广播
物化不命中检查查询模式
存算分离慢网络/缓存
并发低物化/缓存/扩展