边缘设备 AI 部署

subtitle: > Raspberry Pi / Jetson Nano / 手机端 TFLite / ONNX Runtime Mobile 部署流程

边缘 AI 概述

什么是边缘 AI

边缘 AI 是指在靠近数据源头的边缘设备上运行人工智能模型，而非依赖云端服务器进行推理计算。它打破了传统云计算模式下数据必须上传至远程数据中心处理的方式，将推理能力直接赋予终端设备。边缘 AI 的核心价值在于降低延迟、保护隐私、减少带宽占用以及支持离线运行。

与云端 AI 的区别

云端 AI 依赖强大的 GPU 集群或 TPU 服务器执行计算，模型规模可以非常大（数十亿参数级），但受限于网络传输延迟和带宽。边缘 AI 则运行在资源受限的设备上，模型需要经过压缩和优化，推理延迟通常在毫秒级，且不依赖网络连接。两者在实际落地中常采用"端云协同"架构：边缘设备负责实时推理和预处理，云端负责模型训练和复杂场景兜底。

边缘设备分类

边缘 AI 设备按算力和应用场景可分为以下四类：

设备类别	代表设备	算力范围	典型场景
IoT 设备	ESP32-S3, RP2040	1-100 GOPS	传感器数据处理、关键词唤醒
嵌入式设备	Raspberry Pi, Jetson Nano	0.1-1 TOPS	智能相机、工业检测
移动端设备	Android/iOS 手机	1-10 TOPS	实时视频处理、图像分类
边缘服务器	NVIDIA Jetson Orin, Intel NUC	10-200 TOPS	多路视频分析、车路协同

---

Raspberry Pi 部署

硬件规格

Raspberry Pi 4（BCM2711, Cortex-A72 四核 1.8 GHz, 2-8 GB RAM）提供约 0.1 TOPS 算力，Raspberry Pi 5（BCM2712, Cortex-A76 四核 2.4 GHz）性能较前代提升 2-3 倍。虽无专用 NPU，但借助 GPU（VideoCore VI）和推理框架加速，仍可运行轻量级视觉和语音模型。

操作系统设置

建议使用 Raspberry Pi OS（64-bit）Bookworm 版本，自带 Python 3.11 和优化的 GPU 驱动。安装完成后执行系统更新和依赖安装：

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip python3-venv cmake ninja-build

部署流程

1. 安装依赖与推理框架

pip install tensorflow-cpu tflite-runtime numpy opencv-python
# 或选择 NCNN (轻量级)
git clone https://github.com/Tencent/ncnn.git
cd ncnn && mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Release -DNCNN_VULKAN=ON ..
make -j4 && sudo make install

2. 模型格式转换

以 TensorFlow 模型为例，转换为 TFLite 格式并启用量化：

import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model("model_saved")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]
tflite_model = converter.convert()
with open("model_quant.tflite", "wb") as f:
    f.write(tflite_model)

3. Python 推理脚本

import tflite_runtime.interpreter as tflite
import numpy as np

interpreter = tflite.Interpreter(model_path="model_quant.tflite")
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# 输入预处理与推理
interpreter.set_tensor(input_details[0]["index"], input_data)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]["index"])

4. 性能优化

• 启用 VK_NOK 扩展或使用 NCNN Vulkan 后端的 GPU 加速，推理速度可提升 3-5 倍。
• 模型剪枝和 INT8 量化可减少 75% 的模型体积，且精度损失通常控制在 1-2% 以内。
• 使用多进程流水线（双缓冲）将预处理与推理流水化，降低端到端延迟。

适用场景

• 智能相机：基于 MobileNet 的人体/物体检测，触发本地录制或报警。
• 家居自动化：语音命令识别（如唤醒词检测），控制智能家居设备。
• 农业监测：基于图像分类的病虫害检测，实时反馈至本地管理系统。

---

Jetson Nano 部署

硬件规格

Jetson Nano 搭载 128-core Maxwell GPU 和四核 Cortex-A57 CPU，提供约 0.5 TOPS（FP16）算力，功耗仅 5-10 W。B01 版本支持 M.2 Key E 扩展 Wi-Fi 和 AI 加速模块。相较 Raspberry Pi，其 GPU 适合运行更复杂的 CNN 模型。

JetPack SDK 安装

JetPack SDK 包含 Linux 驱动、CUDA、cuDNN、TensorRT 及多媒体 API。推荐通过 SDK Manager 刷写：

1. 下载 JetPack 5.1.3（L4T R35.4.1），支持 TensorRT 8.5 和 CUDA 11.4。
2. 使用 SD 卡镜像（16 GB 以上）烧录，或通过 micro-USB 线直连主机进入恢复模式刷写。
3. 安装完成后验证环境：nvcc --version 和 trtexec --version。

部署流程

1. TensorRT 模型转换

将训练好的模型导出为 ONNX，再通过 TensorRT 的 trtexec 工具生成 TensorRT 引擎：

# ONNX → TensorRT 引擎
trtexec --onnx=model.onnx \
        --saveEngine=model.engine \
        --fp16 \
        --workspace=1024 \
        --minShapes=input:1x3x224x224 \
        --optShapes=input:8x3x224x224 \
        --maxShapes=input:16x3x224x224

2. trtexec 优化

trtexec 提供多级优化：层融合（Layer Fusion）、内核自动调优（Auto-Tuning）、动态形状支持。通过 --verbose 参数查看每层执行时间和内存峰值，识别瓶颈层后针对性调整。

3. 使用 TensorRT C++/Python API 推理

Python 示例：

import tensorrt as trt
import pycuda.driver as cuda

logger = trt.Logger(trt.Logger.WARNING)
with open("model.engine", "rb") as f:
    runtime = trt.Runtime(logger)
    engine = runtime.deserialize_cuda_engine(f.read())
context = engine.create_execution_context()

# 分配 GPU 显存并执行推理
d_input = cuda.mem_alloc(input_size)
d_output = cuda.mem_alloc(output_size)
cuda.Context.synchronize()
context.execute_v2(bindings=[int(d_input), int(d_output)])

C++ 部署在高吞吐场景下推荐使用，其显存管理更可控且 Kernel Launch 开销更低。

4. 性能调优

• INT8 量化：使用 TensorRT 的 INT8 校准器（Calibrator）在验证集上执行逐通道校准，可将推理速度提升 2-3 倍，精度损失控制在 0.5-1%。
• 多流推理：对于多路视频输入，使用多个 CUDA 流并行调度，最大化 GPU 利用率。
• DLA（Deep Learning Accelerator）：Jetson Orin 系列支持 DLA 硬件卸载，将部分层自动映射至专用加速器，降低 GPU 负载。

适用场景

• 工业质检：在产线边缘运行 YOLOv5/8 实现实时缺陷检测，推理延迟 < 30 ms。
• 车路协同：交叉口视频流分析，行人/车辆轨迹预测，数据不上传云端。
• 无人机巡检：实时目标跟踪和地理围栏检测，功耗控制支持 2 小时以上续航。

---

手机端 TFLite 部署

模型转换流程

从 TensorFlow 模型转换为 TFLite 格式，支持多种量化选项：

import tensorflow as tf

# 基础转换 (FP32)
converter = tf.lite.TFLiteConverter.from_saved_model("model_saved")
tflite_model = converter.convert()

# FP16 量化：体积减半，精度接近无损
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]

# INT8 全量化：体积再减半，需代表数据集校准
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_fn
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]

量化选项对比如下：

量化类型	模型体积缩减	精度损失	硬件加速
FP32	0%	无	GPU/CPU
FP16	50%	< 0.1%	GPU/CPU
INT8	75%	0.5-2%	NPU/DSP

Android 集成 (Java Interpreter API)

在 build.gradle 中添加依赖：

dependencies {
    implementation 'org.tensorflow:tensorflow-lite:2.14.0'
    implementation 'org.tensorflow:tensorflow-lite-gpu:2.14.0'
    implementation 'org.tensorflow:tensorflow-lite-support:0.4.4'
}

推理代码：

Interpreter tflite = new Interpreter(loadModelFile(context));
Interpreter.Options options = new Interpreter.Options();
options.addDelegate(new GpuDelegate());
tflite = new Interpreter(loadModelFile(context), options);

// 执行推理
float[][] output = new float[1][NUM_CLASSES];
tflite.run(inputImage, output);

使用 GPU 委托（Delegate）可加速 3-5 倍，同时降低 CPU 占用和发热。

iOS 集成 (Swift CoreML Delegate)

通过 CocoaPods 集成 TFLite Swift API，并使用 CoreML Delegate：

import TensorFlowLite
import TensorFlowLiteCoreML

var options = InterpreterOptions()
let coreMLDelegate = CoreMLDelegate()
options.delegates = [coreMLDelegate]
let interpreter = try Interpreter(modelPath: modelPath, options: options)

try interpreter.allocateTensors()
try interpreter.copy(inputData, toInputAt: 0)
try interpreter.invoke()
let output = try interpreter.output(at: 0)

CoreML Delegate 会将 TFLite 计算图自动映射到 Apple Neural Engine（ANE），显著提升能效比。

性能 Benchmark

在主流手机设备上，MobileNetV2 (224x224, FP16) 的典型推理延迟：

设备	CPU 延迟	GPU 延迟	NPU/ANE 延迟
iPhone 15 Pro	8 ms	5 ms	2 ms
Samsung S24 (Snapdragon)	10 ms	6 ms	3 ms
Xiaomi 14 (Dimensity)	12 ms	7 ms	4 ms

---

ONNX Runtime Mobile 部署

ONNX 模型导出 (PyTorch → ONNX)

import torch
import torch.onnx

model = torch.load("model.pth")
model.eval()
dummy_input = torch.randn(1, 3, 224, 224)

torch.onnx.export(
    model,
    dummy_input,
    "model.onnx",
    opset_version=17,
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {0: "batch_size"}, "output": {0: "batch_size"}}
)

导出时建议使用 opset_version >= 17 以获得更好的算子覆盖率和量化支持。

模型优化 (ORT format、QDQ 量化)

ONNX Runtime Mobile 使用 ortformat 工具将 ONNX 模型打包为轻量级 ORT 格式：

python -m onnxruntime.tools.convert_onnx_to_ort \
    --input model.onnx \
    --output model.ort \
    --optimization_style=Fixed \
    --enable_type_reduction

QDQ (Quantize-Dequantize) 量化通过 onnxruntime.quantization 库实现：

from onnxruntime.quantization import quantize_qat, QuantType

quantize_qat(
    model_input="model.onnx",
    model_output="model_qdq.onnx",
    weight_type=QuantType.QInt8,
    activation_type=QuantType.QUInt8,
)

QDQ 量化后的模型兼容 Qualcomm SNPE 和 Apple ANE 等 NPU 加速器。

移动端集成

Android AAR

在 build.gradle 中引入 ONNX Runtime Mobile：

dependencies {
    implementation 'com.microsoft.onnxruntime:onnxruntime-mobile:1.17.0'
}

推理代码：

import ai.onnxruntime.*;

OrtEnvironment env = OrtEnvironment.getEnvironment();
OrtSession session = env.createSession("model.ort", new OrtSession.SessionOptions());

OnnxTensor inputTensor = OnnxTensor.createTensor(env, inputData);
Map<String, OnnxTensor> inputs = Collections.singletonMap("input", inputTensor);
Map<String, OnnxTensor> results = session.run(inputs);
float[][] output = ((OnnxTensor) results.get("output")).getFloatBuffer();

iOS CocoaPod

pod 'onnxruntime-mobile-objc', '1.17.0'

Swift 集成示例：

import onnxruntime

let ortEnv = try ORTEnvironment()
let ortSession = try ORTSession(env: ortEnv, modelPath: modelPath, sessionOptions: nil)

let inputTensor = try ORTValue(tensorData: inputData, elementType: .float, shape: [1, 3, 224, 224])
let outputs = try ortSession.run(withInputs: ["input": inputTensor], outputNames: ["output"], runOptions: nil)

NPU 加速

• Qualcomm SNPE / QNN：ONNX Runtime 提供 Qualcomm 执行提供程序（QNN EP），在搭载 Snapdragon 芯片的设备上自动利用 Hexagon DSP 和 Adreno GPU 进行加速。QDQ 量化模型可直接映射至 DSP 的 HVX 向量指令，延迟可降低 60% 以上。
• Apple ANE：通过 CoreML 执行提供程序将 ONNX 算子映射至 ANE，需确保算子集合在 Apple Neural Engine 支持的范围内。不支持的算子会回退至 CPU 或 GPU。

---

平台对比表

对比维度	Raspberry Pi 4/5	Jetson Nano	手机端 TFLite	ONNX Runtime Mobile
算力 (TOPS)	0.1-0.2	0.5 (FP16)	1-10	1-10 (依赖设备)
功耗 (W)	5-12	5-10	2-8	2-8
推理框架	NCNN, TFLite	TensorRT	TFLite GPU Delegate	ONNX Runtime, QNN
量化支持	FP16, INT8	FP16, INT8	FP16, INT8	FP16, INT8, QDQ
部署难度	低	中	高	高
模型格式	TFLite, NCNN	TensorRT Engine	TFLite	ORT Format
离线运行	完全支持	完全支持	完全支持	完全支持
适用场景	原型验证、轻量级 IoT	工业视觉、机器人	移动 App 内置 AI	跨平台移动端应用
典型成本	300-600 元	800-1500 元	已有机型	已有机型
社区生态	非常活跃	活跃	非常活跃	活跃

---

总结

选择边缘设备 AI 部署方案需综合考量算力需求、功耗约束、开发周期和量产成本。Raspberry Pi 适合快速原型验证和轻量级 IoT 场景；Jetson Nano 面向需要 GPU 加速的工业视觉任务；手机端 TFLite 和 ONNX Runtime Mobile 则适合面向消费者的移动应用，利用现有手机硬件实现低成本规模化部署。在实际项目中，建议先在边缘设备上进行端侧推理可行性验证，再根据性能指标和精度要求逐步调整量化策略和推理框架，最终找到算力、功耗和精度之间的最优平衡点。