引言
MNN
是一个深度网络移动端推理引擎,它支持端侧模型的训练和推理(当然,常用的就是推理功能了)。
- 官网地址:MNN 轻量级高性能推理引擎
- 官方文档:MNN中文文档
Github
地址:alibaba/MNN
功能模块
按使用功能可以将MNN
划分为以下模块:
- 训练模块
- 推理模块
- 转换模块(将其他格式模型转换成
MNN
计算格式) - 预处理模块(包含常用的图像操作,包括旋转、缩放、裁剪、归一化等等。可以替代第三方图像库使用,比如
OpenCV
) - 其他组件
模型推理流程
- 将
Pytorch
模型转换成ONNX
格式:.pt -> .onnx
- 将
ONNX
模型转换成MNN
格式:.onnx -> .mnn
- 输入图像数据,利用预处理模块进行图像操作;
- 最后输入到
MNN
推理模块进行计算。