引言
MNN是一个深度网络移动端推理引擎,它支持端侧模型的训练和推理(当然,常用的就是推理功能了)。
- 官网地址:MNN 轻量级高性能推理引擎
- 官方文档:MNN中文文档
Github地址:alibaba/MNN
功能模块
按使用功能可以将MNN划分为以下模块:
- 训练模块
- 推理模块
- 转换模块(将其他格式模型转换成
MNN计算格式) - 预处理模块(包含常用的图像操作,包括旋转、缩放、裁剪、归一化等等。可以替代第三方图像库使用,比如
OpenCV) - 其他组件
模型推理流程
- 将
Pytorch模型转换成ONNX格式:.pt -> .onnx - 将
ONNX模型转换成MNN格式:.onnx -> .mnn - 输入图像数据,利用预处理模块进行图像操作;
- 最后输入到
MNN推理模块进行计算。