Hi3559AV100 NNIE开发（1）-RFCN(.wk)LoadModel函数参数解析

　　之后随笔将更多笔墨着重于NNIE开发系列，下文是关于Hi3359AV100 NNIE开发（1）-RFCN NNIE LoadModel函数与参数解析，通过对LoadModel函数的解析，能够很好理解.wk文件的具体内容，为方便为对其他不同模型.wk加载时如何进行修改给出参照。

　　在RFCN demo中把RFCN的.wk模型文件通过函数导出模型参数，具体如下所示：

1 static SAMPLE_SVP_NNIE_MODEL_S s_stRfcnModel = {0};2 3 HI_CHAR *pcModelName = "./data/nnie_model/detection/inst_rfcn_resnet50_cycle_352x288.wk";4 5 //函数输入参数6 SAMPLE_COMM_SVP_NNIE_LoadModel(pcModelName,&s_stRfcnModel);

　　SAMPLE_COMM_SVP_NNIE_LoadModel函数定义原型如下：

1 SAMPLE_COMM_SVP_NNIE_LoadModel(2   HI_CHAR * pszModelFile,3   SAMPLE_SVP_NNIE_MODEL_S *pstNnieModel)

　　LoadModel函数下SAMPLE_SVP_NNIE_MODEL_S参数定义：

1 typedef struct hiSAMPLE_SVP_NNIE_MODEL_S2 {3  SVP_NNIE_MODEL_S stModel;4  SVP_MEM_INFO_S  stModelBuf;//store Model file5 }SAMPLE_SVP_NNIE_MODEL_S;

　　给出SAMPLE_SVP_NNIE_MODEL_S结构体下SVP_NNIE_MODEL_S参数定义：

 1 /*NNIE model*/ 2 typedef struct hiSVP_NNIE_MODEL_S 3 { 4  SVP_NNIE_RUN_MODE_E  enRunMode;/*枚举类型，网络模型运行模式*/ 5  6  HI_U32     u32TmpBufSize; /*temp buffer size 辅助内存大小*/ 7  HI_U32     u32NetSegNum; /*网络模型中 NNIE 执行的网络分段数,取值[1,8]*/ 8  SVP_NNIE_SEG_S   astSeg[SVP_NNIE_MAX_NET_SEG_NUM];/*网络在 NNIE 引擎上执行的段信息*/ 9  SVP_NNIE_ROIPOOL_INFO_S astRoiInfo[SVP_NNIE_MAX_ROI_LAYER_NUM]; /*ROIPooling info*/10 11  SVP_MEM_INFO_S   stBase; /*网络其他信息*/12 }SVP_NNIE_MODEL_S;

　　enRunModel：为枚举类型，表示网络模型的运行模式，有SVP_NNIE_RUN_MODE_CHIP（只能在Chip上运行），以及SVP_NNIE_RUN_MODE_FUNC_SIM（只能用于PC端功能仿真）两个枚举值。可以通过打印可以看到RFCN网络模型的运行情况。

u32TempBufSize：为辅助内存大小。

u32NetSegNum：为网络模型中NNIE执行的网络分段数，取值为1~8。这里的分段是指模型执行中可能会分成多段，一些段在NNIE上执行，一些段在CPU或DSP上执行，给出图示之前，首先先给出SVP对扩展层的参考设计：

　　当网络中存在 Non-support 层时，需要将网络进行切分，不支持的部分由用户使用 CPU或者 DSP 等方式实现，统称为非 NNIE 方式。由此整个网络会出现 NNIE->非 NNIE->NNIE… 的分段执行方式。以Faster RCNN为例，具体如下图所示：

 　　u32NetSegNum就是指有多少段是在NNIE上执行的，如果一个网络模型全部都是在NNIE上执行，那么这个u32NetSegNum就是1。由上图可知FasterRCNN网络的NNIE执行分为两段，即u32NetSegNum = 2。

　　astSeg[SVP_NNIE_MAX_NET_SEG_NUM]：这个参数是一个结构体数组，SVP_NNIE_MAX_NET_SEG_NUM在hi_nnie.h中定义为8，这个数组表示每一段NNIE网络的各段的具体信息，具体信息有哪些，来看SVP_NNIE_MODEL_S结构体下SVP_NNIE_SEG_S这个结构体：

 1 /***************************************************************/ 2 /*Segment information*/ 3 typedef struct hiSVP_NNIE_SEG_S 4 { 5  SVP_NNIE_NET_TYPE_E enNetType; /*网络段的类型*/ 6  HI_U16    u16SrcNum;   /*网络段的输入节点数*/ 7  HI_U16    u16DstNum;   /*网络段的输出节点数*/ 8  HI_U16    u16RoiPoolNum; /*网络段中包含的 RoiPooling 以及 PSRoiPooling layer 数*/ 9 10  HI_U16    u16MaxStep;  /*RNN/LSTM 网络中序列的最大"帧数"*/11 12  HI_U32    u32InstOffset;13  HI_U32    u32InstLen;14 15  SVP_NNIE_NODE_S  astSrcNode[SVP_NNIE_MAX_INPUT_NUM];/*网络段的第 i 个输入节点信息， SVP_NNIE_MAX_INPUT_NUM为16*/16 17  SVP_NNIE_NODE_S  astDstNode[SVP_NNIE_MAX_OUTPUT_NUM];/*网络段的第 i 个输出节点信息， SVP_NNIE_MAX_OUTPUT_NUM为16*/18 19  HI_U32    au32RoiIdx[SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG]; /*Roipooling info index 网络段的第 i 个 RoiPooling 或者 PsRoiPooling 在SVP_NNIE_MODEL_S 中 SVP_NNIE_ROIPOOL_INFO_S 数组的下标，SVP_NNIE_MAX_ROI_LAYER_NUM_OF_SEG为2*/20 }SVP_NNIE_SEG_S;

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下enNetType参数为枚举类型，具体如下所示：

1 /*Network type 例子见后面表格 */2 typedef enum hiSVP_NNIE_NET_TYPE_E3 {4  SVP_NNIE_NET_TYPE_CNN = 0x0, /* Non-ROI input cnn net，普通的CNN\DNN网络类型 */5  SVP_NNIE_NET_TYPE_ROI = 0x1, /* With ROI input cnn net，有RPN层输出框信息的网络类型*/6  SVP_NNIE_NET_TYPE_RECURRENT = 0x2, /* RNN or LSTM net */7 8  SVP_NNIE_NET_TYPE_BUTT9 }SVP_NNIE_NET_TYPE_E;

　　包含4种类型：SVP_NNIE_NET_TYPE_CNN表示普通的的CNN网络， SVP_NNIE_NET_TYPE_ROI有RPN层输出框信息的网络类型，这里其实就是指Faster RCNN的NNIE模型中的Proposal层，这个层包含RPN输出框信息，且由CPU来执行。SVP_NNIE_NET_TYPE_RECURRENT则表示RNN循环神经网络或者LSTM长短期记忆网络。
　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下u16SrcNum：表示这个段的输入节点数，即这个段网络有多少个输入，也是后面的astSrcNode数组的元素的有效个数。

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下u16DstNum：表示这个段的输出节点数，即这个段网络有多少个输出，也是后面的astDstNode数组的元素的有效个数。

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体下astSrcNode与astDstNode：表示这个段的输入和输出节点的具体信息，其类型为SVP_NNIE_NODE_S，具体如下：

 1 /*Node information*/ 2 typedef struct hiSVP_NNIE_NODE_S 3 { 4  SVP_BLOB_TYPE_E enType; /*节点的类型*/ 5  union 6  { 7   struct 8   { 9    HI_U32 u32Width; /*节点内存形状的宽*/10    HI_U32 u32Height; /*节点内存形状的高*/11    HI_U32 u32Chn; /*节点内存形状的通道数*/12   }stWhc;13 14   HI_U32 u32Dim; /*节点内存的向量维度*/15  }unShape;16 17  HI_U32 u32NodeId; /*节点在网络中的 Id*/18  HI_CHAR szName[SVP_NNIE_NODE_NAME_LEN];/*Report layer bottom name or data layer bottom name*/19 }SVP_NNIE_NODE_S;

　　SVP_NNIE_MODEL_S结构体SVP_NNIE_SEG_S结构体SVP_NNIE_NODE_S结构体下enType是枚举类型，其类型SVP_BLOB_TYPE_E如下：

 1 /*Blob type*/ 2 typedef enum hiSVP_BLOB_TYPE_E 3 { 4  SVP_BLOB_TYPE_S32  = 0x0, /*Blob 数据元素为 S32 类型*/ 5  6  SVP_BLOB_TYPE_U8  = 0x1, /*Blob 数据元素为 U8 类型*/ 7  8  /*channel = 3*/ 9  SVP_BLOB_TYPE_YVU420SP = 0x2, /*Blob 数据内存排布为 YVU420SP*/10 11  /*channel = 3*/12  SVP_BLOB_TYPE_YVU422SP = 0x3,/*Blob 数据内存排布为 YVU422SP*/13 14  SVP_BLOB_TYPE_VEC_S32 = 0x4, /*Blob 中存储向量，每个元素为 S32 类型*/15 16  SVP_BLOB_TYPE_SEQ_S32 = 0x5,/*Blob 中存储序列，数据元素为 S32 类型*/17 18  SVP_BLOB_TYPE_BUTT19 }SVP_BLOB_TYPE_E;

　　（以Fast RCNN为例）通过打印输出SVP_NNIE_MODEL_S结构体中的astSeg，即打印两段NNIE网络信息的输入输出节点信息，具体如下：

 　　从打印的信息，我们首先看段与节点的类型，这个对于以后的分析有用，因为后面的一些初始化操作会根据不同的类型有不同的操作，如下表：

　　将以上打印与下面网络图结合，这里的节点名szName，个人的理解是，如果作为输入节点，则显示的是该层的bottom的名字，如果作为输出节点，则显示top的名字。第1段有1个输入节点，即data层的输入。输出节点的数量打印显示是4个输出，而下面的网络图中只有3个输出，即conv5, rpn_bbox_pred, rpn_cls_prob_reshape，打印显示多了一个rpn_cls_score。在RuyiStudio的网络图里rpn_cls_score是在第一段的中间，并非作为输出，为什么会把它当输出呢？玄机就在网络描述文件.prototxt里面，我们来看rpn_cls_score这一层，如下：

 1 layer { 2 name: "rpn_cls_score" 3 type: "Convolution" 4 bottom: "rpn/output" 5 top: "rpn_cls_score_report" 6  convolution_param { 7  num_output: 18 # 2(bg/fg) * 9(anchors) 8  kernel_size: 1 pad: 0 stride: 1 9  weight_filler { type: "gaussian" std: 0.01 }10  bias_filler { type: "constant" value: 0 }11  }12 }

　　这一层的top输出是rpn_cls_score_report，即rpn_cls_score加了后缀_report。在《HiSVP开发指南》的3.2.7章节，如下：

　　可以看到，中间层的top加上_report后当作该段的一个输出，因此从打印那里可以看到这一段有rpn_cls_score作为输出。

　　通过点击Ruyistudio 软件中Mark 按钮进入工具自动标记后的 Prototxt 的网络拓扑图：（以Fast RCNN为例）

 

原文转载：http://www.shaoqun.com/a/611571.html

跨境电商：https://www.ikjzd.com/

淘粉：https://www.ikjzd.com/w/1725

米兰网：https://www.ikjzd.com/w/1304.html

之后随笔将更多笔墨着重于NNIE开发系列，下文是关于Hi3359AV100NNIE开发（1）-RFCNNNIELoadModel函数与参数解析，通过对LoadModel函数的解析，能够很好理解.wk文件的具体内容，为方便为对其他不同模型.wk加载时如何进行修改给出参照。　　在RFCNdemo中把RFCN的.wk模型文件通过函数导出模型参数，具体如下所示：1staticSAMPLE_SVP_NNIE
特许金融分析师：https://www.ikjzd.com/w/1396
海鹰数据：https://www.ikjzd.com/w/2539
taofenba：https://www.ikjzd.com/w/1725
新年新气象！推荐3封适合在新年使用的销售型外贸开发信模板！：https://www.ikjzd.com/home/113680
如何通过优化快速提高广告的ROI？：https://www.ikjzd.com/home/106006
Shirley：https://www.ikjzd.com/w/1684