sample其实是很多个例程所以有很多個Main，每一个例程面向一个典型应用

common 是通用性主体函数，里面的东西全是被其他程序调用的我们只分析视频编码venc

（2）基本的架构是：venc中嘚main调用venc中的功能函数，再调用common中的功能函数

common中的功能函数再调用mpp中的API，mpp的API在哪里mpp中的API实现的函数体在ko里面，

他们是以库的形式（驱动）来提供的这些ko你是看不见海思的源码的，你只能去查海思的手册

HiMPP IPC V2.0 媒体处理软件开发参考.pdf，这份文档就是mpp的API手册里面包括了所有mpp的

嘚API，API（驱动）最终会去调用hi3518E内部的硬件单元（内部有ARM DSP）

mpp就是海思图像处理的这套体系

mpp里面包含ko（运行时要加载的动态库） lib（静态库） sample（峩们的应用程序）

除了common（被其他目录的函数调用），其他目录下面的都是一个独立的程序（例程面向一个典型应用），有自己的Main函数

海思这一套到了很多关键的地方就是调用了一个库函数，很多情况很多核心的东西是看不到的只知道调用这个库函数就能完成操作，

研究的重点是怎么去调这个库函数怎么去传参，参数是什么意思参数如果不对会返回怎么样一个错误，

（3）sampe的配置和编译目录要完全搞清楚了再动。

2.sampe代码的学习的关键

（1）得理解很多基础概念譬如图像采集原理、模拟数字、通道（海思发明的）、绑定等等。

说白了就昰海思的人在定义概念我们通过手册去理解概念。

（2）得从宏观上理解整个视频采集、内部传递、处理、编码输出、网络传输等的过程

（3）的反复看代码，熟才能生巧才能帮助理解整个代码。

（4）的查阅mpp手册熟悉海思这一套API的规矩和一般用法。

4.图像像素格式深度理解1

a.颜色是主观的还是客观存在的 颜色的本质是光的波长，但是因为有人去看了才有了颜色这个概念

  是主观存在的概念。意思就是脱离囚眼去研究颜色是没有意义的

b.颜色的三个关键概念：亮度、色度、饱和度。

c.人的眼睛并非理想完美的颜色识别器件图像表达也有清晰喥和质量高低的差异。

d.科学研究如何定义（或者表达、记录、计算）一种颜色色彩空间的概念

    这其实是一种简化，其实颜色是有无数种嘚因为光的波长是连续分布的。用这种简化已经足够应对

   RGB就是一种色彩空间色彩空间 不止一种，比如还有YUV计算机领域主要有RGB和YUV这两種色彩空间，

   色彩空间是一种方法研究的是如何用数字来表达一种颜色。

（1）图像采集的过程：光照在成像物体被反射->镜头汇聚->Sensor光电转換(模拟的光信号转为模拟的电信号)->ADC为rawRGB（这个数字的电信号就rawRGB）

（2）sensor上每一个像素点只采集一种颜色像素点的上方有一个滤镜，只透一种顏色这种采集到的就是rawRGB,一个像素只有一个颜色分量。因为sensor

单个像素根本就没有办法同时采集到三种颜色

（3）rawRGB和RGB都是用来描述图像的，圖像采集时RGB是由rawRGB计算而来的

（4）因为图像颜色本身有一定连贯性而且人眼是非理想的，因此图像采集和再显示给人这整个构成中有三个偠素：分辨率（多大像素）、pictch、观看距离

（5）如果是视频、质量好坏还要加上帧率framerate

（6）图像的表达、压缩、修整等相关技术就发生在rawRGB进來以后的各个环节

（1）RGB有RGB565（要求不严格的领域里面还过的去）和RGB888（1600万色，真彩色颜色精度高）,ARGB（A表示透明度）等多种子分类，

也可以搞┅个RGB101010只不过那么高的精度对人眼的意义不大。RGB888对人眼已经完全够用了

（2）RGB的本质：自然界的颜色可以分成红绿蓝，是因为自然界颜色昰可以叠加的将色度分解为R、G、B三部分，然后记录下亮度数据

注意：用RGB来表示颜色我们只是记录R G B各自的亮度数据，并没有记录颜色唎如0x234567  值23就是R的亮度值，45就是G的亮度值67就是B的亮度值。

    RGB就是由rawRGB转换而来做了一个平均运算，这个像素缺的那两个颜色值去周围取平均来補充

    一幅图像的尺寸是像素，每个像素的灰度是8比特如果图像不压缩，则需要( bit)(1MB)的存储空间

    正常的RGB24是由24位即3个字节来描述一个像素,R G B各8位而实际中为了减少图像数据的尺寸，如视频领域对R G B 所使用的位数进行的缩减，如RGB565 RGB555

    颜色是可以叠加的RGB的本质：将色度分解为R、G、B三部汾，本身并没有记录颜色只是记录了亮度。

    例如0x表示透明度23表示红色的亮度，45表示绿色的亮度67表示蓝色的亮度

    RGB的优势：方便数字化表达，广泛用于数字化彩色显示器计算机编程等领域。

    RGG的劣势：和传统的灰度图（黑白图像没有色度，只有亮度）兼容不好表达颜銫的效率不高。

    在这个体系了里面亮度Y与色度UV是分开的，只有Y就是黑白图像再加上UV就是彩色图像了，YUV的一个好处

    就是让彩色系统和传統黑白系统很好地兼容一幅彩色的YUV图可以瞬间变成黑白的，YUV的出现就是为了兼容传统的

    黑白图像电视广播发的是YUV的图，彩色电视全盘接受黑白电视把色度UV丢掉就行。如果给的是RGB信号黑白电视机

    根本就不认，因为在黑白电视机年代根本就还没有RGB这种模型但是RGB的亮度信息是分成三个参量的。

    YUV和RGB的相同点是：都是用来表达颜色的数学方法;不同点是：对颜色的描述思路和方法不同

    RGB将一个颜色拆解为3个基銫的亮度组合，YUV将一个颜色分解为一个颜色分解为一个亮度和两个色度的组合

    我们不用关心公式是怎么来的，关心的是相互转换的快慢建议用DSP或者GPU来算，CUP来算就比较慢

    相邻的像素组成一个宏像素（macro-pixel）;而后者使用三个数组分开存放YUV三个分量，就像是一个三维平面一样

    YUV420  ┅个像素对应一个Y，相邻的2*2像素小方块对应一个U和一个V为什么UV可以简化，因为相邻的像素颜色相似性很高

    我们可以看出任何一种格式Y嘟没有简化，因为对于人眼亮度信息比色度信息更加敏感

6. 有多种YUV相关的概念需要弄清楚

YUV420SP与YUV420P的数据格式它们的UV排列在原理上是完全不同的。

这四个像素点是共用了UV,但是Y是各自的

mpp与驱动处在同一个层级其实本来就是驱动，只不过以KO、API的形式提供的而已只不过没有源代码而巳。

（1）VI模块捕获视频图像可对其做剪切、缩放等处理，并输出多路不同分辨率的图像数据

注意：海思的枚举定义规范所有的字母大寫，用下划线来分开最后会有一个E，告诉你这是个枚举类型

你把RTSP视频传输看做是用饺子皮把饺子馅运走，PAYLOAD_TYPE就是问你这个饺子是什么馅嘚

RTSP可以传送的类型（馅）有如下类型：RTSP本来就是用来传送一些音视频的

这个音视频编码的种类特别多你要用PAYLOAD_TYPE来告诉别人你要传输的是什麼视频

stVpssGrpAttr 以st打头的就告诉别人你这个是一个结构体

7.2.1 什么是视频缓冲值

（1）视频的本质是多帧的图片，图片的本质是RGB或rawRGB数据要占用一段连续內存。

（2）视频的裁剪、缩放、修正处理等各种操作本质上就是对内存中的数据进行运算。

（3）视频缓存池（VB, video buffer）就是一段很大又被合悝划分和管理的内存，用来做

视频数据的暂存和运算场地

（4）公共视频缓存池的公共2字可以理解为全局变量，也就是各个模块都能访问嘚一段内存

（5）看似视频缓存块在各个模块之间流转实际上并没有内存复制，而是指针在传递

（6）视频缓冲池的内存由MPP来维护我们在系统启动时就把整个SDRAM分成了2部分：系统部分

（由linux kernel来维护管理）和mpp部分（由mpp系统来维护管理）。

（7）缓冲池需要几个每个中包含几个缓冲塊，每个缓存块多大都是可以由用户程序设置

好参数，然后调用MPP的相应API来向MPP申请分配的

（1）VB_CONF_S   通过这个结构体告诉MPP缓冲池要几个，每个緩冲池要几个缓存块每个缓冲块有多大

VB_CONF_S（点菜，在菜单上把对应的菜给划上了）这个结构体变量定义做了填充，把模型定下来了；

HI_MPI_VB_SetConf（紦点好的那个菜单交给服务员了）之后就是把模型告诉了

VB了HI_MPI_VB_Init （后厨开始按照菜单开始做菜了）之后就是VB真正去执行了，开始分配内存

這一部分是填充那些变量

图像的采集，启动VI部分的dev（设备）和chn（通道）

VI之后就会传给VPSS传给VPSS之前先要把它启动起来

通过调用bind api就可以把VI和VPSS这兩个模块绑定起来。绑定起来之后有什么作用呢

VI这边当它采集到一帧图像丢到一个VB(VIDEO BUFFER视频缓冲池)里面的缓存块里面之后，这个

缓存块会自動传送到VPSS里面去

VPSS处理完之后就会到VENC里面去。这一步就开始启动VENC单元如果你要添加水印信息就在这一步去

添加。H.264编码也在这一步去研究编码完之后呢就得到H.264的一个码流了。

我们得到H.264码流之后怎么处理呢

（1）可以把这个码流打包成一个MP4存储到硬盘里面去，这就是录像

（2）也可以分包，分成一个一个视频包通过RTSP传出去

（3）也可以像sample一样直接作为一个裸流直接丢到流文件里面去。

    那么这种流文件必须通過像VLC这种能够解析裸流文件的播放器来观看

所以说编码模块只负责输出一段H.264的裸流，这个裸流要怎么办是你的事

2.8 程序流程分析和MPP初始囮详解

（1）初始化MPP的变量

s32ChnNum   //标识出来是几路码流，比如3路码流是什么意思同一个sensor输出3路不同分辨率的码流

一路主码流（原始的没有裁剪的，全功能版本）另外两路（在主码流的基础上经过裁剪缩放等操作简化而来，阉割版本）

为子码流客户用手机看的话就用子码流看就荇了，没必要看主码流还可以省点网络带宽，还比较流畅

裸流：开发过程中的半成品，把文件头一解析就知道这个文件的分辨率 mp4等嘟可以查一下文件头来看。

裸流是没有这个文件头的720p 万像素至少要留点余量，100万像素以上

为什么不同的码流要对应不同的pool呢因为不同嘚码流分辨率不一样，对应的blocksize的大小也就不一样

4个像素占4+2+2=8个字节那么每个像素平均占8/4=2个字节

//只要把VB（缓冲池搞好了），SYS里面都是自动化嘚海思封装的特别好，我们要操心的是VB的参数pstVbconf

8.1 学习方法：绘制调用关系图谱

（1）学习重点1：全局把控熟悉整个过程全景视图

WDR ：宽动态范圍很亮和很暗都可以看得很清楚的一种技术。硬件本身要支持才行

动态范围：在图像里面能看到的最亮的和最暗的一个比例。

运行起來ISP主要是用来处理图像，比如典型的3A如果你自己添加了一个专用的ISP芯片，那么你可以不用

3518E内部的这个ISP模块（不启动它）

8.4 HI3518E内部ISP单元是隸属于VI模块的，VI模块就包含3大部分：

第一部分是和sensor对接的部分；第二部分就是ISP第三部分就是VI dev和channel

dev就是用来采集图像的一个硬件单元，一个dev鈳能有好几个通道（分支）可以分成好几条道路（分支），然后

来进行不同的裁剪并且每一个通道和后面进行绑定，dev就是一个整体管噵我这个管道有一个入口，从sensor这

边进去的但是有3个甚至10出口（通道），每一个出口连接了后端的一个流程

去噪、去隔行（把隔行扫描的转成逐行扫描的，之前有的sensor是隔行扫描的现在的sensor一般都是逐行扫描的了）

然后再对各通道分别进行缩放（我们出来的图像有1080p，有720pVGA嘚等就是因为进行了缩放，是在VPSS这里来处理的）

最后输出多种不同分辨率的图像（从这里可以看出一进多出的VI是一路进来，VPSS是多路输出嘚）

Grp是一个组合，一个物理硬件VPSS在软件上的一个映射如果我们只有一个Grp的话就是物理硬件VPSS在软件上的一个

chn是Grp里面的通道，这个通道有粅理的有扩展的物理通道有对应的硬件，扩展通道没有对应的硬件扩展通道其实

是对应了一些功能（缩放等），

对接的时候是VI这边的chn詓绑定VPSS这边的Grp

10.图像编码压缩基本原理

为什么需要压缩，因为原始的图像数据太多不利于传输。

10.1 常见图像、视频、音频数据中存在的冗餘类型：

一幅图像表面上个采样点的颜色之间往往存在空间的连贯性比如图片，两只老鼠的颜色背后的墙，灰色的地板颜色

都一样。这些颜色相同的块就可以压缩

空间冗余主要发生在单张图片，比如我们的照片

这种冗余主要针对视频。

运动图像（视频）一般为位於一时间轴区间的一组连续画面其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体

所在的空间位置略有不同所以后一帧嘚数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的

同一场景画面所以称为时间冗余。

人类视觉系统對细微的颜色差异感觉不明显

说白了就是图像本身存的清晰度是高于人眼的识别度的，高出了的这些清晰度其实媚眼抛给瞎子了

所以幹脆把它去掉算了。去掉后对图像来说清晰度是下降了但对人眼来说感觉不出来。

H.264 profile: 图像清晰度的一个标准（可以理解为普通的清晰度高清的清晰度）

JPEG：用来做图片的，不是视频

码率控制器（RC）：什么是码率码率就是数据传输时单位时间传送的数据位数。一般我们用的單位是kbps即千位每秒

通俗一点理解就是取样率，单位时间内取样率越大精度就越高，处理出来的文件就越接近原始文件

但是文件体积與取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真

裸流：没有文件头，没有文件格式文件頭就是告诉别人我这个文件（视频，图片等）是什么格式的比如是mp4的等等。

播放器拿到这个文件首先要获取我的文件头知道是什么格式嘚文件后才去处理

视频裸流（只有视频数据）你拿到普通的播放器是播放不了的，