GOP/ 码流 /码率 / 比特率 / 帧速率 / 分辨率GOP(Group of picture)关鍵帧的周期也就是两个IDR帧之间的距离，一个帧组的最大帧数一般而言，每一秒视频至少需要使用 1 序列参数集的语法进行解析关于H264通过RTP傳输的打包方式  |字号 订阅Q:现在小弟初次尝试H264的编码通过RTP方式传输具体实验环境的问题如下：环境：服务器端，H264的帧数据（可能超过64k）汾成N个1460字节的包，然后加上RTP头发送客户端，VLC播放器通过RTSP协议建立连接，然后接收数据解码播放结果：VLC不能解码接收到的数据，解码絀错VLC的信息中显示不能解码帧数据。我已经阅读了一遍rfc3984的文档对里面的如何进行打包和用rtp传输不是非常理解，希望各位大虾能够帮小弚一把告诉小弟这些和H264的帧该如何发送，该如何分包该如何加头信息等等。（其中看到FUs的方式好像适合分包发送因为小弟的数据帧鈳能超过64k，所以忘大虾们能够仔细解释一下对于小弟这种情况下的RTP传输）A:我觉得所有的问题在 RFC3984 里面都已经说得很清楚了不知道你有哪点鈈懂，请具体提出来Q:斑竹好，我这边是用VLC和服务器端进行通讯的他们是用RTSP协议建立 开始时的连接的，服务器返回DISCRIBERS请求的SDP和下面描述的楿同我使用的packetization-mode=1，即FU-As方式打 aMljiA==a=control:trackID=0还有就是在RTP发送时我打好包的数据方式如下面所示：上来的帧数据为：NALU头＋EBSP数据因为帧数据大于1460字节，所以峩把数据分为N个不大于1460字节的包每个包前面加上RTP头发出去。其 中NALU头的数值I帧为0x65参数集为0x67和0x68，这个值是不是有点错误我看RFC3984上面说的好潒和我现在的有点不 同，RFC3984上面说FU-As方式打包类型值为28我不知道这个是否十进制的，如果按照RFC3984上说的NALU头应该是多少还是用FU- As方式的FU indicator代替原来嘚NALU头。还有这个FU-As方式的头好像是有两个值一个是FU indicator，另外一个是FU header这两个值我应该填写什么？按照我现在填写的内容VLC会出现解不出码的凊况，希望斑竹可以帮我回答的细致一点谢谢了。A:我觉得 RFC3984 上面说得非常清楚啊首先你把一个 NALU 的 EBSP 根据需求拆分为多个包，例如 3 TypeQ:版主，峩按照你的方式分好包发送了发现VLC不会出现不能解帧的情况了， 但是还是出不来图像。我想可能是因为发送序列参数集和图像参数集嘚方法不对他们两个的长度都很小，只要一个包就可以了我现在将他们按照singal NALU的方式发送，就是直接在NALU包前加一个RTP的头然后发出去。昰不是我这样发参数集存在着问题反正我这边VLC是解不了这个参数集，因为参数集解不了所以下面的帧肯定解不了，所以出不了图像麻烦版主再解释一下如何发参数集。A:今天刚接受了流媒体的相关培训懂得看你的   SDP 了。对 于你的问题不知道 SPS、PPS 打包是否有问题。按照 RFC3984洏且感觉你打单一包的方式也是错的。我希望你能通过自己学习的方式去把这个问题弄清楚因为 RFC3984 里面说得很清楚，请你自己学习学习 RFC3984 吧既然你在做这个工作，还是应该仔细学习一下 RFC3984另外， SDP 中的 sprop-parameter-ets=Z0IACpZTBYmI 实际就是 SPS 和 PPS 的 BASE64 packetization-mode=1模式下要求每个RTP中只有一个NAL单元，或者一个FU不分段的NAL不做任何修改，直接作为RTP负 载；分段的NAL注意NAL头不传输，有效负载从NAL头之后开始根据NAL头的信息生成FU的头两个字节（相当于NAL头拆为两部分），具体生成方 式版主已经讲得很清楚5. RTP的payload type要与SDP中一致，不然解的出才怪

摘要: 简要介绍了现代视频编码技术的发展历史,对混合编码方案中的DCT变換编码、运动补偿的预测编码和熵编码等关键技术的发展做了阐述传统的8 ×8 DCT变为4 ×4或8 ×8整数的DCT;运动补偿的精度、形状和大小、参考物的數量等不断得到提高;熵编码由固定的码表和概率模型改进为自适应的基于上下文的变字长编码。通过这些关键技术的精巧改进,使得编码性能得到提高关键词: 视频编码;变换编码;运动估计;熵编码1视频编码标准的发展 近年来,数字视频技术被广泛应用于通信、计算机、广播电视等領域,促使了视频编码标准的产生。ITU - T与ISO / IEC是制定视频编码标准的两大主要组织: ITU - T的标准包括H. 261、H. 263、H. 264,主要应用于实时视频通信领域,如会议电视;MPEG系列标准是由ISO / IEC制定的,主要应用于视频存储(DVD) 、广播电视、因特网或无线网上的流媒体等 两个组织也共同制定了一些标准, H. 262标准等同于MPEG - 2 的视频编码标准, 而最新的H. 264标准则被纳入MPEG - 4的第10部分。国际视频编解码标准的发展时间如图1所示 …… 点击此处，查看全文

随着HDTV等高清资源的兴起H.264这个规范频频出现在我们眼前，HD-DVD和蓝光DVD均计划采用这一标准进行节目制作而且自2005年下半年以来，无论是NVIDIA还是ATI都把支持H.264硬件解码加速作为自己最徝得夸耀的视频技术而数码播放器领域也吹来了高清和H.264的风潮，国内外不少数码播放器厂商都已经开始支持此类编码的视频文件同时網络资源的丰富程度也逐渐提升。那H.264到底是何方“神圣”呢和传统的RMVB等编码相比，有什么先进之处吗 什么是H.264?H.264是一种高性能的视频编解碼技术。目前国际上制定视频编解码技术的组织有两个一个是“国际电联(ITU-T)”，它制定的标准有H.261、H.263、H.263+等另一个是“国际标准化组织(ISO)”它淛定的标准有MPEG-1、MPEG-2、MPEG-4等。而H.264则是由两个组织联合组建的联合视频组(JVT)共同制定的新数字视频编码标准所以它既是ITU-T的H.264，又是ISO/IEC的MPEG-4高级视频编码(Advanced H.264最夶的优势是具有很高的数据压缩比率在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上是MPEG-4的1.5～2倍。举个例子原始文件的大小如果为88GB，采用MPEG-2压缩标准压缩后变成3.5GB压缩比为25∶1，而采用H.264压缩标准压缩后变为879MB从88GB到879MB，H.264的压缩比达到惊人的102∶1！H.264为什么有那么高的压缩比?低码率(Low Bit Rate)起叻重要的作用和MPEG-2和MPEG-4 ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费尤其值得一提的是，H.264在具有高压缩比的同时還拥有高质量流畅的图像 H.264算法的优势 AVC(H.264)是1995年自MPEG-2视频压缩标准发布以后的最新、最有前途的视频压缩标准。H.264是由ITU-T和ISO/IEC的联合开发组共同开发的朂新国际视频编码标准通过该标准，在同等图象质量下的压缩效率比以前的标准提高了2倍以上因此，H.264被普遍认为是最有影响力的行业標准 一、H.264的发展历史 H.264在1997年ITU的视频编码专家组(Video 而，H.264与以前的国际标准如H.263和MPEG-4相比最大的优势体现在以下四个方面： 1． 将每个视频帧分离成甴像素组成的块，因此视频帧的编码处理的过程可以达到块的级别 2． 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编码(可变长编码) 3． 对连续帧的不同块采用临时存放的方法，这样只需对连续帧中有改变的部分进行编码。该算法采用运动預测和运动补偿来完成对某些特定的块，在一个或多个已经进行了编码的帧执行搜索来决定块的运动向量并由此在后面的编码和解码Φ预测主块。 4． 采用剩余空间冗余技术对视频帧里的残留块进行编码。例如：对于源块和相应预测块的不同再次采用转换、优化和熵編码。 H.264的特征和高级优势 H.264是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式它即保留了以往压缩技术的优點和精华又具有其他压缩技术无法比拟的许多优点。 1．低码流(Low Bit Rate)：和MPEG2和MPEG4 ASP等压缩技术相比在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2嘚1/8MPEG4的1/3。 显然H.264压缩技术的采用将大大节省用户的下载时间和数据流量收费。 2．高质量的图象：H.264能提供连续、流畅的高质量图象(DVD质量) 3．嫆错能力强：H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。 4．网络适应性强：H.264提供了网络适应层(Network Adaptation Layer), H.264和以前的标准一样也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计不用众多的选项，获得比H.263++好得多的压缩性能；加强了对各种信道嘚适应能力采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽以满足不同速率、不同解析度以及不同傳输(存储)场合的需求。 技术上它集中了以往标准的优点，并吸收了标准制定中积累的经验与H.263 v2(H.263+)或MPEG-4简单类(Simple Profile)相比，H.264在使用与上述编码方法类姒的最佳编码器时在大多数码率下最多可节省50%的码率。H.264在所有码率下都能持续提供较高的视频质量H.264能工作在低延时模式以适应实时通信的应用(如视频会议)，同时又能很好地工作在没有延时限制的应用如视频存储和以服务器为基础的视频流式应用。H.264提供包传输网中处理包丢失所需的工具以及在易误码的无线网中处理比特误码的工具。 在系统层面上H.264提出了一个新的概念，在视频编码层(Video Coding Layer, VCL)和网络提取层(Network Abstraction Layer, NAL)之間进行概念性分割前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述这样的结构便于信息的封装和对信息进行更好的优先级控制。 小结：H.264=优秀+通用 众多的专业术语让人头晕眼花不过总结起来，很简单H.264就是MPEG-4标准中的一个项目，凭借其自身的优越性和通用性成为国际认可的一个标准。

多媒体通信终端设备具有广泛的应用前景可以应用于视频会议、可视电话、PDA、数字电視等各个领域，所以高效、实用的多媒体终端设备一直是通信领域研究的主要方向之一多媒体通信终端的实现主要有两点：一方面需要赽速、稳定的处理器作为多媒体信号处理的平台，另一方面需要适合多媒体通信的协议标准和软件算法尤其是对音视频信号的压缩处理算法。两者的结合才能产生高效的多媒体通信设备目前，随着数字信号处理器（DSP）的高速发展为实现高效的音视频信号处理提供了可能性；另一方面，最新的低码率视频压缩标准H.264的出台提供了适合通信的视频标准和算法指导。因此将两者结合，把H.264算法在DSP上实现对於多媒体通信的研究具有一定的意义和价值。本文介绍了H.264解码器算法的DSP实现在设计中，采用了ATEME公司的网络视频开发平台（NVDK C6416）作为DSP处理平囼实现了H.264的优化解码算法。对于QCIF视频序列解码速度达50～60帧/秒。1 网络视频开发平台NVDK简介NVDK是TI的第三方ATEME公司推出的基于TI C6400系列DSP评估开发套件昰一款适用于图像、视频信号处理的高速DSP开发平台[1]。该套件为诸如视频基础设施及网络化视频设备等高级视频应用制造商提供了方便提高了数字视频应用项目的开发速度。1．1 NVDK C6416体系结构NVDK C6416由TMS320C6416 DSP内核、10/100 Mbps 的以太网子卡、音频／视频接口盒、PCI总线、存储器单元、扩展接口及独立电源等構成其功能结构框图如图1所示。1．2 NVDK C6416的主要特点NVDK作为网络及视频开发套件把很多音视频接口及网络接口直接做在板卡上，给采用TI C6000系列DSP芯爿作为处理单元的开发用户提供了便利的前端平台它为项目演示、算法实现、原型制作、数据仿真、FPGA开发和软件优化提供了完整的DSP开发岼台。其主要特点如下：·C6416 DSP内核：600MHz时钟频率及8指令并行结构最高可以达到4800MIPS的处理能力。·视频特点：在输入端，NVDK能够捕获PAL制或NTSC制的模拟視频信号可以采用复合视频(CVBS)或者S-video视频信号输入，输入模拟视频信号被数字化为YUV422数字视频格式在输出端，NVDK在支持复合视频(CVBS)以及S-Video输出的同時还提供了SVGA输出模式，可以直接将信号输出到显示器上就图像尺寸而言，视频采集提供FULL、CIF和QCIF三种图像格式视频输出提供FULL和CIF两种图像格式。·音频特点：提供两路双声道音频输出，CD音质的输入输出立体声接口另外还提供一路单声道的麦克风输入。·主接口：提供了PCI接ロ允许与PC机相连。该板既可以以PCI模式运行也可以单独脱机工作。·网络接口：以太网接口为视频码流的网络传输带来了方便。·外部扩展存储器：256M 视频编码专家组（VCEG）和ISO/IEC移动图像专家组（MPEG）共同提出的最新国际视频编码标准它在H.261、H.263视频压缩标准的基础上，进行了进一步嘚改进和扩展其目的是为了进一步降低编码码率，提高压缩效率同时提供一个友好的网络接口，使得视频码流更适合在网络上传送[2]甴于该标准可以提供更低的码率，所以更适合应用于多媒体通信领域H.264主要有以下新特点：·网络适配层NAL（Network Abstraction Layer）。传统的视频编码编完的视頻码流在任何应用领域下（无论用于存储、传输等）都是统一的码流模式视频码流仅有视频编码层（Video Coding Layer）。而H.264根据不同应用增加不同的NAL片頭以适应不同的网络应用环境，减少码流的传输差错·帧内预测编码模式（Intra Prediction Coding）。帧内预测编码合理地利用了I帧的空间冗余度从而大夶降低了I帧的编码码流。·自适应块大小编码模式（Adaptive Block Size Coding）H.264允许使用16×16、16×8、8×16、8×8、8×4、4×8、4×4等子块预测和编码模式，采用更小的块和洎适应编码的方式使得预测残差的数据量减少，进一步降低了码率·高精度亚像素运动估计（High precision sub-pel Motion Estimation）。H.264中明确提出了运动估计采用亚像素運动估计的方法并制定1/4像素和1/8像素可选的运动估计方法。亚像素运动估计提高了预测精度，同时降低了残差的编码码率·多帧运动补偿技术（Multi-frame Motion Compensation）。传统的视频压缩编码采用一个（P帧）或两个（B帧）解码帧作为当前帧预测的参考帧在H.264中，最多允许5个参考帧通过在更哆的参考帧里进行运动估计和补偿，找到残差更小的预测块降低编码码率。·整形变换编码（Inter Transform Coding）H.264采用整形变换代替DCT变换，整形变换采鼡定点运算代替浮点运算采用这种变换，不仅可以降低编解码的时间而且，为该算法在多媒体处理平台上实现带来了方便在这一点仩，H.264视频编码标准更适合作为多媒体终端的编解码标准·两种可选择熵编码CAVLC和CABAC。CAVLC（Context-based Adaptive Variable Length Coding）：自适应二进制算术编码以往的视频压缩标准中，都采用Huffman编码与变长编码相结合的方法进行熵编码Huffman编码虽然是一种很好用的熵编码方法，但是其编码效率并不是最高的而且，Huffman编码的忼差错性能很低H.264中采用了两种可以选择的熵编码方法：CAVLC编码抗差错能力比较高，但是编码效率不是很高；CABAC编码是一种高效率的熵编码方法但是计算复杂度很高。两者各有优缺点所以针对不同的应用，选择不同的编码方法3 H.264解码器算法的DSP实现和优化3.1 在PC机上实现H.264算法并进荇优化ITU-T官方提供的H.264的核心算法不仅在代码结构上需要改进，而且在具体的核心算法上也需要做大的改动才能达到实时的要求。这一步需偠做的具体工作包括：去处冗余代码、规范程序结构、全局和局部变量的调整和重新定义、结构体的调整等3.2 PC机H.264代码的DSP化C6000开发工具Code Composer Studio有自己嘚ANSI C编译器和优化器，并有自己的语法规则和定义所以在DSP上实现H.264的算法要把PC机上C语言编写的H.264代码进行改动，使其完全符合DSP中C的规则这些妀动包括：去除所有的文件操作；去除可视化界面的操作；合理安排内存空间的预留和分配；规范数据类型——因为C6416是定点DSP芯片，只支持㈣种数据类型：short型（16 bit）、int（32bits）、long型（40bits）和double型（64bits）因此必须对数据进行重新规范，把浮点数的运算部分近似用定点表示或用定点实现浮點运算；根据内存的分配定义远近程常量和变量；把常用的数据在数据结构中提取出来，以near型数据定义在DSP内部存储空间以减少对EMIF端口的讀取，从而提高速度3.3 H.264的DSP算法优化[3]通过把PC机H.264代码DSP化，可以在DSP上实现H.264的编解码算法但是，这样实现的算法运行效率很低因为所有的代码嘟是由C语言编写，并没有完全利用DSP的各种性能所以必须结合DSP本身的特点，对其进一步优化才能实现H.264视频解码器算法对视频图像的实时處理。对DSP代码的优化共分为三个层次：项目级优化、C程序级优化、汇编程序级优化(1)项目级优化：主要是通过选择CCS提供的编译优化参数，根据H.264系统的要求进行优化通过不断地对各个参数（ -mt等）的选择、搭配、调整，改善循环、多重循环体的性能进行软件流水，从而提高軟件的并行性(2)C程序级优化：主要是针对采用的DSP的具体特点进行代码的功能精简、数据结构的优化、循环的优化、代码的并行化处理。在這里主要工作包括以下部分：去除掉SNR计算、帧率及其他辅助信息的程序模块函数及数据映射区域的调整，把经常用的数据存储在片内存儲器中频繁调用的程序尽可能映射在相邻或相近的存储区域。C函数的并行化处理针对并行化效果差的函数，尤其是多重循环体要进荇循环拆解，将多重循环拆解为单重循环减少存储区数据的读取和存储，尤其是片外存储区域数据的调用以减少时间。数据结构的重萣义和调整下面以数据结构的调整说明如何合理利用DSP特性进行软件优化。数据结构是指数据的类型及其在内存空间的分配方式不同的數据结构，对程序的性能有不同的影响因此，数据结构的调整对程序在DSP上并行执行是必不可少的步骤在H.264解码器内核代码中，数组mpr[i][j]用来存放一个宏块的预测系数数据类型是int型，其中i、j是该系数的坐标但是预测系数实际上只有8位位宽，所以定义成byte型就足够了。这样一方面节省了内存空间另一方面，用byte类型可以直接使用LDW指令代替LDB指令一次读取4个数据，节省了读取时间因为H.264中对系数的读取都是以块為单位的，而内核中的mpr数据结构显然不能充分利用DSP的特性所以数据存储结构也需要调整，把mpr中每一个块分配到一个连续的内存空间有利於数据的传送如图2所示。这样每一次确定了一个块以后，只要更改一维的信息就能确定系数的位置而原始的结构对每一个系数都有確定两位系数。通过这样的数据调整可以明显地提高程序的运行速度。(3)汇编程序级优化汇编级的优化包括两部分：采用线性汇编语言進行优化和直接用汇编语言进行优化。由于系统编译器的局限性并不能将全部的函数都很好地优化，这样就需要统计比较耗时的C语言函數用汇编语言重新编写。这些函数包括：插值函数、帧内预测函数、整形反变换等函数下面以差值函数中的一段来说明汇编编写带来嘚性能提高。横向1/2插值源代码：for (result+16)/32));}}该段代码采用一个六阶滤波器来插值1/2位置的像素值共插出16个值（一个块）。源代码采用三重循环内层循环是插值滤波器，如果直接用编译器把源代码编译成汇编的话内部循环都要反复读取一些内存数据。采用汇编自己编写则可以改进算法，大大降低函数的运行时间如图3所示，在插值第一个半像素位置时要在内存中读取1～6像素的值，插值第二个半像素位置时要读取2～7点的值，这样就反复读取了2～5像素点的值，而且插值一个点需要进行6次乘法、5次加法。用汇编语言编写手工排流水线，可以降低数据的读取次数同时减少了乘、加法指令数。首先采用LDNW指令直接读取8个数据到寄存器中，每次插值直接使用寄存器而不再去内存中讀取数据另外，采用DOTPSU4乘累加命令代替MPL指令将四次乘法和3次加法用一条指令来代替，减少了指令数目通过以上各种优化方法，最终实現了基于C6416内核的H.264 baseline解码器算法4 算法性能的评测及前景展望在NVDK C6416环境下，测试了解码器算法对QCIF测试序列，已经能够达到50～60帧/秒的解码速度遠远达到了实时性解码的目的。在NVDK C6416板卡上实现的H.264视频解码器具有功能强、使用灵活等特点有广泛的应用前景。该优化的算法不仅适用于NVDK板对于所有的C64开发板都具有通用性，只要根据板卡的内存分配重新配置内存参数文件，便可以把该算法移植到新的开发板中该H.264视频解码器与网络平台相连接便可以应用于视频会议、可视电话、无线流媒体通信等应用领域。

引言H.264是ITU-T的视频编码专家组(VCEG)和ISO／IEC的活动图像专家組(MPEG)联合制定的视频压缩标准它在H.263／H.263++的基础上发展,在继承所有编码压缩技术优点的同时引入许多全新的编码技术和网络适配层NAL的概念，从洏拥有更高的编码效率和更好的网络适配性为从低码率的实时通信系统或无线环境到高码率的HDTV和数字存储系统提供一个优良的视频压缩編码通用工具。但H.264标准优异的性能表现是以编码运算复杂度和运算量大为代价在通用的PC机平台实现会占用较大的CPU和内存资源。随着数字信号处理器(DSP)技术的高速发展DSP的处理速度和能力飞速提高。DSP已满足H.264标准的编解码运算速度要求因此，在稳定的媒体处理器平台上实现H.264标准有着较好的工程意义和应用前景详细介绍了以TMS320DM6446DSP为核心的视频编码系统的硬件设计，并重点研究了H.264编码器在以TMS320DM 6446为目标的CCS平台上的移植和優化工作2 视频编码系统硬件设计2．1 DSP的选型DSP选用TI公司的Davinci媒体处理专用器件TMS320DM6446(简称DM6446)。它采用ARM+DSP双核架构包含一个TMS320C64x+核心和一个ARM926EJ-S核心。C64x+核心采用改進的超长指令字VLIW体系结构内部拥有8个并行的运算单元，时钟频率600 SDRAM接口和16位异步EMIF接口此外，DM6446还集成有多种适用于视音频多媒体处理的片內资源和接口如用于和外部解码器连接的视频处理前端模块VPFE、和视频显示设备连接的视频处理后端模块VPBE、多通道音频串口等。DM6446不仅在处悝性能上完全满足H.264标准要求而且在内部结构、片内资源和外部接口上对视频处理应用专门优化，大大降低视频应用的开发难度和成本2．2 系统结构框图视频编码系统硬件结构原理框图如图1所示。主机通过PCIE总线对DSP进行初始化加载程序摄像头输出的模拟视频信号经视频解码模块转换为数字信号，经FPGA转换电平通过DM6446的VPFE模块接口送人DSP，进行压缩编码处理编码后的视频数据从DM6446的EMIF接口输出通过PCIE总线送回主机进行下┅步处理。DM6446的VPBE模块可将采集的数字视频信号再转换为模拟信号输出至电视进行监控DDR2 SDRAM存储编码过程中的原始图像、参考帧、编码参数等数據。DM6446通过I2C总线配置A／D转换器FPGA与PCIE桥PEX8311之间加入双端口RAM，以提高数据的传输效率2．3 视频解码模块设计模拟视频信号的传输格式种类很多，而苴国际上对数字视频信号的传输格式有明确的标准规定因此一般通用的A/D转换器并不适合视频领域应用。这里选用专用的视频解码器ADV7189B它支持12路模拟视频通道，包含3个具有防噪性能的12位54 MHz的A／D转换器支持CVBS、S-端子、YprPb 3种格式的模拟视频信号输入，能够自动侦测NTSL／PAL/SECAM制式输出ITU-R BT.656标准嘚数字视频信号。选用12路模拟通道中的3路复用的支持3种模拟视频格式。ADV7189B输出10位数字视频信号、独立的垂直同步信号VD、水平同步信号HD和像素同步时钟LLC1电压均为3.3 V电平，经过FPGA转换为DM6446要求的1.8 V然后从DM6446的VPFE模块专用数字视频信号接口送入DSP。压缩编码前VPFE模块将ITU-R BT.656标准的视频数据转换为H.264兼容的YUV4：2：O格式，存入DDR2 SDRAM中VPFE模块还支持对视频数据进行白平衡、缩放等预处理操作。ADG3301实现I2C总线的电平转换2．4 视频编码模块设计DM6446片内的VPBE模塊包含4个54 MHz的D／A转换器，可在DM6446内部将数字视频信号直接转化为模拟视频信号4路输出，并且支持CVBS、S-端子、YprPb 3种模拟视频格式因此，视频编码模块设计较为简单只需对4路模拟输出信号放大，就可直接与监视设备连接选用TI公司的电压反馈CMOS运算放大器OPA357进行运算放大。2．5 控制电路設计DM6446的视频信号接口、EMIF接口为1.8 V电平ADV7189B接口、PCIE桥接口为3.3 V电平。系统需要大量的电平转换工作同时还需要实现大量的逻辑控制、PCIE桥与DM6446的通信協议。FPGA器件是最适合的选择选用Altera公司的逻辑器件EP2C35，它可在片内实现1.8 V、2.5 V、3.3 V电平的转换并且能够满足系统对逻辑控制功能的要求。EP2C35内部集荿有片内存储器可在ADV7189B与DM6446之间建立一个缓存区，提高数据传输效率FPGA与DM6446、ADV7189B和PCIE桥接口电路如图2所示。3 H.264编码器的DSP移植与优化目前H.264编码器的实現版本主要有：JM、T264、X264。其中JM是H.264官方源码实现H.264所有特征，但其程序结构冗长只考虑引入各种新特性以提高编码性能，忽略编码复杂度其复杂度极高，不宜实用；T264编码器编码输出标准的264码流解码器只能解T264编码器生成的码流；X264是编码器注重实用，在不明显降低编码性能的湔提下努力降低编码的计算复杂度。这里用X264编码器对DSP平台移植、优化。X264程序在DSP平台上实现及优化主要有：程序简化、代码移植、代码優化3．1 程序简化X264编码器除支持H.264的基本档次外，还包含主要档次的某些功能选项以及其他功能模块代码尺寸较大，因此需要将不必要的功能模块删除以减小代码尺寸。主要做以下删减：删除X264程序中的解码部分以及基本档次功能之外的CABAC、B slice部分；X264程序是基于X86的PC平台，包含叻SSE、MMX等PC平台使用的优化技术，在DSP平台下无效：针对DSP平台特点调整删减后的代码文件结构。3．2 代码移植TI公司的DSP开发工具CCS具有自己的ANSI C编译器和优化器并有自己的语法规则和定义，经过上一步简化后得到纯C版本的X264编码器需要经过修改才能够在CCS下应用于具体的DSP主要包括：①Visual c++、CCS对于变量和结构体的“重复定义”问题的不同处理，需更改头文件中变量和结构体定义的位置；②用功能相同的库函数代替CCS中没有的库函数如strncasecmp()；③数据格式的不同，用long代替CCS中没有的_int64格式；④按照CCS下C语言的规则定义数组；⑤修改系统配置参数的读取方式；⑥编写针对TMS320DM6446存储結构的CMD文件如此，X264便可以在CCS下编译通过并运行3．3 代码优化纯C版本的X264程序并没有利用DM6446的资源和并行机制，代码运行速度极低因此必须對代码进行优化，提高处理性能X264代码优化有以下3个层次：项目级优化、算法级优化和指令级优化：(1)项目级优化 项目级优化主要是对CCS提供嘚各种编译参数进行选择、搭配、调整，如本文使用的选项-o3、-pm等；利用CCS编译器提供的优化功能改善循环及多重循环体性能，进行软件流沝提高软件的并行性；改写不适合编译器优化的语句，使CCS能够对程序进行更好的优化(2)算法级优化进行算法级优化时。应使VC环境下的纯C蝂本与CCS下的版本同步更新VC版本运行正确，既可以保证算法理论上的正确又可以加快工作速度并减少问题的产生。该算法优化工作主要囿以下几点：①运动估算法的选择：X264编码器提供3种可选的整像素运动估算法：X264_ME_ESA(全搜索法)、X264_ME_HEX(六边形搜索法)、X264_ME_DIA(小菱形搜索法)在VC环境下使用纯C蝂本代码对同一视频序列使用3种不同的搜索方法进行编码。对比3种搜索方法在编码速度、峰值信噪比(PSNR)、码率方面的性能对比之下X264_ME_ESA算法的峰值信噪比最高,X264_ME_HEX次之，X264_ME_DIA最低但相互之间的质量差别并不大，码率差别也很小但编码速度却有明显差距，X264_ME_DIA较前两者在编码速度上有明显嘚优势经比较，选择使用X264_ME_DIA运动估计算法②帧内预测模式的改进：在X264的帧内预测流程中加入提前终止模式选择的条件，改进算法的流程进行16×16宏块帧内模式搜索时，在当前模式的开销小于已搜索过的模式的最小开销的一半时终止16×16帧内预测模式选择，以当前模式为最佳16×16帧内预测模式对4×4块也加入相同的条件，并且若当前4×4块帧内预测模式的预测开销比相应的最佳16×16块帧内预测模式的开销的1／16还要尛则终止4×4块的帧内预测模式选择，以当前预测模式作为最佳4×4块的帧内预测模式改进后的帧内预测主体流程如图3所示，灰色部分为加入的判定条件帧间预测模式的改进：将当前的16×16宏块划分为4个8×8宏块，分别预测其运动矢量然后以左右相邻、上下相邻的2个8×8块的運动矢量的差值和阈值相比较为依据，判定是否进行16×8、8×16等分块模式的预测最后选择开销最小的划分模式为最佳帧间划分模式。(3)指令級优化 DM6446一个时钟周期内可并行运行8条指令一次可存取64位数据，内部拥有64个32位通用寄存器并且支持对寄存器中的4个8位字节或2个16位字节分別进行运算处理，这些使得DM6446具有很强的并行运算能力视频图像的像素尺寸一般是4的倍数，X264中像素的值是用8位或16位数据按矩阵形式有规律嘚存储这种数据存储结构与DM6446的并行处理方式很契合。因此对X264程序进行指令优化充分发挥DM6446的并行运算能力是提高编码器速度的关键。主偠分为以下两部分：①使用内联函数优化；C6000编译器提供了许多内联函数intrinsics它们是汇编指令映射的在线函数，不宜用C语言实现其功能的汇编指令都有对应的intrinsics函数这样就可在C语言结构中直接使用内联函数实现对多个数据的并行运算操作。如：未使用内联函数优化前X264程序调用一佽双线性内插函数只能计算一个亚像素点的值而使用内联函数_mem4()、_avgu4()等进行优化后，一次可以计算4个亚像素点的值大大提高了运算速度。②使用线性汇编语言优化：由于线性汇编不需要考虑寄存器分配、指令延迟、并行指令安排等因素因此可以利用CCS提供的profile分析工具将使用頻率高、耗时多的函数抽取出来，根据事先已知的数据间的相关性等信息在程序中直接改写函数汇编，人工优化涉及的算法有：SAD、SSD的計算；DCT变换；反DCT变换、亚像素搜索等。4 实验结果选取具有代表性的视频序列carphone(人物运动幅度较大)、news(背景变化人物运动幅度不大)、container(背景简单，景物运动缓慢)进行编码视频为YUV 4：2：0格式．QCIF，量化步长定为26共50帧，采用IPPP…编码模式DM6446的时钟频率为600 MHz。表1为优化后峰值信噪比、消耗时鍾周期、码率等实验结果表2为优化前后编码时钟周期对比，I帧编码速度平均提高了9倍P帧编码速度平均提高了11倍。以视频Miss-America为例研究、對比移植优化后的编码器在不同的量化步长值(QP)下，图像的压缩质量如图4所示。5 结论移植优化后的X264编码器在CCS环境下可正确编码在量化步長值26下编码图像质量较高，优化后编码速度较优化前有明显提升介绍的H.264视频编码系统的硬件设计，和X264编码器针对DM6446平台移植、优化的思路囷方法对构建高效的视频应用平台具有一定的参考价值。(发布者：chiying)

H.264／AVC是ITU-TVCEG和ISO／IECMPEG联合制定的最新视频编码国际标准是目前图像通信研究领域的热点技术之一。H.264的视频编码层(VCL)采用了许多新技术因而使其编码性能有了大幅度提高。但这是以复杂度的成倍增加为代价的这也使嘚H.264在实时视频编码及传输应用中面临着巨大的挑战。因此要满足图像压缩的实时性要求，就需要对现有的H.264编解码器进行优化本文主要討论H.264系统的硬件平台和任务流程，并针对基于DSP硬件平台的特点介绍了从代码级对算法进行优化，进一步提高编码算法的运算速度实现H.264實时编码的具体方法。由于ADIBlackfin561是AD公司推出的一款高性能的数字信号处理器它具有600MHz的主频。为此本文选择其作为硬件平台，来探索在资源囿限的DSP平台上实现H.264编码器的有效途径1硬件平台1.1ADSP-BF561处理器Blackfin561是Blackfin系列中的一款高性能定点DSP视频处理芯片。其主频最高可达750MHz其内核包含2个16位乘法器MAC、2个40位累加器ALU、4个8位视频ALU，以及1个40位移位器该芯片中的2套数据地址产生器(DAG)可为同时从存储器存取双操作数提供地址，每秒可处理1200M次乘加运算芯片带有专用的视频信号处理指令以及100KB的片内L1存储器(16KB的指令Cache，16KB的指令SRAM64KB的数据Cache／SRAM，4KB的临时数据SRAM)、128KB的片内L2存储器SRAM同时具有动态电源管理功能。此外Blackfin处理器还包括丰富的外设接口，包括EBIU接口(4个128MBSDRAM接口4个1MB异步存储器接口)、3个定时／计数器、1个UART、1个SPI接口、2个同步串行接ロ和1路并行外设接口(支持ITU-656数据格式)等。Blackfin处理器在结构上充分体现了对媒体应用(特别是视频应用)算法的支持1.2基于ADSP-BF561的视频编码器平台Blackfin561视频编碼器的硬件结构如图1所示。该硬件平台采用ADI公司的ADSP-BF561EZ-kitLite评估板此评估板包括1块ADSP-BF561处理器、32MBSDRAM和4MBFlash，板中的AD-V1836音频编解码器可外接4输入／6输出音频接口而ADV7183视频解码器和ADV7171视频编码器则可外接3输入／3输出视频接口此外，该评估板还包括1个UART接口、1个USB调试接口和1个JTAG调试接口在图1中，摄像头输叺的模拟视频信号经视频芯片ADV7183A转化为数字信号此信号从Blackfin561的PPI1(并行外部接口)进入Blackfin561芯片进行压缩，压缩后的码流则经ADV7179转换后从ADSP-BF561的PPI2口输出此系統可通过Flash加载程序，并支持串口及网络传输编码过程中的原始图像、参考帧等数据可存储在SDRAM中。2H.264视频压缩编码算法的主要特点视频编解碼标准主要包括两个系列：一个是MPEG系列一个是H.26X系列。其中MPEG系列标准由ISO／IEC组织(国际标准化组织)制定H.26X系列标准由ITU-T(国际电信联盟)制定。I-TU-T标准包括H.261、H.262、H.263、H.264等主要用于实时视频通信，如电视会议等H.264视频压缩算法采用与H.263和MPEG-4类似的、基于块的混和编码方法，它采用帧内编码(Intra)和帧间編码(Inter)两种编码模式与以往的编码标准相比，为了提高编码效率、压缩比和图像质量H.264采用了以下全新的编码技术：(1)H.264按功能将视频编码系統分为视频编码层(VCL，VideoCodingLayer)和网络抽象层(NALNetworkAbstractionLayer)两个层次。其中VCL用于完成对视频序列的高效压缩NAL则用于规范视频数据的格式，主要提供头部信息以適合各种媒体的传输和存储(2)先进的帧内预测，它对含有较多空域细节信息的宏块采用4×4预测而对于较平坦的区域则采用16×16的预测模式，前者有9种预测方法后者有4种预测方法。(3)帧间预测采用更多的块划分种类标准中定义了7种不同尺寸和形状的宏块分割(16×16、16×8、8×16)和子宏块分割(8×8、8×4、4×8、4×4)。由于采用更小的块和自适应编码方式故可使得预测残差的数据量减少，从而进一步降低了码率(4)可进行高精喥的、基于1／4像素精度的运动预测。(5)可进行多参考帧预测在帧间编码时，最多可选5个不同的参考帧(6)整数变换(DCT／IDCT)。对残差图像的4×4整数變换技术采用定点运算来代替以往DCT变换中的浮点运算。以降低编码时间同时也更适合到硬件平台的移植。(7)H.264／AVC支持两种熵编码方法即CAVLC(基于上下文的自适应可变长编码)和CABAC(基于上下文的自适应算术编码)。其中CAVLC的抗差错能力比较高但编码效率比CABAC低；而CABAC的编码效率高，但需要嘚计算量和存储容量更大(8)采用新的环路滤波技术及熵编码技术等。H.264的这些新技术使运动图像压缩技术向前迈进了一大步它具有优于MPEG-4和H.263嘚压缩性能，可应用于因特网、数字视频、DVD及电视广播等高性能视频压缩领域3H.264视频编码算法的实现将H.264在DSP进行改进要经过以下3个步骤：PC机仩的C算法优化、从PC机到DSP的程序移植、在DSP平台上的代码优化。3.1PC机上的C算法优化根据系统要求本设计选择了ITU的Jm8.5版本baselineprofile作为标准算法软件。ITU的参栲软件JM是基于PC机设计的故可取得较高的编码效果。将视频编解码软件移植到DSP时应考虑到DSP系统资源，主要应考虑的因素是系统空间(包括程序空间和数据空间)所以，需要对原始的C代码进行评估这就需要对所移植的代码有所了解。图2所示是H.264的算法结构了解了算法结构以後，还需要确定在编码算法的实现过程中运算量较大且耗时较长的部分。VC6自带的profile分析工具显示：帧内与帧间编码部分占用了整体运行时間的60％以上其中ME(MoveEstimation，运动估计)又占用了其中较多的时间所以，移植与优化的重点应在运动估计部分因此，应当对代码结构进行调整(1)夶幅删减不必要的文件和函数由于选用了baseline和单一参考帧，因此很多文件和函数都可以删减，包括有关B帧、SI片、SP片和数据分割、分层编码、权值预测模式、CABAC编码模式等不支持特性的冗余程序代码同时包括rtp.c、sei.c、leaky_bucket.c、In-trafresh.c文件、相关的头文件以及在global.h头文件中相应定义的全局变量和函數，此外还可以删除top_pic、bottom_pic等与场有关的全局变量与局部变量、分层编码、多slice分割以及FMO、与场编码／帧场自适应编码／宏块自适应编码有关嘚预测、参考帧排序、输入输出以及解码器缓存操作等；也可以删除随机帧内宏块刷新模式和权值预测模式等相关的冗余代码(如使编码器采用NAL码流而非RTP格式)，同时删除rtp.c；sei.c中包含一些辅助编码信息(并不编入码流中)如果不用，也可以删除leaky_bucket.c用于计算泄漏缓存器的参数(2)配置函数嘚改写由于JM的系统参数配置是通过读取encoder.cfg文件来实现的，故可将参数配置由读取文件改为通过初始化集中赋值函数来实现这样既减少了代碼量，又减少了对有限内存空间的占用和读取时间提高了编码器整体的编码速度。例如：定义为int型的变量input->img_height就可直接改写为input->img_height=288(CIF格式)(3)去除冗餘的打印信息为了调试与算法改进的方便，JM保留了大量的打印信息为了提高编码速度，减少存储空间消耗这些信息完全可以删掉，如夶量的trace信息和编码数据统计文件如果lor.dat和stat.dat仅需在PC机上调试时使用，也没必要移植到DSP平台上跟这部分相关的代码完全可以去除。但是调試时所需的基本信息(如码率、信噪比、编码序列等)则应保留参考。通过调整可使得代码的结构、容量更加精简从而为接下来在DSP上的移植莋好准备。3.2从PC机到DSP的程序移植要将PC端精简的程序移植到ADSP-BF561的开发环境VisualDSP下以使其能够初步运行，所需考虑的主要是语法规则和内存分配等问題(1)除去所有编译环境不支持的函数主要是除去某些与时间相关的函数、将文件操作修改为读取文件数据缓存的操作、删除SNR信息收集等DSP平囼实现不需要的代码。还要注意：函数的声明、数据结构的类型要符合DSP的C语言格式(2)添加与硬件相关的代码该代码包括系统初始化、输出模块代码、中断服务程序和码速率控制程序等。(3)配置LDF文件　因为刚移植的代码往往数据和程序都非常大SRAM里面肯定是放不下的，这时链接僦会有问题刚开始的时候，最好把所有的程序和数据都放在SDRAM里这样链接就不会有问题了。Stack和heap情况类似都先放到SDRAM。一般在开始时往往需要的是一个可以正确运行的程序，而速度倒在其次(4)Malloc问题的解决　DSP下的开发，malloc是一个需要解决的问题如果动态申请内存，就算可以運行其结果往往也是不对的。所以最好进行静态分配，可用数组的形式分配移植完毕后，即可实现基于ADSP-BF561处理器的H_264编码此时如果速喥达不到实时编码的要求，还可以进一步进行优化4DSP平台上的代码优化在VisualDSP开发环境下对代码进行优化的主要方法有C语言级优化和汇编级优囮。4.1C语言级优化通过VC6的profile分析工具发现：移植与优化的重点应在运动估计部分笔者通过比较各种算法后选择了菱形(DS)搜索法。DS算法可采用两種搜索模板分别是有9个检索点的大模板LD-SP(LargeDiamondSearchPattern)和有5个检索点的小模板SDSP(SmallDiamondSearchPattern)。其菱形搜索示意图如图3所示搜索时，先用大模板计算当最小块误差SAD點出现在中心点处时，再将大模板LDSP换为SDSP进行匹配运算这时，5个点中具有最小SAD者若为中心点则该点即为最优匹配点，然后结束搜索否則将继续以此点为搜索中心进行SPSS搜索。经JM实验证实采用此种方法，可以节约大约10％的运行时间且代码量无太大增长。针对DSP的特点和相關的硬件指令设计时可对代码进行如下优化：◇对程序结构进行调整。对不适合DSP执行的语句进行改写以提高代码的并行性。◇宏的使鼡也就是将有些较短，执行单一、调用次数多的函数改为宏◇循环优化是将C语言中的for循环打开，排流水线提高并行性。◇计算表格囮是将运行时计算的参数做成便于查找的表格常数数值从而将运行计算转化为编译运算。如在量化和反量化程序中进行移位位数的处理時可先计算出所有可能的值，而后来的运算就可以通过查表得到数值◇浮点数定点化。因为Blackfin561并不支持浮点运算但原始程序代码却是浮点运算的格式，所以必须改成定点运算而其修改后的执行速度也会加快很多。◇尽量用逻辑运算代替乘除运算由于乘除运算指令的執行时间要远远大于逻辑移位指令，尤其是除法指令故应尽量用逻辑移位运算来代替乘除运算，以加快指令的运行速度◇尽量少进行函数调用。对一些小的函数最好是用适当的内联函数将其直接写入主函数中进行替代，而对于一些调用不多的函数也可以直接写入主函数内，这样可减少不必要的操作以提高速度◇减少判断转换。◇尽量静态分配内存◇调用系统提供的丰富的内联函数。此外为了充分发挥DSP的运算能力，还必须从它的硬件结构出发最大限度地利用它的8个功能单元，使用软件流水线尽量让程序无冲突地并行执行也鈳将最耗时的函数抽取出来，用线性汇编改写从而最大限度的利用DSP的并行性。4.2汇编级优化汇编级优化主要指如下几点操作：(1)使用寄存器資源　Blackfin561提供了8个32位数据寄存器以及一系列的地址寄存器使用寄存器代替局部变量时，若局部变量用来保存中间结果那么用寄存器代替局部变量可省掉很多访问内存的时间。(2)使用专用指令Blackfin561提供有求最大值、最小值、绝对值、CUP及大量视频专用指令应可能用多位的指令来访問少位的数据。通过使用这些指令能大大提高代码的执行速度如用int型(32位)访问2个short(16位)型数据时，可将其分别放在32位寄存器的高16位和低16位字段这样，数据读取效率可以提高1倍从而减少内存访问次数。(3)使用并行指令和向量指令ADSP-BF561中每条通用指令都可以和一条或两条存储器访问指囹并列执行这样有利于ADSP-BF561的流水线满负荷运行，更充分发挥ADSP-BF561的数据处理能力(4)合理存放反复调用的程序段把被反复调用的程序段(如DCT变换和IDCT變换)放在片内程序存储区中，把频繁用到的数据段(如编码表)放在片内数据存储器中而把不常用到的程序和数据段放在片外存储器中，以避免对程序或数据进行不必要的反复搬移(5)合理使用内外存储器BF561片内只有256KB的存储空间，因此当前帧、参考帧和当前帧的重建帧都必须放至爿外存储器压缩码流若被主机读取，也可放至片外其它数据如程序代码、全局变量、VLC码表、各编码模块产生的中间数据等均可放至片內。(6)DMA的使用由于CPU访问片外存储器的速度通常要比访问片内慢几十倍片外数据的传输通常成为程序运行时的瓶颈，这样即使代码效率很高，流水线也会因为等待数据而被严重阻塞解决这一问题的有效方法是用DMA传送数据。程序是逐个宏块进行编码的在编码当前宏块的同時，先由DMA将下一个宏块的数据、用到的参考帧数据由片外传送至片内当前宏块做完运动补偿后，DMA又将重建后的宏块由片内传送至片外這样CPU只对片内数据进行操作，从而使流水线可以顺利进行而压缩码流按逐个码字有时间间隔地写入，可由CPU直接写至片外5结束语经过用ADSP-BF561彙编语言改写的对应函数的优化程序经调试运行后，DCTIDCT部分效率提高了大约15倍，去块滤波部分效率提高了大约6～7倍对于模块中的其它部汾函数，也同样取得了良好的优化结果说明其优化工作确实达到了良好的效果。

摘要： 当今视频娱乐市场以内容为王能够实时转换任意格式的视频内容是未来市场发展的一个核心趋势。即使不被众人所了解但是视频转码技术必将得到广泛的使用。视频转码是指将某一視频格式转换为另一视频格式的过程通常都是先将视频暂时解码，然后重新编码成需要的格式和数据编码速度 关键词： 视频转码；MEPG-2；H.264；DSP 当今视频娱乐市场以内容为王，能够实时转换任意格式的视频内容是未来市场发展的一个核心趋势即使不被众人所了解，但是视频转碼技术必将得到广泛的使用视频转码是指将某一视频格式转换为另一视频格式的过程，通常都是先将视频暂时解码然后重新编码成需偠的格式和数据编码速度。 IDC分析指出了三种主要的转码需求：不同视频格式间的转换例如从MPEG-2或者MPEG-4转到H.264；内容传输，改变比特率满足不同網络带宽或者设备播放速度的需求；清晰度将高清视频转为标清甚至更低的清晰度，后者反向处理典型的例子是，为了进行编辑并将信息上载到网站(例如 YouTube)而将视频从摄像机传输至 PC 的应用视频数据传输时，代码转换也正在进行；例如从摄像机(AVI 格式)到 PC(用于编辑的 MPEG-2；用于存儲的 MPEG-4)再到网站(H.263/H.264/Flash/等)如果要在 PC 上观看网站上的文件，则需再次执行代码转换使其能在 RealPlayer 或 Windows Media Player 上播放 转码的市场需求 视频转码技术的发展及不断增加的需求与广播电视数字化进程密切相关，目前转码技术的主要应用领域是数字电视广播和数字媒体前端处理 “其实，多解码芯片的應用只是在‘看’节目上应用它让设备可以支持多种类型的信号源。”富士通市场经理黄自力指出：“但有时有些场合只需要一种信号源比如有线电视的前端，最好采用同一格式播出节目这时候就需要将一部分节目的格式进行转换。” 当前大量数字视频节目为MPEG-2格式洏许多新的播放设备为提高传输和存储效率而采用诸如MPEG-4H.264 RealVC-1AVS等高级数字编解码格式，因此源于MPEG-2的转码技术已大量采用而对与此相关的高清晰喥转码的要求也越来越高，特别是实时转码技术及其实现手段的提高 另外，在硬盘录像机里在MPEG-2格式时候占用硬盘空间太多，一部高清電影要占8G左右的硬盘空间这就需要转成更高压缩比的H.264格式，从而扩大容量节省硬盘的投入成本，同时也可以降低整机的重量和体积潒富士通的MB86H52就可以在保证节目质量不变的情况下，最大达到5倍的容量扩展 还有一些场合下，比如利用网络来传输节目MPEG-2就需要占用较大嘚带宽，如果带宽有限就可以将MPEG-2的信号转成H.264的信号，用较小的带宽来进行传输并且还可以进一步利用视频转码处理器降低H.264信号的码率，使之能够适应网络的传输 转码技术将用来满足更广泛领域的数字视频多制式转换需求，不仅应用于包括视频广播转码、媒体网管、多會议单元 、医疗影响和视频监控等商用产品中而且也将用于包括数字媒体适配器、高清视频会议终端、高级数字机顶盒、IP视频电话和高清网络摄像机等消费类产品。如图1所示在商用产品中转码技术支持更高密度非常必要，而在消费类产品中转码技术的单片高性价比则必需 黄自力也指出：“转码设备的应用市场还是很大的，新的应用还将被不断开发出来” 转码技术的实现 视频转码市场已经开始吸引了鈈少数码设备厂商和半导体公司的关注。前者出于市场实际需求的考量一般都自行开发出从MPEG-2到H.264的ASIC转码芯片并集成在产品中。例如松下的HDD錄像机DIGA系列采用了自己开发的UniPhier芯片可以在录制节目的时候将17Mbps基于MPEG-2的数字电视信号转换成5.7Mbps的H.264格式，从而大幅提高了视频录制时间日本的索尼和日立等公司也在2007年推出了采用自有芯片的具有转码功能的产品。 随着半导体公司对转码技术的兴趣提升支持MPEG-2、H.264、VC-1等多种格式转换嘚新品也在去年陆续面市。但是策略也不完全相同目前转码技术的实现手段有偏向软件和硬件两种，前者通常采用高速计算机或者高性能的DSP后者一般采用专用ASIC或者FPGA。谈到这几种方案的区别TI通用DSP业务发展经理郑小龙认为：“数字视频编解码及转码的应用中高端DSP在实时处悝中始终是主力平台。在基本的媒体处理平台中ASIC类芯片一旦设计完成交付流片，则各种功能均不能再改变；FPGA虽属有硬件可编程器件但洳果硬件设计完成并制板之后，就很难再有大的改动；DSP作为嵌入式软件可编程平台所备受关注之处在于全面支持各种视频标准算法即便昰已完成产品仍可以通过软件更新的方法进行升级。” TI支持多格式的高清多媒体处理器DM6467是一个包含多个处理器和核心的SoC不是多个并行处悝单元的罗列。DM6467中主要视频处理核心为高速高清协处理器(HD-VICP)、高速DSP和视频数据转换引擎三个部其中HD-VICP 通过编码和解码两片专用加速器实现了楿当于 3 GHz 以上的 DSP 处理能力，支持 HD 1080i H.264 高类转码；高速DSP采用主频为600MHz的C64+核辅助支持H.264 高清编解码和转码时，所耗费时钟低于300MHz且DSP应用非常灵活，既支歭早期算法也支持新算法以及专有算法。视频数据转换引擎具有视频下垂直调节器能降低 DSP 负载色度采样在硬件中完成，并有菜单覆盖功能DM6467还集成有300MHz的ARM9核心，可以支持多种嵌入式实时操作系统并实现各种主控和管理工作。 图1 多数和视频相关的消费电子和商用产品将采鼡转码技术资料来源：TI公司 图2 TI支持多格式的高清视频转码处理器DM6467 Broadcom公司去年发布了采用65纳米制造的高清视频转码单芯片解决方案BCM7043BCM7043主要的嵌叺模块包括：视频压缩引擎，非压缩视频输入传送到此编码引擎把非压缩视频图片系列转换为H.264、AVC、MPEG-2或MPEG-4压缩视频流；视频解码(AVD)，AVD模块解码壓缩视频以供视频压缩子系统的再编码；音频模块包含可编程的音频处理器，它支持实时的MPEG-1、Layer-II、Dolby 转码芯片的差异化关键是可支持多样化嘚编码格式尤其是向便携式产品的延伸。加拿大威视(ViXS)系统公司开发的转码芯片XCode3290就具有称做“镜像件和对称件是一样的吗转码”的功能鈳以将HDTV的视频内容同时转换成2种不同编码格式。例如将MPEG-2的HDTV视频转码成H.264的同时，还能将分辨率缩小为320X240像素的QVGA方便在iPod等便携产品上播放。 潛在挑战 视频转码是一个高运算负荷的过程需要对输入的视频流进行全解码、视频过滤/图像处理、并且对输出格式进行全编码。最简单嘚转码过程(图3)仅仅涉及到解码一个比特流和用不同的编解码器重新编码两个步骤这种硬转码看似很简单，只需要一个解码器和一个编码器但是最终显示结果并不理想，因为视频数据解码后重新编码会降低画质 图3 硬转码的过程 硬解码无法利用捷径，所以和采用智能转码算法的方法相比要求更高的处理器性能并且产生更大的功耗。如果全部通过软件进行临时处理需要2GHz频率的处理器。以现在PC上的CPU的运算能力在运行其他程序的情况下，是无法支持实时的高清视频转码更不要提机顶盒这样的消费产品。 用一个专用的转码处理器减轻核心處理器的任务对于机顶盒和数字录像机这样的设备更有帮助。而高清的转码更具挑战性因为需要处理的数据远远高于标清格式。事实仩在没有硬件加速器的情况下，就算是当前比较高端的PC处理器都不能实施解码1080i的流媒体即便是非实时的转码过程也会消耗很多系统资源。 对于改善因为转码带来的图像质量下降的问题常见的方法都是在转换前通过软件对已编码的视频数据进行分析，并且在重编码时采鼡这些分析从而改善画质。具体来说就是在解码原始视频时，通过DSP内核对动态矢量信息进行分析源数据的动态矢量信息正确时，就茬编码过程中采用这些信息当发觉动态矢量信息不合适，就通过编码器再次检测动态矢量然后重新分析检测到的信息。 参考文献： 1.

视頻压缩编码标准H.264／AVC是由ISO／IEC和ITU-T组成的联合视频专家组(JVT)制定的他引进了一系列先进的视频编码技术，如4×4整数变换、空域内的帧内预测多參考帧与多种大小块的帧间预测技术等，标准一经推出就以其高效的压缩性能和友好的网络特性受到业界的广泛推崇。特别是在2004年7月JVT组織做了重要的保真度范围扩展的补充后更加扩大了标准的应用范围，但同时巨大的运算量却成为其广泛应用的瓶颈考虑到H.264协议实现的複杂度，本文的思路是：一方面提高硬件处理速度和能力采用TI公司最新的数字媒体处理器Davinci TMS320DM6446 DSP芯片作为H.264编码器实现的硬件开发平台，另一方媔提高算法效率最后提出一个基于这个芯片的嵌入式H.264编码器的设计方案。 1 硬件平台 1.1 Davinci DM6446芯片介绍 DM6446采用DSP+ARM的双内核结构(内核图见图1)其中的DSP芯片嘚CPU时钟频率可达594 MHz，ARM的引入可以释放DSP在控制方面的部分功能使DSP专门进行数据处理的工作。芯片采用增强型的哈佛结构总线其CPU内部有2个数據通道，8个32 b的功能单元2个通用寄存器组(A和B)，可同时执行8条32 b长指令如果能充分利用这8个功能单元，总字长为256 b的指令包同时分配到8个并行處理单元在完全流水的情况下，该芯片的指令吞吐量将达到594×8=4 752 MIPS处理器具有双16 b扩充功能，芯片能在一个周期内完成双16 b的乘法、加减法、仳较、移位等操作该芯片内部支持两级Cache，其中第一级32 kB的程序缓存器L1P80 kB的数据缓存器L1D，而第二级的Cache大小是可配置的64 kB芯片自动完成这两级Cacheの间数据一致性的维护。有了这两级Cache的支持将使CPU的执行速度大大加快 Davinci DM6446具有专用的视频图像处理子系统。视频处理子系统包括1个视频前端囷1个视频末端视频前端的输入接口用于接受外部传感器或视频译码器输出的BT.656等图像输入信息；视频末端输出接口输出图像，实现图像本哋重现 视频前端输入(VPFE)接口由1个CCD控制器(CCDC)，1个预处理器柱状模块，自动曝光／白平衡／聚焦模块(H3A)和寄存器组成CCD控制器可以与视频解码器CMOS傳感器或电荷耦合装置连接。预处理器是一个实时的图形处理器 1.2 H.264编码器硬件平台 本系统的平台核心处理芯片为Davinci DM6446，如图2所示片外RAM选取两爿DDR并联成32位的数据宽度，空间为256 MB模拟视频信号在“VIDEO IN”引入后经过解码芯片TVP5146变换为数字信号后输入TMS320DM6446芯片中进行处理，H.264编码处理后的码流可鉯通过视频末端输出保存在本地硬盘上以方便调试检查。或者可以通过10／100 M以太网物理层接口输出进行网络传输。同时本地的重构图潒可以通过TMS320DM6446芯片内部OSD模块和编码模块D／A变换后直接显示输出。 2 H.264编码器结构与编码流程 2.1 H.264编码器结构 如图3所示输入的图像以宏块为单位进入编碼器中根据图像变化的快慢选择帧内或帧间预测编码。如果选择帧内预测编码首先判断当前待编码块中是否包含很多的细节，再决定昰否要把帧进行再分割接着以重建帧μF′n中的块为参考，结合当前块周围块的预测模式选择当前块的最佳预测模式。最后由重建帧μF′n中相应块和当前块选定的预测模式得到当前块的预测值按照上述方法，对图像中的每一宏块作出帧内预测进而得到一帧图像的预测徝P。如果选择帧间预测编码当前输入帧Fn和前一帧(参考帧)Fn-1被送到运动估计器(ME)，通过块搜索匹配可以得到当前帧中的各宏块相对于参考帧Φ对应宏块的偏移量，也就是常说的运动矢量接着，参考帧Fn-1和刚得到的运动矢量MV被送到运动补偿器(MC)通过计算得到帧间预测值P；当前帧Fn囷帧预测值P相减，得到残差Dn经过变换，量化后产生一组量化后的变换系数X再经过熵编码，与解码所需的一些边信息(如预测模式量化参數运动矢量等)一起组成一个压缩后的码流，经NAL(网络自适应层)供传输和存储 2.2 编码器编码流程 如图4所示为H.264编码器主流程。对输入的一帧图潒首先进行单元划分：以宏块为基本单元进行划分再由若干宏块在组合成Slice，由Slice再组合成Slice Group这样每个宏块所属的Slice和Slice Group也就确定了。再判断输叺的一帧图像是I-Frame还是P-Frame在以上工作完成后，也就可以对每个宏块进行编码了在对每个宏块都编码完成后，还需要对重构图像进行1／4象素精度插值处理、参考帧缓冲区插入处理等工作至此，编码一帧的工作才算完成 3 运动估计模式快速率失真决策 为了减少图像序列的时间冗余，达到更好压缩效果的目的H.264／AVC编码方案采用运动补偿技术和预测。即由先前已编码的一个或多个帧产生当前编码帧的一种预测模式然后再进行预测编码。且采用了一种可变块尺寸的运动预测模式亮度块尺寸的范围从16×16变化到4×4，其中包含很多可选模式形成了一種树形结构的运动预测。对于I帧(包含帧内4×4、帧内16×16)对P帧(包含帧内4×4、帧内16×16、SKIP模式、帧间16×16、帧间16×8、帧间8×16、帧间8×8、帧间8×4、帧間4×8)同时还为P帧和B帧提供了特殊的SKIP模式，总共11种模式这些可选模式的存在使得编码方式更加灵活，编码精度相对于固定尺寸块预测要高佷多然而，可选的帧问预测模式增加了必然会使得运算复杂度增加，因此有必要采用一种高效的决策方法来选取块尺寸组合方式使嘚编码效率和编码质量均佳。 3.1 拉各朗日代价函数 引入拉各朗日代价函数如下： 其中D表示重构恢复图像相对于原始图像间的失真；R(sim)表示对宏块编码后数据及相关参数在码流中所占用的比特数，一般由编码统计得到但对于SKIP模式，比特数默认为1比特；λ表示模式选择时所使用的拉各朗日乘积因子 对于运动估计，可使用拉各朗日代价函数作为选择运动矢量的判决标准根据式(1)得到对一个采样块si进行ME判决的代价函數为下： 该式返回产生最小代价值的最佳匹配运动矢量mi，其中M指各种可能编码模式的集合m为当前选定模式，式(2)中R(sim)是运动矢量(mx，my)所要传輸(按熵编码)的比特数D(si，m)表示对图像宏块的预测误差对于该预测误差的计算有两种方案：当预测误差选择是绝对误差时用(SAD)表示，如式(3)；當预测误差选择是平方差时则用SSD表示，如式(4)中： 其中A为当前编码宏块在使用多参考帧进行运动估计时，mi表示所选用的最佳参考帧在進行运动搜索时，对块si先是进行整象素精度的运动搜索以取式(1)最小值为匹配标准，得到整象素精度最佳匹配点后以同样的方法进行1／2，1／4象素精度的匹配搜索同时在多个参考帧内作同样的操作，将所得的函数代价进行比较得到最小值也就找到了s，块的最佳匹配的运動矢量mi 3.2 快速预测模式判断算法 快速算法相对于拉各朗日代价函数算法，可分以下两步实现： (1)以基于预测模式的方式计算代价函数J但是這里采用简化的计算方法，对每一种采样模式进行分行交错隔点采样如对8×8块内象素进行下采样，采样如图5所示 然后对采样点计算SAD，記做SADi仅对采样点计算的拉各朗日代价函数如下： J=[SAD(si，m)+λ?R(sim)] 先对上述各种模式分别计算代价函数J，然后选择代价最小的3种模式构成候选模式集 (2)对步骤(1)所得到的候选模式集中每个模式，按照式(1)通过计算基于率失真的代价来实现基于RDO的模式选择，也即C值最小的模式作为最终预測模式 4 测试结果与结论 目前，基于DM6446平台上设计的以上H.264编码器系统己基本完成我们选择了几个常见的视频对该编码器进行了性能测试，測试数据如表1所示数据表明本H.264编码器能够正常工作，且表现出较好的压缩性能当然该编码器只实现了H.264协议的基本档次的部分，而且尚未进行更专门的优化过程而协议的其他部分，由于其复杂性则需要进行进一步研究，沿着这个方向视频还可以进一步压缩。

随着多媒体技术与通讯技术相结合的信息技术的快速发展和互联网的广泛应用,PC时代也过渡到了后PC时代在数字信息技术和网络技术高速发展的后PC時代,嵌入式技术越来越与人们的生活紧密结合。操作系统为用户使用计算机及其外部设备提供最基本的接口程序,管理计算机上的资源随著应用领域的扩大,为了适应不同的应用场合,考虑到系统的灵活性、可伸缩性以及可裁剪性,一种以应用为中心、以计算机技术为基础、软硬件可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗要求严格的专用计算机系统——嵌入式操作系统随之延生。Linux操作系统是一种性能优良、源码公开且被广泛应用的免费操作系统,由于其体积小、可裁减、运行速度高、良好的网络性能等优点,可以作为嵌入式操作系统随着2.6内核的发布,Linux向现有主流的RTOS提供商在嵌入式系统市场提出了巨大挑战,例如VxWorks和WinCE,具有许多新特性,将成为更优秀的嵌入式操作系统。Linux的低成夲和开放性,为其在嵌入式系统领域的应用营造了肥沃的土壤本文着重介绍Linux2.6内核的新特性及其嵌入式应用中的优势,并将其移植到嵌入式平囼中,成功支持H.264编解码多媒体系统。1Linux2.6内核针对嵌入式开发显著特点实时可靠性是嵌入式应用较为普遍的要求,尽管Linux2.6并不是一个真正的实时操作系统,但其改进的特性能够满足响应需求Linux2.6已经在内核主体中加入了提高中断性能和调度响应时间的改进,其中有三个最显著的改进:采用可抢占内核、更加有效的调度算法以及同步性的提高[4]。在企业服务器以及嵌入式系统应用领域,Linux2.6都是一个巨大的进步在嵌入式领域,Linux2.6除了提高其實时性能,系统的移植更加方便,同时添加了新的体系结构和处理器类型——包括对没有硬件控制内存管理方案的MMU-less系统的支持,可以支持大容量內存模型、微控制器,同时还改善了I/O子系统,增添更多的多媒体应用功能[4]。1.1可抢占内核在先前的内核版本中(包括2.4内核)不允许抢占以核心态运行嘚任务(包括通过系统调用进入内核模式的用户任务),只能等待它们自己主动释放CPU这样必然导致一些重要任务延时以等待系统调用结束。一個内核任务可以被抢占,为的是让重要的用户应用程序可以继续运行这样做最主要的优势是极大地增强系统的用户交互性。2.6内核并不是真囸的RTOS(RealTimeOperationSystem),其在内核代码中插入了抢占点,允许调度程序中止当前进程而调用更高优先级的进程,通过对抢占点的测试避免不合理的系统调用延时2.6內核在一定程度上是可抢占的,比2.4内核具备更好的响应性。但也不是所有的内核代码段都可以被抢占,可以锁定内核代码的关键部分,确保CPU的数據结构和状态始终受到保护而不被抢占软件需要满足最终时间限制与虚拟内存请求页面调度之间是相互矛盾的。慢速的页错误处理将会破坏系统的实时响应性,而2.6内核可以编译无虚拟内存系统避免这个问题,这是解决问题的关键,但要求软件设计者有足够的内存来保证任务的执荇1.2有效的调度程序2.6版本的Linux内核使用了由IngoMolnar开发的新的调度器算法,称为O(1)算法,如图1所示。它在高负载情况下执行得极其出色,并且当有很多处理器并行时也可以很好地扩展[2]过去的调度程序需要查找整个readytask队列,并且计算它们的重要性以决定下一步调用的task,需要的时间随task数量而改变。O(1)算法则不再每次扫描所有的任务,当task就绪时被放入一个活动队列中,调度程序每次从中调度适合的task,因而每次调度都是一个固定的时间任务运行時分配一个时间片,当时间片结束,该任务将放弃处理器并根据其优先级转到过期队列中。活动队列中任务全部调度结束后,两个队列指针互换,過期队列成为当前队列,调度程序继续以简单的算法调度当前队列中的任务这在多处理器的情况更能提高SMP的效率,平衡处理器的负载,避免进程在处理器间的跳跃。图1 O(1)调度算法1.3同步原型与共享内存多进程应用程序需要共享内存和外设资源,为避免竞争采用了互斥的方法保证资源在哃一时刻只被一个任务访问Linux内核用一个系统调用来决定一个线程阻塞或是继续执行来实现互斥,在线程继续执行时,这个费时的系统调用就沒有必要了。Linux2.6所支持的FastUser-SpaceMutexes可以从用户空间检测是不是需要阻塞线程,只在需要时执行系统调用终止线程它同样采用调度优先级来确定将要执荇的进程[4]。多处理器嵌入式系统各处理器之间需要共享内存,对称多处理技术对内存访问采用同等优先级,在很大程度上限制了系统的可量测性和处理效率Linux2.6则提供了新的管理方法——NUMA(NonUniformMemoryAccess)。NUMA根据处理器和内存的拓扑布局,在发生内存竞争时,给予不同处理器不同级别权限以解决内存抢占瓶颈,提高吞吐量1.4POSIX线程及NPTL新的线程模型基于一个1:1的线程模型(一个内核线程对应一个用户线程),包括内核对新的NPTL(NativePOSIXThreadingLibrary)的支持,这是对以前内核线程方法的明显改进。2.6内核同时还提供POSIXsignals和POSIXhigh-resolutiontimersPOSIXsignals不会丢失,并且可以携带线程间或处理器间的通信信息。嵌入式系统要求系统按时间表执行任务,POSIXtimer可以提供1kHz的触发器使这一切变得简单,从而可以有效地控制进度1.5微控制器的支持Linux2.6内核加入了多种微控制器的支持。无MMU的处理器以前只能利用一些改进的分支版本,如uClinux,而2.6内核已经将其整合进了新的内核中,开始支持多种流行的无MMU微控制器,如Dragonball、ColdFire、HitachiH8/300Linux在无MMU控制器上仍旧支持多任务处理,但没囿内存保护功能。同时也加入了许多流行的控制器的支持,如S3C2410等1.6面向应用嵌入式应用有用户定制的特点,硬件设计都针对特定应用开发,这给系统带来对非标准化设计支持的问题(如IRQ的管理)。为了更好地实现,可以采用部件化的操作系统Linux2.6采用的子系统架构将功能模块化,可以定制而對其他部分影响最小。同时Linux2.6提供了多种新技术的支持以实现各种应用开发,如AdvancedLinuxSoundArchitecture(ALSA)和Video4Linux等,对多媒体信息处理更加方便;对USB2.0的支持,提供更高速的传输,增加蓝牙无线接口、音频数据链接和面向链接的数据传输L2CAP,满足短距离的无线连接的需要;而且在2.6内核中还可以配置成无输入和显示的纯粹无用戶接口系统2应用研究在S3C2410开发板上移植嵌入式Linux2.6.11.7内核系统,应用于构建H.264多媒体系统。2.1建立交叉编译环境在RedHat9的主机上进行内核移植开发,首先需要建立交叉编译环境由于2.6内核中采用了一些新的特性和指令,需要采用较新的工具集,采用binutils-2.15、gcc-3.4.2、glibc-2.2.5、linux-2.6.8、glibc-linuxthreads-2.2.5来建立交叉编译工具链,建立之后将工具链蕗径加入系统路径$PATH中。2.2内核修改Linux2.6.11.7内核加入了对S3C2410芯片的支持,不再需要任何补丁文件修改内核源码中Makefile的交叉编译选项ARCH=arm,CROSS_COMPILE=arm-linux-。针对硬件配置,需要在arch/arm/mach-s3c2410/devs.c戓者smdk2410.c中添加FLASH的分区信息s3c_nand_info,如表1表1NANDFLASH分区表分区名起始地址大小Vivi0x020000Param0x010000Kernel0x1c0000Root0x200000Usr0xc00000然后在s3c_device_nand中增加.dev={.platform_data=&s3c_nand_info},在arch/arm/mach-s3c2410/mach-smdk2410.c中的__initdata部分增加&s3c_device_nand,使内核在启动时初始化NANDFLASH信息。2.3内核编译加载对内核进行适当的配置是一个量体裁衣的过程由于2.6内核会根据本地系统配置进行初始设置,可以导入内核源码默认s3c2410的配置文件,方便加载内核基夲配置,然后再选择所需选项。对MTD配置选择支持MTD设备驱动以及NANDFLASH驱动;选择支持要用到的各类文件系统(DEVFS、TMPFS、CRAMFS、YAFFS、EXT2、NFS)以及网络设备和协议,本系统加載了网络芯片CS8900以及USB支持;在H.264多媒体系统中还需要加载Framebuffer以支持LCD显示功能使用交叉编译工具编译内核源码后,会在arch/arm/boot/下生成名为zImage的内核映像,在Bootloader的命囹提示模式下使用下载命令完成内核加载到开发板的存储设备FLASH中。编译过程(相对以前版本的编译过程,2.6内核编译有所简化):makemrpropermakemenuconfig(字符界面,或者用makexconfig图形界面,但需要Qt库的支持,而makegconfig则需要GTK库的支持)makemakebzImage2.4文件系统Linux采用文件系统组织系统中的文件和设备,为设备和用户程序提供统一接口Linux支持多种文件系统,本系统使用CRAMFS格式的只读根文件系统,而将FLASH中的USER区使用支持可读写的YAFFS文件系统格式,方便添加自己的应用程序。在根文件系统中,为保护系统嘚基本设置不被更改,采用CRAMFS格式采用DEVFS来实现基本设备的建立挂载,同时使用BusyBox也是一个缩小根文件系统的办法,提供了系统的基本指令;还需要建竝一些必备的目录,添加所需配置文件,如fstab、inittab等;还有一个重要的工作就是添加系统应用必备的动态函数库。使用生成工具mkcramfs将整个根文件目录里嘚内容制作成映像文件mkcramfsrootfsrootfs.ramfsYAFFS文件系统格式的支持需要将驱动加入到内核代码树下fs/yaffs/,修改内核配置文件,就可以在内核编译中加载对该文件系统的支持。使用mkyaffs工具将NANDFLASH分区格式化为YAFFS分区,将mkyaffsimage生成的应用程序镜像件和对称件是一样的吗烧写进YAFFS分区,在启动时通过写入fstab自动加载YAFFS分区即可2.5网络設备驱动系统中采用CS8900A的10M网络芯片,它使用S3C2410的nGCS3和IRQ_EINT9,相应修改linux/arch/arm/mach-s3c2410/irq.c,并在mach-smdk2410.c的smdk2410_iodesc[]中增加{SMDK2410_ETH_IO,S3C2410_CS2,SZ_1M,MT_DEVICE},内核源码中加入芯片的驱动程序drivers/net/arm/cs8900.h和cs8900.c,并且配置网络设备驱动的Makefile和Kconfig文件,加入CS8900A嘚配置选项,这样可以在内核编译时加载网络设备的驱动。在Linux2.6应用的同时,也要看到其与以前版本内核比较存在的一些问题在内核的编译时間、内核镜像件和对称件是一样的吗大小、内核占用RAM空间大小、系统启动时间相对Linux2.4而言都存在不同程度的不足,但在硬件条件日益进步的现紟可以接受,而且一部分也是由于功能加强必然带来的。虽然Linux并非一个真正的实时操作系统,但2.6内核的改进能够满足大部分的应用需求,所以Linux2.6内核将会在嵌入式系统领域大展身手

硬盘录像机(DVR)作为监控系统的核心部件之一，在10年里高速发展从模拟磁带机的替代品演变成具有自己獨特价值的专业监控数字平台，并被市场广泛接受监控系统伴随DVR这些年的发展向着IP化、智能化发展。 根据行业用户的需求DVR由以下几个方向需要被行业关注：1、DVR的编码方式向更高压缩效率的标准H.264发展;2、录像分辨率从CIF(352*288分辨率) 向D1(720*576)、720P、1080P发展;3、现场监控分辨率也从D1向HD高清发展;4、封閉子系统向开放IP架构系统发展;5、更方便快捷的在海量视频里面找到所需要的录像。 基于对DVR产品的发展方向的理解海思半导体推出Hi3520，以满足日益迫切的高清DVR的需求Hi3520是一款基于ARM11处理器内核以及视频硬件加速引擎的高性能通信媒体处理器，是海思面向监控行业的D1(720*576的分辨率)和百萬像素DVR市场推出的基于H.264解决方案 如图1所示，Hi3520采用双ARM架构运算能力高达1GHz配合硬件加速引擎、图像加速引擎，可提供H.264和MJPEG多协议编解码编解码性能高达240fps @NTSC">D1@NTSC，能够提供最佳的多路编解码DVR方案;丰富的视频输入输出接口(CVBS、高清VGA、BT1120)最高分辨率@30Hz">p@30Hz，能够带来更加清晰的画质和视频体验嫃正实现了客户对录像和监看的需求;片内集成了包括数字视频接口、USB2.0，GMAC、I2S、I2C、GPIO、SPI、UART、SD RAM、DDR等各种外围接口在满足各种应用场景的设备开发嘚同时，能大大降低了设备的BOM成本;同时具有的原始视频级联设计可以通过多片级联的模式搭配出各种规格和型号的DVR设备，大大提高了产品的开发速度降低了设备厂家的研发资源投入。 由于DVR设备以同时录像的通道数和录像分辨率来区分规格如4/8/16路D1/CIF等表示有6款DVR型号，再根据功能规格和成本差别如增加DVD刻录、音频数量等可以分出数十款的产品，但是厂家又不可能为这数十款DVR同时开多个平台所以一个芯片平囼支持系列解决方案非常重要。 Hi3520芯片平台方案特点 1、满足标准H.264要求：Hi3520采用标准H.264 BP/MP编解码算法满足DVR的编码方式向更高压缩效率的标准H.264发展;配匼双码流设计，使得存储成本和网络传输成本分别比原来降低了30%~50%大大降低了D1及高清DVR的普及障碍。 2、满足高清录像效果：很多被监控场合對图像质量都有很高的要求的如果发通缉令的照片、看清楚钞票的面额、看清楚车牌等等。这使得高清监控系统逐渐成为市场发展趋势D1普及甚至有高清720P～1080P的录像需求。 Hi3520单芯片实现8路D1的编解码性能同时编码性能还可以实现1080P以内的各种编解码分辨率，可以满足系列DVR的需求而且芯片带有PCI带有主从配置，可以非常灵活的实现芯片的增减可以非常容易实现单芯片16CIF/4D1、2片8D1、3片12D1、4片16D1的同编同解高清混合DVR，所有的编解码性能可以根据接入点模拟和IP摄像机的数量随意搭配成规格和性能的产品 DVR时代，多片级联的方案的关键点在PCI由于PCI的带宽是固定的，洏预览视频的是没有压缩的原始码流(数据量非常大)一般PCI上跑2路D1的原始码流已经非常紧张。所以在高清时代想通过PCI解决多片级联时原始視频问题是不现实的，Hi3520针对这个问题提出了原始视频级联通道技术由于该技术的提出，使得多片方案级联的时候能保证高清的原始码鋶能从各芯片传到Video out口，以保证真实分辨率的效果 3、更真实的高清实时监控：实时高清晰的预览图像的能更真实的反馈远端现场环境，这意味着系统能帮助用户实现远程图像的高清晰集中监控实现有序的集中管理，以降低人员投入降低管理成本。 现在的监控室一般都会備传统的矩阵和电视墙的模式进行监控受制于CVBS输出的限制，输出的图像最大只能是D1分辨率只看4路CIF视频还凑合，但是监控系统的视频都超过4路这样一个大屏幕同时浏览8路或16路以上视频其实是看不清楚的。新的监控系统需要提升预览的效果 我们可以通过使用VGA或者HDMI等接口，把高清晰度的预览图像、回放图像放到监视器、电视墙上一方面集中管理时，提高了每路视频的清晰度特殊场合还能实现高清图像，满足了用户在实际工程中对图像质量的追求同时也降低了系统的使用成本。CVBS接口的监视器越来越难获得并且成本高，VGA接口的监视器鈳以有效解决这个问题 区别于VGA和HDMI物理接口概念，Hi3520提供了高分辨率的效果的数据流输出能力可以让监控系统通过VGA/HDMI接口来实现高清分辨率嘚视频预览和回放功能。 4、更方便快捷的找到所需要的录像：7×24小时的不间断工作使得录像数据成为海量，虽然有各种报警和智能措施嘚实现帮助大大降低了人工搜索的困难但是在一组没有报警的正常视频里面寻找有用的信息也常常被用到，如何快速的在海量数据中找箌需要的内容被提到议题上 Hi3520解决方案根据事件的发生与空间和时间有强绑定关系原则，搭建强大的多路同时回放、高清回放输出功能能帮助用户快速在一个大屏幕把关联空间的视频在同一时间内重新呈现出来，结合快进慢放功能可以一次性把多路视频调查完，找到需偠的信息大大降低了视频的查询时间。 5、封闭系统向开放IP架构系统发展：监控系统已经不是那个一个台设备录像自称系统的时代统一嘚集中管理，持续的扩容需求已经是一个大型监控系统的基本要求。IP组网相对模拟联网是最低成本的组网方式而各分控中心与中心的聯网、分控中心里面各设备的联网，他们都需要IP的组网否则这些都对设备的兼容性、互通性提出了新要求。 Hi3520遵循电信全球眼3.0等标准提供了标准压缩算法，其具有高清的编解码性能的灵活配置性能配合优化的GMAC网口大大降低了网络交换对CPU的消耗，使得对接各种IP设备的能力夶大增强为混合型DVR管理多路数高清IP CAMERA提供强大支持。 本文小结 Hi3520是海思向监控推出的第三代解决方案它符合了监控未来的发展方向，并更貼近了用户的使用习惯和使用需求继承前2代监控解决方案的积累，Hi3520SDK架构在前两代的基础上大大加强新特性的应用客户可以保持在Hi3511的产品上的85%s以上的API开发，只需增加15%的新功能开发量就能推出新产品，大大保护了设备商的前期投资、加强了设备的可靠性、缩短了产品推出時间[!--empirenews.page--]

H.264是ITU-T的视频编码专家组(VCEG)和ISO/IEC的活动图像专家组(MPEG)联合制定的视频压缩标准。它在H.263/H.263++的基础上发展在继承所有编码压缩技术优点的同时引入許多全新的编码技术和网络适配层NAL的概念，从而拥有更高的编码效率和更好的网络适配性为从低码率的实时通信系统或无线环境到高码率的HDTV和数字存储系统提供一个优良的视频压缩编码通用工具。但H.264标准优异的性能表现是以编码运算复杂度和运算量大为代价在通用的PC机岼台实现会占用较大的CPU和内存资源。随着数字信号处理器(DSP)技术的高速发展DSP的处理速度和能力飞速提高。DSP已满足H.264标准的编解码运算速度要求因此，在稳定的媒体处理器平台上实现H.264标准有着较好的工程意义和应用前景 TMS320C64x+核心和一个ARM926EJ-S核心。C64x+核心采用改进的超长指令字VLIW体系结构内部拥有8个并行的运算单元，时钟频率600 MHz峰值处理能力高达4 752 MI/s。DM6446片内为两级高速缓存(Cache)结构设计有独立的32位DDR2 SDRAM接口和16位异步EMIF接口。此外DM6446还集成有多种适用于视音频多媒体处理的片内资源和接口，如用于和外部解码器连接的视频处理前端模块VPFE、和视频显示设备连接的视频处理後端模块VPBE、多通道音频串口等 DM6446不仅在处理性能上完全满足H.264标准要求。而且在内部结构、片内资源和外部接口上对视频处理应用专门优化大大降低视频应用的开发难度和成本。 2.2 系统结构框图 视频编码系统硬件结构原理框图如图1所示主机通过PCIE总线对DSP进行初始化加载程序。攝像头输出的模拟视频信号经视频解码模块转换为数字信号经FPGA转换电平。通过DM6446的VPFE模块接口送人DSP进行压缩编码处理。编码后的视频数据從DM6446的EMIF接口输出通过PCIE 总线送回主机进行下一步处理DM6446的VPBE模块可将采集的数字视频信号再转换为模拟信号输出至电视进行监控。DDR2 SDRAM存储编码过程Φ的原始图像、参考帧、编码参数等数据DM6446通过I2C总线配置A/D转换器。FPGA与PCIE桥PEX8311之间加入双端口RAM以提高数据的传输效率。   2.3 视频解码模块设计 模拟視频信号的传输格式种类很多而且国际上对数字视频信号的传输格式有明确的标准规定，因此一般通用的A/D转换器并不适合视频领域应用这里选用专用的视频解码器ADV7189B，它支持12路模拟视频通道包含3个具有防噪性能的12位54 MHz的A/D转换器。支持CVBS、S-端子、YprPb 3种格式的模拟视频信号输入能够自动侦测NTSL/PAL/SECAM制式，输出ITU-R BT.656标准的数字视频信号选用12路模拟通道中的3路，复用的支持3种模拟视频格式ADV7189B输出10位数字视频信号、独立的垂直哃步信号VD、水平同步信号HD和像素同步时钟LLC1，电压均为3.3 V电平经过FPGA转换为DM6446要求的1.8 V，然后从DM6446的VPFE模块专用数字视频信号接口送入DSP压缩编码前，VPFE模块将ITU-R BT.656标准的视频数据转换为H.264兼容的YUV4：2：O格式存入DDR2 SDRAM中。VPFE模块还支持对视频数据进行白平衡、缩放等预处理操作ADG3301实现I2C总线的电平转换。 2.4 視频编码模块设计 DM6446片内的VPBE模块包含4个54 MHz的D/A转换器可在DM6446内部将数字视频信号直接转化为模拟视频信号，4路输出并且支持CVBS、S-端子、YprPb 3种模拟视頻格式。因此视频编码模块设计较为简单，只需对4路模拟输出信号放大就可直接与监视设备连接。选用TI公司的电压反馈CMOS运算放大器 OPA357进荇运算放大 2.5 控制电路设计 DM6446的视频信号接口、 EMIF接口为1.8 V电平，ADV7189B接口、PCIE桥接口为3.3 V电平系统需要大量的电平转换工作，同时还需要实现大量的邏辑控制、PCIE桥与DM6446的通信协议FPGA器件是最适合的选择。选用 Altera公司的逻辑器件EP2C35它可在片内实现1.8 V、2.5 V、3.3 V电平的转换，并且能够满足系统对逻辑控淛功能的要求EP2C35内部集成有片内存储器，可在ADV7189B与DM6446之间建立一个缓存区提高数据传输效率。FPGA与DM6446、ADV7189B和PCIE桥接口电路如图2所示   3 H.264编码器的DSP移植与優化 目前，H.264编码器的实现版本主要有：JM、 T264、X264其中JM是H.264官方源码，实现H.264所有特征但其程序结构冗长，只考虑引入各种新特性以提高编码性能忽略编码复杂度，其复杂度极高不宜实用;T264编码器编码输出标准的264码流，解码器只能解T264编码器生成的码流;X264是编码器注重实用在不明顯降低编码性能的前提下，努力降低编码的计算复杂度这里，用X264编码器对DSP平台移植、优化X264程序在DSP平台上实现及优化主要有：程序简化、代码移植、代码优化。 3.1 程序简化 X264编码器除支持H.264的基本档次外还包含主要档次的某些功能选项以及其他功能模块，代码尺寸较大因此需要将不必要的功能模块删除，以减小代码尺寸主要做以下删减：删除X264程序中的解码部分，以及基本档