您好,欢迎来到锐游网。
搜索
您的当前位置:首页多视视频编码标准MVC

多视视频编码标准MVC

来源:锐游网
I内容制播》 ・l  Content-Productlon&Broadcasting 多视视频编码标准MVC ◎王强郭晓强解伟国家广电总局广播科学研究院 dimensional Television System Technologies)项目,研究从二 摘要:近年,三维电视、自由视点电视等应用得到了 维电视到三维电视的过渡技术 并分别在2004年和2008年 相关工业界与产业界的极大关注与推动。国际标准化 在FP6和FP7项目规划中对三维电视和三维手机的研究进行 组织rrU-T与ISO,IEC联合制定了多视视频编码标准 了重点资助.研究内容包括三维视频的采集、编码、传输、 (MVC,Multi—view Video Coding standard),为三维电视、 显示等关键技术环节。显示设备制造商,如飞利浦、夏普、 自由视点电视等应用提供了高效的信源编码方案。MVC 索尼、三星 LG、三菱等,近年都相继推出了家用高分辨率 标准以H.264/A、,C标准补篇(Amendment)的形式出现, 立体显示设备。蓝光协会(Blu-ray Disc Association.BDA) 它继承并发展了H.264/AVC标准的高效编码技术,并后 目前也启动了立体视频光盘的项目。日本BSI1频道甚至在每 向兼容H.264/AVC标准。这确保了MVC标准技术的先 天固定时段播出三维电视节目。 进性与应用实施的可行性。本文对MVC标准的目标应用、 国际运动图像专家组MPEG(ISO/IEC JTC1/SC29/ 技术需求、技术情况、性能、应用前景等方面进行介绍 WG1 1)也预见到三维立体媒体将成为历史必然,因此MPEG 和分析。 在2002年启动了三维音视频(3DAV,3D Audio-Visua1)相 关技术研究与标准化工作,并将三维电视(3DTV,3-D 关键词:多视视频编码视频编码标准 三维电视 自 Television)与自由视点电视(FTV Free viewpoint Television) 由视点电视 列为重点应用。3DTV与FTV系统的一个核心技术环节即是多 视视频的高效编码。2005年7月,MPEG在确认了高效多视 视频编码技术存在的前提下,正式对多视视频编码技术进行 了提案召集…并输出了MVC需求文档,至此MVC标准化工 0引言 作正式启动。 从平面摄影技术诞生的那天起,人类便开始了三维影像 2006年1月.在75次MPEG曼谷会议上,MPEG收到了 技术的探索。1849年,David Brewster发明了改良型的立体镜 来自1 2家单位的8项MVC技术方案提案。其中德国HHI的 从而可以方便地观察具有视差效果的立体照片获得立体视觉。 方案 采用H 264/AVC编码技术并支持灵活的视间预测结 1 9世纪末,人们开始了三维电影技术的研究,并于1 922年 构.获得了最好的主观测试结果。HHI的技术方案被采用为基 在洛杉矶Ambassador Hotel上映了第一部三维电影。随后, 本平台,在此基础上进行后续MVC标准化工作。2006年7月. 经历了上世纪5O年代三维电影的蓬勃发展 目前我们已经可 MVC标准的制定转由JVT(Joint Video Team)执行。JVT是 以在世界各地的影院中感受三维电影带来的视觉精彩。 国际电联视频编码专家组VCEG(ITU—T SG16 Q 6/16)与 近年 随着电子技术、显示技术以及网络技术的发展. MPEG的联合工作组。2006年10月MVC标准形成了第一版 人们开始逐渐认识到三维电视走进家庭正在成为现实。三维 WD(Working Draft),2008年1月MVC标准形成FPDAM(Final 电视背后所蕴藏的巨大市场机会以及成为强大经济增长点 Proposed Draft Amendment) ,至此MVC标准基本制定完成。 的可能激发了各国政府以及相关工业界与产业界的极大热 MVC标准以H 264/AVC 标准补篇cAmendment)的 情。欧盟在2002年3月启动了ATTEST(Advanced Three— 形式出现,后向兼容H.264/AVC标准。这确保了MVC标 84 广播与电视技术 2010年第10期 ■■—●I内容制播 l ContentProduction&Broadcasting 个观看者能够欣赏到各自视角下的立体视频),或者单一观 看者小幅度移动视角欣赏相近视角下的立体视频。因此,根 准技术的先进性以及应用实施的可行性。目前,MVC标准 在MPEG系列标准中的正式名称是ISO/IEC 14496—10:2008 Amendment 1 Multiview Video Coding。本文对MVC标准进 行介绍.包括MVC标准的目标应用、技术需求、技术情况、 据3DTV终端用户显示设备的不同.两路或者多路视频需要 同时解码并显示。这要求MVC编解码技术能够有效地控制计 算、存储开销以利于产品实现.并且支持并行处理以保证实 时解码。MVC码流还需要具有可伸缩性,即MVC码流可以 ‘ 性能表现以及应用前景。 1 MVC目标应用 MVC标准制定的目标主要是为三维电视(3DTV)以及自 较灵活地进行抽取。这样根据3DTV终端用户显示能力的不同, 只将必要的码流抽取出来并分发 从而节省传输带宽。码流 的抽取可以在媒体服务器或媒体网关上进行。 由视点电视(FTV)等应用中的多视视频提供高效的信源编码 方案。三维电视通常要同时显示两路视频信号(分别用于双 目的观看),从而观看者能够获取景深信息 感受到三维立体 感。自由视点电视允许观看者选择观看视点,通过视点切换 对于FTV终端用户,观看者可以自由地切换观看视点。 如果观看者选择了拍摄时不存在的视点,可以利用相邻两个 视点合成此视点下的视频。FTV应用要求特定视点的码流能 够有效地从整体MVC码流中抽取出来。MVC编解码技术要 能够高效地支持视点切换。 观看者可以实现个人偏爱观看角度的自由选择。三维电视系 统与自由视点电视系统的技术共同点是需要对同一场景的多 路视频信号进行编码。 图1给出了用于3DTV与FTV应用的端到端多视视频编 考虑到二维电视.如HDTV,将在相当长一段时间内继续 保持主流地位 MVC的部分码流需要能够在二维电视系统中 解码显示。这意味着MVC标准要实现后向兼容,例如后向兼 容H.264/AVC标准。 码系统框图 。在这样一个系统中.多视视频采集后送给多 视视频编码器进行编码。之后,媒体服务器将编码后的码流 通过网络分发给不同的终端用户。网络中的媒体网关对视频 流进行转发,同时媒体网关还具有对视频流操作的能力,例 如根据终端用户的需要提取部分视频流转发给终端用户。最 后,终端用户接收到各自所需的视频流后进行解码显示。 对于3DTV终端用户 简单的立体显示设备只能显示 一2 MVC技术需求 综合考虑MVC标准的目标应用场景.MPEG为MVC标准 提出了如下技术需求 。这些技术需求明确了MVC标准的技 术走向,给出了标准制定过程中技术取舍的基本原则。 个视角下的两路具有视差效果的视频信号.而且观看者 1编码效率:MVC标准要具有高编码效率以有效节省多 视视频的存储空间和传输带宽。具体地.MVC标准的编码效 需要佩戴眼镜。高级的自动立体显示设备(autostere0sc0pic displays)无需观看者佩戴眼镜,而且可以同时显示多个相近 视角下的立体视频。这样可以实现多个观看者同时欣赏(每 率要明显高于Simulcast编码。这里Simulcast编码是指每个 视点的视频采用现有技术标准.如H 264/AVC,进行独立编 码。 2.可伸缩性:MVC标准要支持 视点可伸缩(view scalabiIity与free viewpoint scalability) 即MVC码流可以 进行灵活的抽取以获得特定的一个或多 个视点的码流进行解码显示或者解码合 成虚拟视点。 3.后向兼容:任一时刻.MVC某一 视点的码流结构要与H 264/AVC标准兼 容。 4.低延迟:MVC标准要支持低延迟 编解码。 5随机访问:MVC标准要支持视间 86 广播与电视技术 2010年第10期 l r1tr啊 耳 : I Production&Broadcasting 囊 ≮ 随机访问以及视内时域随机访问。 间相关性可以被有效地挖掘。 6.并行处理:MVC标准要支持多视并行处理能力,这样 MVC标准将多视视频交织编码为一个码流,视问以及视 有助于编解码的高效实现。 内时域上都存在较复杂的预测关系。为实现高效的参考帧管 7.资源管理:MVC标准要能够实现有效的解码资源管理, 理.MVC标准在H 264/AVC标准的基础上定义了新的语法 以支持同一时刻多视点多帧图像的顺序解码等等。 元素来增强参考帧列表管理能力。增强后的参考帧列表管理 8.视频格式:QCIF到HD分辨率 YUV 4:2:0.8 机制可以实现任意参考帧,包括视内时域参考帧与视间参考 比特/像素精度。 帧,在参考帧列表中的加入以及参考帧列表的重排序和截断。 此外.还有一些非强制性满足的技术需求,如容错要求. 这样,任一当前待编码帧的前向和后向参考帧列表都可以维 编解码复杂度要求等等。 护在一个完备、高效排序的状态下,从而实现高效的预测和 编码。在复杂预测结构下的多视编码中,高效的解码缓冲区 3 MVC技术介绍 管理对于降低实现代价至关重要。解码缓冲区管理操作包括 MVC标准建立在H.264/AVC标准之上,以H 264/AVC 将解码视频帧放入缓;中区.对解码帧进行标记以表示是否用 标准补篇《附录H)的形式出现。在MVC标准制定过程中, 于后续解码帧的参考 以及将解码帧移出缓冲区。MVC标准 出现了如亮度补偿、视问直接模式等进一步提高编码效率的 利用视问预测关系 视频帧是否用于视问视内参考等信息优 工具,但考虑到兼容、效率与复杂度的折中等因素,这些编 化解码缓;中区的大小。 码工具最终没有被MVC标准采纳。目前MVC标准完全采用 在多个视点中 MVC标准选择一个视点作为基视(base H 264/AVC High Profile中已有的编码工具。这些编码工具 view)。基视不利用其它视点做预测.并且用完全兼容H.264/ 包括,多方向帧内补偿、可变块大小帧问补偿、多参考帧、 AVC High Profile的方式进行编码 从而MVC标准具有后向 1/4像素精度运动补偿、自适应4x4与8x8整数DCT变换、 兼容的能力。此外,MVC标准在视间预测时禁用了时域直接 CAVLC与CABAC熵编码、环内滤波、基于视觉特性的量化 模式(temporal di rect mode)以避免编码效率降低。 缩放矩阵等。关于H 264/AVC High Profile中编码工具的介 3.2码流抽取 绍可以参考文献[7-8] 本文不再叙述。目前,MVC标准只 MVC标准支持视点可伸缩与时域可伸缩。也就是说,符 有一个档次.为Multiview High Profile。这个档次不支持隔 合MVC标准的码流可以进行部分的抽取,以获得特定的一个 行扫描视频的编码.为解决这个问题以及满足其它应用需要, 或多个视点的码流或者帧率缩减的码流,抽取出的码流可以 MVC标准正在考虑制定一个新的档次Stereo High Profile。 独立解码并显示。 相对于H 264/AVC标准,MVC标准主要有两方面的技 在介绍码流抽取机制之前.首先简单地介绍一下NAL的 术增强。第一.MVC标准支持灵活的视间预测结构来挖掘 概念。NAL是H 264/AVC标准所采用的一种码流组织技术, 视间相关性,因此编码效率显著提高。视间预测结构通过 采用NAL有利于非对等的差错保护。关于NAL的详细介绍见 MVC标准新增定义的扩展序列参数集(sequence parameter 参考文献[7]。 set MVC extension.SPSE)来表明。第二.MVC标准扩展 MVC标准新增定义了NAL头的扩展.通过NAL头扩展 了NAL头(Network Abstraction Layer),并定义了一些新的 中的view—id temporal—id,priority—id以及inter—view_flag. 语法元素和SEI信息(Supplemental Enhancement lnf0rmati0n 并结合SPSE中提供的视间预测依赖关系信息,完成特定码 messages),借以实现高效参考帧管理,码流抽取,随机访问 流的抽取。MVC标准还定义了scalable nesting SEI信息以及 并行处理等功能。 view scalabi  lity information SEI信息来辅助码流抽取的进行。 3.1视间预测 特别地,当基视的码流从MVC码流中抽取出来则形成了一个 由于多视视频采集于同一场景,多视视频通常具有较强 标准H.264/AVC解码器可解的单视视频流。 的视问相关性。因此.多视视频高效编码的关键是要能够有 3.3随机访问 效利用视间相关性提高编码效率。MVC标准支持非常灵活的 在MVC系统中,随机访问包括时域方向上的随机访问, 视问预测结构.例如标准最多支持一个视点采用其它1 6个视 即选择一个或多个视点的特定时刻进行播放,以及视点方向 点进行视问预测.从而不同场景以及不同摄像机设置下的视 上的随机访问,即视点切换。 88 广播与电视技术 2010年第10期 ■■■■_I内容制播: I Content Production&Broadcasting 在一特定时刻解码播放首先需要检索码流中此时刻前最 近邻的随机访问点,之后确定此随机访问点由于视问预测所 依赖的其它视点NAL单元.最后解码此随机访问点的相关 NAL单元.从而启动一个时域随机访问操作后的解码显示过 程。一个IDR帧(Instantaneous Decoding Refresh picture)即 是一个随机访问点。IDR帧是完全采用帧内预测进行编码的 视频帧,并且其后的视频帧(按照码流顺序.而非显示顺序) 不采用IDR帧之前(按照码流顺序)的视频帧进行帧问预测。 视点切换包括从一个视点切换到另一个视点以及从多个 视点切换到另外多个视点。一种视点切换的方式是采用IDR帧。 Akkokayo Ballroom Breakdancers 序列 帧数 300 250 100 MvC相比 25.43 23.03 9.82 casI:i自薯鹞 1.428 1.049 0.241 《 码率节省(%) 峰值信噪比提高。( B Exit Flamenco2 Race1 250 250 250 l3.1O 1O.62 32.98 0.387 O.512 1.7l1 Rena 250 20.97 1.064 平均 19.42 O.913 现复杂度进行简要分析。 JVT提案JVT—Y044 给出了MVC标准的编码效率测试 另一种方式是采用H 264/AVC标准中的SP/SI帧 。SP/SI 帧允许在预测不同的情况下,解码重构出相同的视频帧。 结果。在MVC标准制定过程中所采用的通用测试条件下 MVC相比Simulcast编码,编码码率平均节省1 9.42%.相 当于PSNR提高0 91 3dB。这里Simulcast编码是指每个视 点的视频采用H 264/AVC进行独立编码。表1给出了提案 3 4并行解码 由于视点之间预测依赖的存在 备视点同一时刻的视频 帧通常要按照依赖关系顺序解码。在解码显示的视点数目较 多时.这--A序执行方式给实时解码带来了极大的困难。为 此 MVC标准采用了并行解码SEI信息(parallel decoding information SEI message),以实现各个视点的并行解码。并行 解码sEl信息提供了视点之间预测限制信息.例如某一视点 宏块只能采用其它视点的部分宏块进行预测,从而预测依赖 JVT—Y044所列出的各测试序列下MVC与Simulcast编码的编 码效率比较结果。 严格分析MVC编解码的实现复杂度是一项非常复杂的工 作,这与其实现方式相关,不同的实现方式(如DSP,FPGA, ASIC)会有不同的分析结果。这里我们只从编解码算法的角 所需的其它视点的部分宏块解码完毕后,即可以开始当前视 点的解码.而无须等到其它视点解码完毕。 3.5 SEI信息 除了前文所提及的三种sEI信息外,MVC标准还定义了 如下SEI信息以实现更加高效的MVC编解码系统。 1 muhiview acquisition information SEI信息 以 及 度,对MVC编解码复杂度进行简单分析。目前.MVC标准 的Multiview High Profile完全采用H.264/AVC High Profile中 的编码工具 因此MVC编解码一路视频的复杂度与H.264/ AVC High Profile编解码相当。那么 MVC编解码N路视频 的复杂度将是H 264/AVC High Profile编解码复杂度的N倍 还多。这里,“还多 是指由于多视编码中复杂的视问预测关 multiview scene informati0n SEI信息:描述了摄像机参数信息 以及场景景深信息,用于虚拟视点的合成。 系所导致的更加复杂的参考帧管理机制、额外的解码缓冲区 开销等。MVC标准已经提供一些机制,例如3 4节所介绍的 并行解码SEI信息 来提高快速解码的能力。已经有相关研 2 Non—requi red view component SEI信息:标识不参与解 码的视频帧.以避免额外的传输.解码和缓冲。 3l view dependency change SEI信息:描述视点预测关系 _ t 究采用IBM的Cel  Brloadband EngineTM多核处理器实现MVC 的并行解码,以及调整预测结构实现MVC 的实时并行解码。 面对高分辨率视频,MVC的实时高效编解码是一项非常有挑 战性的工作 这里面还有许多研发工作需要开展。 的变化。 4 operation point not present SEI信息:当网络环境发生 变化时.如带宽降低、丢包率增大等,描述MVC码流中可用 视点、帧率等的变化。 5 base view temporal HRD SEI信息:协助管理基视虚拟 解码缓冲区。 5 MVC应用前景分析 MVC标准代表了目前最先进的多视视频编码技术.因此 在实际应用中MVC标准具有良好的技术优势。在MVC标准 之前,还有MPEG一2的Multiview Profile可以用于双视立体视 4 MVC性能介绍 这里主要介绍MVC标准的编码效率并对MVC编解码实 频的编码。但MPEG一2的编码效率明显低于H.264/AVC,而 面对多视视频高传输带宽和高存储空间需求,高编码效率显 90 广播与电视技术 2010年第10期 . I*ItIM ̄il幢■l  Content Producaon&Broadcasting I 得尤为重要。目前.我们国家的AVS标准工作组正在着手制 定AVS立体视频编码标准”…。 技术的成功转化还需要多方面因素的共同推动。MVC标 .需要.将促进三维电视、自由视点电视的应用与发展。圃参考文献 [1]ISO/IEC rrCl/SC29/wGl l,“Call for proposals Oil multi- view video coding,”Doc.N7327,Poznan,Poland,July 2005. 准的实践应用与三维电视、自由视点电视等应用的启动息息 相关 相辅相成。在市场需求与预期方面.1)消费者已对三 [2]Fraunhofer HHI,“Multiview coding using AVC,”ISO/IEC JTCl/SC29/WG1l(MPEG)Doc.ml2945,Bangkok,Thafland, Jan.2006. 维电影、三维电脑游戏表现出了极大的热情.相信三维电视 也一定会得到消费者的追捧:2)相关业界普遍认为三维电视 将是广播电视领域的下一次革新,其意义如同黑白电视到彩 色电视的转换 并给予极大的推动。在实施基础方面,1)立 体视频内容的采集与生成技术日趋成熟.包括多摄像机的协 同采集技术以及二维视频转换为三维视频的转换技术;2)传 输带宽进一步扩大.如我国正在着手构建下一代广播电视网, 届时传输带宽将大幅提升 这为三维电视 立体电视的应用 奠定了物理基础:3)立体显示设备日趋成熟 目前需要观看 者配戴眼镜的高分辨率立体显示设备已经比较普遍.无需观 【3】Joint Video Tearn of ISO/IEC JTC l/SC29/WG I1 and ITU—T SGl6 Q.6/l6,“Text of ISO/IEC l4496-l0:200X/ FPDAM 1 Multiview Video Coding,”MPEG Doc.N9576, Antalya,Turkey,Jan.2008. 【4】ITU—T Rec.H.264,“Advanced video coding for generic audiovisual services,”Mar.2005. 【5】Y.Chen,Y.Wang,K.Ugur,M.Hannuksela,J. Lainema,and M.Gabbouj,“The emerging MVC standard for 3D video services,’’EURASIP Journal on Advances in Signal Processing,vo1.2009,article ID 786015,2009. [6]IS0/IEC JTCl/SC29/WGl1,“Requirements on multi-view video coding v.7,”Doc.N8218,Klagenfurt,Austria,July 2006. 看者配戴眼镜的自动立体显示设备也趋于完善.目前已有用 于自由视点电视的显示设备可同时显示1OO个视点的视频 。 近年,国外明显加快了推进三维电视的步伐。2008年 BBC开展了三维电视的测试实验。英国广播电视运营商sky 计划推出三维电视频道。蓝光协会BDA启动了立体视频光盘 的项目。日本BS11频道播出了三维电视节目。随着三维电视、 自由视点电视等应用的逐步启动.MVC标准的应用空间将逐 步扩大。 [7】T.Wiegand,G.Sullivan,G.Bjontegaard,and A.Luthra, “Overview of the H.264/AVC video coding standard.”IEEE Trans.on Circuits Syst.Video Techno1.,vo1.1 3,no.7,PP. 560-576,July 2003. 【8】G.Sullivan,P.Topiwala,and Ajay Luthra,“Tile H.264/AVC advanced video coding standard:overview and introduction to the fidelity range extensions.”in SPIE Proc. Applications of Digital Image Processing XXVII.vo1.5558. Denver,C0,Aug.2004. 6结束语 MVC标准在ITU—T VCEG与ISO/IEC MPEG的共同努力 下制定完成。MVC标准对技术的先进性与技术实现的可行性 [9]D.Tian,P.Pandit,P.Yin,and C.Gonlila,“Study of MVC Coding Tools,”JVT Doc.JVT-Y044,Shenzhen.China, 0ct.2007. 【10】AVS需求组.三维视频应用的技术需求.AVS文档Nl615,绵阳, 2009年6月. 进行了很好的平衡,为三维电视、自由视点电视等应用提供 了高效的信源编码方案。MVC标准的出现契合了产业发展的 湖北深@II:II ̄京IPTV集成播控平台成功对接 嘲》国庆节前两天,继9月25日IPTV集成播控四川分平台完成对接之后,武汉、深圳、北京也相继完成对接 根据国家“三网融合”政策要求,试点地区IPTV集成播控分平台由中央电视台(具体由中国网络电视台)会同地方 电视台,按照全国统一规划、统一标准、统一组织、统一管理的原则建设,实现两级平台一起对节目内容统一集成和播出 控制,以及电子节目指南(EPG)管理、用户管理、鉴权认证计费等主要业务功能。 湖北广播电视总台作为“三网融合”试点地区第一家与中国网络电视台签约的播出机构,仅用两个月时间就完成了招 标、采购、分平台建设,并对接成功。其余三地筹备时间相当。另据了解,目前对接的仅是广电部分的中央与地方两级播 控平台,电信部分的传输平台尚未接入。 2010年第10期 广播与电视技术 9】 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- ryyc.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务