当前位置:首页  音频新闻  厂商动态  电子芯片音频正文

8K超高清技术系统建设与应用

发布时间:07-24 编辑:音频应用

为落实北京市政府关于开办8K超高清电视频道(以下简称8K频道)、推动8K超高清视频(以下简称8K)产业发展的决策部署,北京广播电视台积极推进相关技术系统建设,研制关键设备、完成系统集成、探索创新应用,2021年12月底8K超高清电视试验频道开播,2022年1月5G高新视频8K APP(以下简称8K APP)上线。冬奥会期间,8K技术系统圆满完成科技冬奥应用示

为落实北京市政府关于开办8K超高清电视频道(以下简称8K频道)、推动8K超高清视频(以下简称8K)产业发展的决策部署,北京广播电视台积极推进相关技术系统建设,研制关键设备、完成系统集成、探索创新应用,2021年12月底8K超高清电视试验频道开播,2022年1月5G高新视频8K APP(以下简称8K APP)上线。冬奥会期间,8K技术系统圆满完成科技冬奥应用示范任务。目前,频道已经转入常态化运转状态,并纳入北京市8K产业发展的整体布局。


本文作者:毕江,王立冬,王麒,张宁


北京广播电视台


作者简介:


毕江(1968—),男,教授级高级工程师,中宣部全国宣传文化系统“四个一批”人才,享受国务院特殊津贴,现任北京广播电视台台务会成员、技术管理部主任。多次担任重大项目负责人,多次荣获国家广播电视总局、行业协会颁发的全国性奖项,发表专著2部、论文40余篇,先后取得全国优秀新闻技术工作者、全国优秀影视科技工作者等荣誉称号。


1系统建设与应用


8K频道定位于“自主创新、技术验证、应用示范、产业培育”,技术系统建设突出产品、集成、应用上的创新力度,开播以来取得了良好运转和传播效果,为同类系统建设提供了富含价值的经验参考。


1.1 频道概况


8K频道技术系统建设充分体现了从无到有、攻坚克难的过程。虽然政策导向明确、技术标准具备,但在产品实现和系统集成上仍然完全缺乏参考案例。一路8K无压缩视频码率达到32Gbps,进行多路编解码和效果添加时需要处理的巨大数据量可想而知。单个环节已是如此,系统集成更是挑战。


北京台技术部门牵头成立了工作专班,从项目规划、招标采购到方案细化、系统实施的每个任务阶段,遵循客观实际、着力创新的原则从细节抠起、以达标结束。2021年12月31日频道正式开播,2022年1月25日科技冬奥8K应用示范开始,1月28日8K APP登陆手机应用市场,面向互联网用户提供媒体服务。图1为频道播出机房全景。



360se_picture (3).jpg

图1 8K频道播出机房


频道筹备和项目实施期间,并行完成了制播系统建设、内容生产储备、手机APP研发三条主线任务:


制播系统目标是满足开播后业务运转和播出发布的业务需求,打通制播流程、形成基础产能、支撑频道运转;


内容生产储备聚焦于开播初期特别是冬奥期间的节目播出需求,包括50小时以上原生节目、100小时以上原生素材;


APP定位在5G高新视频移动应用,依托频道制作能力,探索高端垂类内容业务场景,拓展融合分发渠道。


频道开播后制播系统运行平稳、业务运转顺畅、播出效果优异,APP上线后功能实现完整、应用体验出色,取得了政府、社会、媒体的一致肯定。冬奥会期间,8K频道播出传送系统承担科技冬奥8K应用示范集成播控平台职能,为公共大屏、电视中屏、移动小屏提供统一信源,包括热点商圈、文化机构、街心广场的30块大型LED屏幕,以及示范社区的200个电视终端,转播奥运赛事、宣传双奥之城。大屏现场效果如图2所示。


360se_picture (4).jpg

图2 科技冬奥8K应用示范公共大屏现场


1.2 系统构成


拍摄设备集群包括8K全画幅数字摄像机、Super 35mm摄影机等,使用RAW原始图像记录格式,辅以延时摄影机和慢直播系统。制播网络系统包括制作、备播、播出、传送4个功能域,如图3所示。



360se_picture (5).jpg

图3 8K制播网络系统功能划分


制作域以大容量高速中央存储为核心,部署剪辑、调色、图像修复/增强站点,成片经技术、内容审核后提交整备流程,实现网络化备播;


备播域实现节目管理、播出编单、迁移拷贝、成片存储等功能,节目文件关联代码并链接节目单条目,自动迁移到播出服务器;


播出域采用IP架构,通过SDN实现IP矩阵信号调度,播出服务器集群采用异构三备实现方式;


传送域编码环节采用IP末级切换冗余机制,向有线网络、IPTV、科技冬奥示范终端、手机APP输出信号。


1.3 技术特点


1.3.1 全面支持新型编码格式


8K制播系统各功能域全面支持JPEG-XS(ISO/IEC 21122:2019)格式。播出域实行JPEG-XS、ProRes、单文件XAVC、分层编码SUVC多格式混播,播出、传送信号域采用符合SMPTE 2110-22协议的JPEG-XS视频流。


1.3.2 引领核心产品功能完善


设备性能瓶颈是现阶段困扰8K处理设备研发的难点问题。推进自主创新,优化底层算法,发掘硬件平台潜力,成功研制8K播出服务器、AI上转换器、协议转换网关等关键设备,取得以下成果:


一是提升资源使用率、支撑核心应用。研制实现多格式文件混合播出功能的播出服务器。针对部分文件格式解码算力要求过高、导致播出效果劣化的问题,引入CPU+GPU并行处理模式,分别负责多格式文件解码和JPEG-XS视频流编码,结合CPU调用保护和播放预处理机制,取得了稳定、顺畅的播出效果。


二是保障图像质量、扩大内容供给。围绕高价值历史素材需求,采用逆色调映射上转换神经网络,对算法模型进行定制优化,并不断训练、改进。同时,结合高分辨率、高帧频重建算法,达成性能稳定的高画质AI上转换效果。


三是优化编码方法、改善用户体验。在AVS3编码环节,采用兴趣中心区域感知及算法模型,识别人脸五官、台标字幕等视觉集中区域,定向分配更多码率资源,针对性提升区域画质效果,优化整体观看体验。目前已经形成23项知识成果,包括发明专利16项、软件著作权7项。


1.3.3 研发强互动体验客户端


8K APP研发国内首款支持超高质量视音频格式的客户端播放器,探索新场景、新应用,拓展8K融合分发渠道,打造“高沉浸、强互动”应用体验,取得以下成果:


创新实现手机端8K视频播放,内置双指触控功能,通过手势进行画面缩放,充分发挥超高分辨率优势、淋漓尽致展现画面细节;


集成中、短视频分享服务,依托AI视频增强处理能力,将4K和高清UGC内容上转换为8K格式对外发布;


引入多机位、多视角直播功能,用户根据自身偏好灵活选择现场机位,满足个性化收视需求;


提供8K频道内容直播/点播、互动视频、AR/VR、裸眼3D、全景视频自由视角收看等多种高新视频服务。


客户端用户界面和功能实现如图4所示。



360se_picture (6).jpg

图4 8K APP用户界面和功能实现


1.4 应用感受


频道开播至今,系统正常运行超过三个月,总体态势良好。从技术验证角度,设计关键点均已按要求实现;从产品完善角度,核心设备性能和功能进入了稳定可控的持续优化过程。从业务支撑角度,最大的需求来自于内容供给。开播初期可以靠内容储备和赛事转播,转入常态化运转后,节目产能难以跟上业务需求。


对于电视频道来说,即使考虑试验性质,每天1-2小时的纯首播内容比较理想,8K APP更需要在频道生产能力基础上进行素材的二次加工。现有生产效率严重制约了产能输出,供需矛盾显著。从业务推广角度,总体用户触达规模如果不能快速放大,终端呈现效果得不到有效保障,也将对频道运转和内容运营带来影响。


1.4.1 电影生产模式效率瓶颈显著


目前,在8K电视节目制播流程尚未成熟的情况下,采取电影模式可以快速形成生产能力。但该模式强调精工细作、侧重个性表达,与电视节目的规模化生产要求存在显著差异,主要体现在以下几个方面:


一是现场制作能力不足。现场直播、准直播录制是电视节目实时性特点的突出体现,也是频道内容来源的重要支柱。电影生产模式仅能单机拍摄,无法支持多机位协同,带来了巨大的处理工作量。


二是后期制作工艺复杂。相比高清乃至4K,8K对调色环节提出了更高的精度要求。制作人员要利用专用工具修复前期拍摄瑕疵,结合内容创意调整画面影调、色彩以及局部细节,操作的标准化程度有限。


三是算力资源瓶颈突出。剪辑、调色、合成等环节需多次生成数字中间片,迁移交换效率不高。8K视频处理对设备性能的要求明显超出当前指标范围,带来的往往是执行效率的大幅降低。


1.4.2 内容传播链条亟待拓展完善


8K频道提供了内容传播链条的上游供给环节,但在传输分发、终端呈现等环节仍需加大投入力度、实现协同发展。


一是节目传输分发渠道不足、用户规模受限。有线电视、IPTV是8K内容触达用户的重要途径。但有线网络IP化改造尚未全面完成,IPTV接入网8K支持能力不足,整体而言能够享受8K视听服务的用户不多。


二是终端解码能力较弱、显示适配不理想。电视机顶盒通过调用芯片底层能力实现视音频解码,目前除了受制于产能导致供货量有限,算力不足也会使高频成份丰富的复杂场景出现局部马赛克现象。手机品牌众多,自身对高质量视音频的解码能力差异较大,而通过应用软件来强化解码能力也会显得过于沉重。同时,部分品牌屏幕面板对8K技术指标特别是峰值亮度、伽马曲线等的支持度有限,也会影响视觉呈现效果。


2后续规划


今后将从系统扩容升级和业务领域拓展两个任务方向,坚持技术、产品、集成、应用创新,一方面自身扩充能力、提升产量,另一方面通过跨领域合作谋求产业发展。


2.1 系统扩容升级


截至3月底,后续技术项目已经完成招标采购,处于细化设计与搭建实施阶段。建设目标侧重于产能规模和业务效率,通过规模化制作、现场生产、沉浸式演播三个主体系统建设,满足支撑频道常态运转的内容需求。


2.1.1 规模化制作系统


依托全台节目制播体系云架构,建设8K后期制作系统,实现标准化、流程化、规模化的内容生产,生产模式由电影向电视转化。主要内容包括:扩充存储和网络基础资源,强化智能渲染、转码、超分处理能力,部署收录、编辑、调色、审片工具,达成备播、归档、调用等网络流程。


2.1.2 现场生产系统


建设小型箱载式8K EFP现场生产系统,打通与制作系统接口,对录制内容进行简单编辑后快速输出,充实8K频道内容来源。该系统采用4×12G SDI架构,配置3讯道,可在演播室或外场灵活部署,支持访谈、生活、资讯类节目形态的现场制作和多通道收录。


2.1.3 沉浸式演播系统


建设沉浸式演播系统,集成XR(eXtended Reality)扩展现实、360°全景VR等多种应用形态,丰富节目表现手段、提升视觉冲击力,为8K频道和APP用户提供强互动、高沉浸收视体验。


2.2 业务领域拓展


按照市政府部署,圆满完成科技冬奥8K应用示范任务后,北京台工作重心将以频道运转和产业带动并重,着眼点从传统的电视节目制播业务向内容生产、分发、消费全产业链延伸。除了加强频道常态化运转管理之外,计划以需求侧模式创新和供给侧平台建设为切入点,通过需求侧创新带动供给侧适配,两者有机结合共同推进超高清内容产业加速发展。


2.2.1 需求侧模式创新


在市广电局、经信局等行业主管部门支持下,积极推进跨平台融合传播模式创新,打通渠道、终端、用户传播链条,在公共大屏、电视中屏、移动小屏三个方向上协同推进,依托多终端、多样态呈现形式,扩大8K超高清影响力和应用度。


主要途径包括:


协调有线网络、IPTV运营商配合,加大投入力度、改造传输网络,推动接收终端入户,扩大8K频道用户收视范围;


与智能电视终端、互联网电视集成播控平台合作,通过内容专区“信息流+点播”方式拓展8K分发渠道;


与电视、手机、屏幕生产商协同,围绕超高清关键技术指标,完善终端技术规范、优化呈现效果;


积极参与北京市公共大屏集成播控平台建设,合作开展内容生产和运营;


加速现有8K APP升级迭代,创新应用样态的同时,优化用户界面、提升用户黏性、扩大用户规模。


2.2.2 供给侧平台建设


适配需求侧模式创新成果,推进供给侧产能适配。在市政府统一部署和相关委办局支持下,联合相关科技企业,建设8K超高清内容制作产业基地,打造内容产生技术支撑平台,推广工业化生产模式,提升业务效率,降低生产成本,服务全市超高清视频制作机构,从源头加强高品质视听内容供给,促进全产业链协同发展。


主要途径包括:


北京台牵头组建8K超高清内容制作公司,发挥本市内容生产龙头带动作用;


协同市经信局和科技企业,共建8K产业基地技术支撑系统,为北京超高清科技创新平台研究成果提供验证环境和应用场景、促进落地转化的同时,形成生产效率高、综合成本适度的超高清内容生产能力;


依托基地、系统、平台的技术和应用优势,吸引更多视频生产机构加大投入、开展超高清及高新视频内容生产,全面带动内容供给增长。


3结束语


8K超高清产业发展涉及芯片、设备、系统、终端等多个领域,完整覆盖高质量视音频内容的生产、传播、消费链条。北京广播电视台通过8K频道系统建设与技术应用,在技术创新、产品研制、系统建设、应用验证、场景拓展等方面取得了显著成果,并将在推动产业发展方面贡献更多力量。


未来两三年可能成为以4K/8K超高清、环绕声/三维声为代表的高质量视音频内容生产需求爆发的关键时间窗口,性能不足、流程复杂、效率低下、成本高昂等困扰当下的问题将在超高清节目制作工业化演进的大趋势下逐步缓解,规模、集约方式的高端内容生产能力建设成为广播电视台技术工作的重要方向。


更应该看到的是,高品质视听内容的输出渠道和消费场景不仅限于频道播出和大屏呈现,更将成为从互动、沉浸式高新视频应用直至元宇宙虚拟空间构建的基础性支撑。也就是说,基于超高清内容的创新性多样态应用,将是一段时间内业务拓展的广阔蓝海。


本论文所涉及系统建设和应用情况,基于北京广播电视台8K试验频道技术系统建设项目,中共北京市委宣传部部务会纪要「2020」第34期,同意北京广播电视台8K超高清电视试验频道建设方案,要求按照“积极、稳妥、节俭”原则推进相关工作。项目资金来源于北京广播电视台内自有资金,由北京广播电视台8K技术工作专班共同完成。


声明:该文观点仅代表作者本人,音频应用信息发布平台,官网仅提供信息存储空间服务。
最新音频交流