西電通院在國際頂會(huì)CVPR2020視頻壓縮挑戰(zhàn)賽獲得全球第四（高校第二）

（通訊稿：何剛）一年一度的計(jì)算機(jī)視覺學(xué)術(shù)盛宴CVPR（IEEE Conference on Computer Vision and Pattern Recognition）近日剛剛落下帷幕。在本屆CVPR大會(huì)中，為了促進(jìn)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺技術(shù)在圖像和視頻壓縮領(lǐng)域的發(fā)展，由Google，Nvidia等公司聯(lián)合舉辦的CVPR-CLIC（Challenge on Learned Image Compression）競賽吸引了大量的隊(duì)伍參與，其中也包括圖鴨科技、阿里達(dá)摩院等在業(yè)內(nèi)處于領(lǐng)先地位的科技公司與組織。

       在歷經(jīng)三個(gè)多月的激烈角逐后，西安電子科技大學(xué)通信工程學(xué)院何剛老師（https://web.xidian.edu.cn/ghe/）帶領(lǐng)團(tuán)隊(duì)WestWorld在視頻壓縮賽道（P-frame track）中獲得了全球第四，高校排名第二的優(yōu)異成績。何剛老師是通信工程學(xué)院圖像傳輸與處理研究所（圖像所）骨干成員，圖像所隸屬于ISN國家重點(diǎn)實(shí)驗(yàn)室，負(fù)責(zé)人為李云松教授。下圖為各隊(duì)伍成績排名情況（隊(duì)伍名藍(lán)色為認(rèn)定有效參賽隊(duì)及有效參賽成績）。http://challenge.compression.cc/leaderboard/pframe/test/

圖1 CVPR-CLIC視頻壓縮賽道比賽結(jié)果

       視頻流量占據(jù)了全球互聯(lián)網(wǎng)流量的主要部分，并且將在2022增長至79%。視頻壓縮是必不可少的，該領(lǐng)域的研究開發(fā)也從未停止腳步。越來越成熟且先進(jìn)的視頻壓縮標(biāo)準(zhǔn)例如H.266、AV1等都已被提出。而深度學(xué)習(xí)在該領(lǐng)域的發(fā)展也是飛速的，其壓縮性能已經(jīng)可以趕超部分傳統(tǒng)壓縮標(biāo)準(zhǔn)。

       本次大賽中，基于深度學(xué)習(xí)的視頻壓縮作為一個(gè)全新的賽道，在對傳輸碼流大小進(jìn)行嚴(yán)格限制的情況下，以MS-SSIM作為主要評價(jià)指標(biāo)衡量方案的壓縮性能。何剛老師帶領(lǐng)WestWorld團(tuán)隊(duì)結(jié)合傳統(tǒng)編解碼的特性，創(chuàng)新性地將深度學(xué)習(xí)“過擬合”方式應(yīng)用于視頻壓縮，并且設(shè)計(jì)出魯棒的碼率控制算法大幅提升壓縮效率，在競賽中主觀評價(jià)指標(biāo)MS-SSIM的結(jié)果在所有參賽隊(duì)伍中處于前列（與第一名TUCODEC_SSIM僅差0.00025）。此外，該方案在解碼器的輕量化及解碼速度上取得了重大突破，在與前三名MS-SSIM相近的情況下，該方案的解碼器大小在所有隊(duì)伍中最小，如圖2所示；且該方案的解碼速度均快于前三名，如圖3所示。

圖2 解碼器大小與MS-SSIM的對比

圖3 解碼速度與MS-SSIM的對比

       深度學(xué)習(xí)給壓縮領(lǐng)域帶來了全新的方向，甚至有取代傳統(tǒng)方法之勢。何剛老師及其科研團(tuán)隊(duì)一直致力于基于深度學(xué)習(xí)的圖像視頻壓縮及增強(qiáng)處理的研究，已有多項(xiàng)相關(guān)專利與論文發(fā)表。最新設(shè)計(jì)的基于深度學(xué)習(xí)的視頻壓縮框架可結(jié)合現(xiàn)有任意視頻編解碼器使其再降低13.1%-20.5%的碼率，并通過網(wǎng)絡(luò)輕量化可實(shí)現(xiàn)1080P視頻的實(shí)時(shí)解碼。

WestWorld團(tuán)隊(duì)成員：

老師簡介：

何剛，現(xiàn)工作于西安電子科技大學(xué)通信工程學(xué)院圖像傳輸與處理研究所（圖像所）。圖像所是ISN國家重點(diǎn)實(shí)驗(yàn)室成員單位，負(fù)責(zé)人是李云松教授。本科畢業(yè)于西安交通大學(xué)，博士畢業(yè)于日本早稻田大學(xué)，師從后藤敏教授（IEEE Life Fellow），研究方向是基于人工智能的未來高效視頻編碼，基于深度學(xué)習(xí)卷積網(wǎng)絡(luò)和對抗技術(shù)的圖像增強(qiáng)處理，虛擬現(xiàn)實(shí)VR系統(tǒng)設(shè)計(jì)，視頻編碼算法及VLSI結(jié)構(gòu)設(shè)計(jì)等研究，發(fā)表SCI論文及國際會(huì)議40余篇。主持了國家自然科學(xué)基金，陜西省自然基金，及國家一等博士后基金。同時(shí)，與工業(yè)界廣泛合作促進(jìn)產(chǎn)學(xué)研結(jié)合，包括騰訊公司聯(lián)合開發(fā)圖像增強(qiáng)系統(tǒng)，與中科院聯(lián)合開發(fā)4K編解碼系統(tǒng)，與快手開發(fā)高動(dòng)態(tài)視頻處理，與數(shù)碼視訊合作AI視頻增強(qiáng)系統(tǒng)等。此外，與數(shù)碼視訊開發(fā)的AI視頻增強(qiáng)2019年被CCTV13《朝日新聞》采訪報(bào)道。擔(dān)任IEEE會(huì)員，IEEE T-IP, T-CSVT, T-VLSI, T-MM, ICIP, ISCAS, IET等期刊會(huì)議審稿人，AVS專家組成員，未來視頻編碼組(FVC)成員。

學(xué)生簡介：

吳暢，西安電子科技大學(xué)通信工程學(xué)院圖像傳輸與處理研究所（圖像所）碩士二年級(jí)研究生，導(dǎo)師何剛。研究方向?yàn)橐曨l圖像壓縮與增強(qiáng)處理。

李磊，西安電子科技大學(xué)通信工程學(xué)院圖像傳輸與處理研究所（圖像所）碩士二年級(jí)研究生，導(dǎo)師何剛。研究方向?yàn)橐曨l圖像壓縮與增強(qiáng)處理。