官方网站-首页

【导语】来自北大王选计算机研究所的贾川民研究员指出，视觉信息占人类接收信息八成以上，海量视觉数据传递面临数据(jù)量(liàng)大(dà)的(de)挑(tiāo)战(zhàn)，数据压缩技术由此成为关键。智能化数据压缩技术目标远大，多模态数据智能压缩技术能实现超高效率、高保真且富含语义的压缩，解决存(cún)储(chǔ)传输瓶颈，为人工智能信息处理提供“基石”数据，还能按网络情况调整视频质量，其应用场景广泛，未来有望实现语义无损压缩、人机协作创作。

大家好，我是贾川民，来自北京大学王选计算机研究所，目前是研究员和博士生导师。我主要的研究内容是多媒体信息处理，还有智能媒体计算以及一些系统性的研究工作。

视觉信息传递面临哪些主要挑战，为什么需要(yào)数(shù)据(jù)压(yā)缩(suō)技(jì)术(shù)？

我(wǒ)们(men)人(rén)类(lèi)是(shì)一(yī)个(gè)多(duō)维(wéi)度(dù)感(gǎn)官(guān)动(dòng)物(wù)，这(zhè)其(qí)中(zhōng)最(zuì)重(zhòng)要(yào)的(de)一(yī)个(gè)感(gǎn)官(guān)的(de)方(fāng)式(shì)，就(jiù)是(shì)视(shì)觉(jué)的(de)信(xìn)息(xi)，视(shì)觉(jué)信(xìn)息(xi)占(zhàn)据(jù)了(le)人(rén)类(lèi)全部(bù)接(jiē)受(shòu)信(xìn)息(xi)的(de)80%以(yǐ)上(shàng)，视(shì)觉(jué)信(xìn)息(xi)从(cóng)一(yī)个(gè)地(de)方(fāng)传(chuán)递(dì)给千家万户，实现所谓“一图(tú)胜(shèng)千(qiān)言(yán)”，就(jiù)成(chéng)了(le)过(guò)去(qù)一(yī)百(bǎi)年(nián)中(zhōng)科(kē)学(xué)家(jiā)们(men)一(yī)直(zhí)努(nǔ)力(lì)的(de)焦(jiāo)点(diǎn)。传(chuán)递(dì)这(zhè)些(xiē)海(hǎi)量(liàng)的(de)视(shì)觉(jué)数(shù)据(jù)时(shí)面(miàn)临(lín)的(de)首(shǒu)要(yào)挑(tiāo)战(zhàn)就(jiù)是(shì)数(shù)据(jù)量(liàng)太(tài)大(dà)。因(yīn)此(cǐ)，数(shù)据(jù)压(yā)缩技术应运而生。它是广播电视、网络视听等应用的基石。

举个例子，我们国家每隔一段时间就要为天宫一号空间补充物资，如果这些要运输的物资不进行打包整理，那么运输用的飞船很容易就被各种物品塞满。因此我们在新闻中经常看到，飞船运输的物品都是经过非常精美的打包、整合以及封装，形成了一个个外观统一的空间站“快递箱”。这其实就和数据压缩技术的思路不谋而合。需要压缩的数据都是杂乱无章的，我们通过数据处理方法对它们进行打包、整合，就像空间站用的跑步机是可折叠的，说明物品所占用的空间是可以压缩的，视频数据也是这样，我们可以通过算法，对海量的视频数据所占用的存储空间进行折叠、翻转等操作，从而减少它们所消耗的存储空间。

物资打包之后，经由飞船运输到空间站。同理，压缩后的视频数据包也能被网络传输给千家万户的各类终端。因此我们经常在新闻中看到，空间站的航天员在使用的时候，会一个一个的拆快递箱。类似的，用户也会把压缩过的视频数据包进行拆封，专业属于叫做解码。这样就实现了视频数据的压缩-传输-呈现。

而智能化的数据压缩技术还有更远大的目标，我们希望让单幅图像蕴含和传递远超每一个像素本身的信息量，甚至能“衍生”出更丰富的内容。

如何实现从“一图胜千言”到“一图生千言”

那什么如何实现这个目标呢？这就需要“多模态数据智能压缩”技术了，它不仅仅是缩小文件体积（传统压缩），而是利用人工智能的模型来理解我们所需要传递的视频或者视觉的内容，结合文字、文本、语音等其他模态信息，实现超高效率、高保真、且富含语义的压缩表示。我们在打包传输的时候，是把这些多模态的信息进行了传递。而在用户侧，通过功能强大的人工智能模型，把这些高度抽象的数据还原成栩栩如生的画面，带来身临其境的体验。

这样，就能解决海量视觉数据（图片/视频）存储、传输的瓶颈；还能够为我们常见的人工智能信息处理提供高效、富含语义的“基石”数据，通过多模态数据智能压缩技术，就实现了对原始视频、图像等内容的编辑和处理，同时，还可以根据用户的网络情况调整视频质量，网络条件不好时，提供相对低清(qīng)晰(xī)度(dù)内(nèi)容，反之，传递高清晰度的内容。

多模态主句智能压缩技术如何实现其美好愿景

主要是把一个一个像素单元经过矩阵计算变成高度复杂的特征信息，在数学上，它们就(jiù)是(shì)一(yī)组(zǔ)向(xiàng)量(liàng)，我(wǒ)们(men)可(kě)以(yǐ)把(bǎ)它(tā)叫(jiào)做(zuò)特(tè)征(zhēng)向(xiàng)量(liàng)；在(zài)关联(lián)不(bù)同(tóng)模(mó)态(tài)数(shù)据(jù)，比(bǐ)如(rú)文本(běn)、语(yǔ)音(yīn)、视(shì)频(pín)的(de)特(tè)征(zhēng)信(xìn)息(xi)时(shí)，利(lì)用(yòng)跨(kuà)模(mó)态(tài)对(duì)齐(qí)技(jì)术(shù)，在(zài)向量表示空间对这几类信息进行折叠、翻转等操作，去除不同模态之间在向量空间当中相似的内容，保留它们之间不太相似的内容。这样就可以实现跨模态数据的一个高度语义化的表示。

它的应用场景包括以下几部分，在带宽受限下传输高质量视频，比如海量视觉数据存储，大幅降低数据中心存储成本；高效智能分析，压缩后的特征数据直接用于快速人工智(zhì)能(néng)、内(nèi)容理解、安防，以及内容创作以及编辑等。输入压缩特征或提示，自动生成描述视频和图象内容的数据，甚至是生成图像和视频本身。

在未来，可以通过这样的方式，实现接近人类理解的语义无损压缩、人机协作创作。比如在视频会议中不再(zài)需(xū)要摄像头、只通过传递语音就实现高质量的人物和场景的三维重(zhòng)现(xiàn)。

本文为·创作培育计划扶持作品

作者：人民日报

审核：贾宁 大连东软信息学院 教授

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

来源: 创作培育计划