2015年12月10-12日，由中国计算机学会(CCF)主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的2015中国大数据技术大会(Big Data Technology Conference 2015，BDTC 2015)在北京新云南皇冠假日酒店盛大开幕。
2015中国大数据技术大会首日全体会议下午场在蚂蚁金融服务集团安全智能部总监、CCF大数据专家委员会委员陈继东的主持下正式开始。 中国工程院院士高文带来了名为“多媒体大数据分析与搜索”的主题演讲，深度剖析媒体大数据的存不下、看不清、找不到的三大技术挑战问题，以及解决方案，分别为：超高效视频编码解决压缩问题，在视频编码工具中引入场景模型，获取更好的编码效率;以面向对象检测、跟踪与识别解决模式识别问题，支持ROI、GPS和多摄像机关联;以大规模视觉搜索解决跨摄像头搜索问题，制订新视觉描述子标准来支持有效搜索。高文表示，当前，智能城市媒体大数据方面的研究才刚起步，个人大数据方面的研究将更具挑战性，我们需要在数据科学的各个方面进一步努力，协同创新。
中国工程院院士 高文
以下为演讲实录
高文：
现代社会中，大数据来源丰富，更直接让交通、医疗卫生、教育、安全等发生变化，而在智慧城体系中，监控视频是体量最大的大数据。基于此，今天，我主要分享媒体大数据的三个挑战问题。第一，存不下，24小时产生的数据量积累得很大。第二，看不清，用眼睛看，横看竖看，还是看不清楚，可能有时候都要猜来猜去，还需要很有经验的人才能看出来大概。为什么?存的时候做了压缩，压缩时不知将来作何用，为了节省存储量，压得太狠了，再把它解开时基本看不清。第三，找不到。现在摄像头到处都是，摄像头拍到了，但是不是想要找的?不知道，即使看清楚了，一跨摄像头也就找不到了。所以摄像机网络跨摄像头搜索问题也是个难题。
一、存不下：视频压缩率增长<<数据量增长，超高效视频编码解决压缩问题。
第一个挑战，我们想办法找到最高效的编码来应对这个挑战。视频流是图像序列，在每个单独的图像里是有冗余的，通常这个冗余我们把它叫作“空间冗余”。相邻的像素或相邻的图像块会有一些相关性，这些相关性即是“冗余”，这种冗余可以通过滤波器的算法进行估算。如果参数对了，就可以用它去做预测，继而找到一些更简洁的表达方式，使得你表达信息不需要那么多比特就可以压缩了，这就是空间冗余。
其次是时间冗余，即一个图像序列，第一帧和第二帧有很多是连续的，背景几乎是一样的，它有很多东西是重复的，这个重复的就是冗余，我们管它叫“时间冗余”。第三种是感知冗余，这个是为了大众化一点才这么讲，行业里的人把它叫“编码冗余”，比如26个字母要表达，怎么表达?给出8个bit或7bit，每个字母给的bit是一样的，学计算机的人都知道这种分法是不科学的，应该怎么分?按照它的信息熵来分，图像也是一样，每个像素表达的亮度、颜色在每类里分布不均匀，最好把出现概率高的那些单体给它比较短的码，把出现概率低的给长码，统计上面就会比较合理，对此我们称之为“熵编码”。如果这三种用好了，就有办法把图像或视频完美地压缩下去。
现在图像压缩实际达到的现状和理论上到底有多大差别?很大，但同时空间也很大。到现在为止，不管是多好的编码技术，离理论上限大概还有百分之八九十的空间可以改进，因为我们数学上很容易证明理论上限，若干个上限中我可以取最低的上限，就很容易计算出有多大空间可以继续改进。这就是为什么视频编码领域这些年还在不停地发展，并且，每十年编码效率就会提高1倍。
视频压缩效率“倍增定律”
在这样每十年翻一番的情况下，到底什么东西改变了?其实是算法更复杂了，很多靠计算的复杂度换取了编码的效率。当然，这里有很多新的算法，以前因为硬件比较贵，不能让编码的器件成本太高，所以有些算法还行，只要算法太复杂就基本不用。现在不在乎这个，因为集成电路发展以后，复杂点就复杂点吧，只要你想得出来，时限上不会在给定时间内完不成，算法愈来愈多，编码放进去后视频效果会越来越好。针对监控视频我们会有更好的方法，使得它的效率可以做得更高。