Mediawin云+管+端一站式解决方案
在设备端,Mediawin平台针对各种嵌入式产品,拥有 完善的硬件解决方案 ,比如专业的音腔设计、音视频器件选型、声学场景优化、音视频模组等,能帮助企业简化6大音视频开发难题。另外,在云平台方面, 不同市场对音视频云平台的需求会有所差别,比如在线教育需要一对多实时在线高并发的模式,监控需要声源定位、人脸识别、语音激活等功能,音乐需要海量在线资源与点播功能等。为此,在深入了解不同市场需求的基础上, Mediawin进行了深度优化和定制化。孙强继续向《智慧产品圈》记者表示:“Mediawin平台内部集成了监控云、教育云、音乐云、实时通讯云等子云平台系统,根据应用行业的需求优化子云平台的功能和架构,以满足不同行业的需求。”
Mediawin的6大解决方案
就拿 常用的智能机器人多媒体部分为例 ,Mediawin平台不仅能在设备端提供MIC阵列模组、摄像模组、机器人声学结构设计、声学器件选型等硬件方案和服务,也提供回声消除、噪声抑制、语音打断、声源定位、人脸识别、美颜、移动侦测、人脸识别等软件音视频处理算法,以及网络传输协议、音视频编解码、传输延时监测等多媒体传输技术,云端还有设备注册管理、多方视频会议、PSTN落地、云监控、云录像、云直播等功能,从设备端、传输管道、再到云平台的一站式设计服务。
因此,在智能监控、机器人等物联网市场,Mediawin平台已经拥有了成熟的合作案例, 比如奇虎360的智能摄像机,北京智能管家的布丁机器人,深圳市蓝机器人科技的IONE机器人 等智能产品。
“千里眼”“顺风耳”没那么简单,Mediawin背后解决了哪些技术难题
音视频传输延迟严重不同步 :迪韵科技首席技术官彭远疆说道:“由于网络环境的影响,音视频数据包在网络上传输会面临各种挑战。首先, 一般实时音视频流采用UDP传输协议,容易发生丢包的情况 ,导致接收端花屏和语音失真。其次, 每一个数据包从发出到被接收的时间都是不一样的,所以需要在接收端引入缓存机制。不过缓存越长,抗网络抖动的效果自然越好,但是附加延时也会越大 ,采集端和接收端的时间差越明显,在需要音视频互动的场景中体验效果非常差。最后, 由于网络带宽的限制,丢包率和卡顿概率都会急剧提高。 ”
网络传输算法是“杀手锏” : Mediawin平台在RTP/RTCP传输协议的基础上,建立了适合智能设备的流媒体网络传输算法模型 ,通过对每一帧的发射/接收时间进行统计分析,实时估算出当前网络的延时、丢包、带宽等数据,并通过实时调整编码码率、缓冲长度、重传策略等,确保在各种复杂网络环境下的均能保持良好的音视频传输质量。另外, 由于采用了国际标准的SIP/ONVIF接入协议和TLS/SRTP安全协议 ,Mediawin平台不仅能接入各类音视频硬件,同时也为最终用户提供了金融级的安全保障。
音视频处理效果差,产品体验不佳 :由于受到周围自然环境的影响,比如强光背景、低亮度环境、汽车噪声、声音反射等,硬件设备端采集到音视频流需要经过复杂的算法处理,才可能拥有较好的画质和音效。彭远疆表示:“ 音频前端如回声和混响消除、噪声抑制、拾音音量自动调节等算法均是难点。 如若涉及多人视频, 还需要解决多人语音的混音、视频混屏和切换的问题,并且需要保障音频和视频的时间差低于300ms ,否则就会出现唇音不同步的现象。”
设备+云联动音视频算法“杀手锏”: 深度优化了底层的音视频算法 ,比如音频回声消除、噪声抑制、视频降噪、白平衡控制、曝光控制等,在提升效果的同时还能够适应各种不同的软硬件平台。
不过,在音视频处理的过程中,不可能将所有的算法都放在设备端,而应该根据实际应用情况,合理的分布在设备端和云端。彭远疆表示:“Mediawin的音视频云平台 采用了大规模的分布式网络技术,可支持多人实时在线的大容量并发和拓展,集成降噪、混音、混屏、转码、人脸识别等各种音视频处理算法,同时接入第三方功能,扩充语音识别、语义理解、人工智能等服务。”