七牛发布DORA数据处理平台

自2011年成立至今,七牛平台注册的企业用户已突破28万,覆盖网民每月月活3.7亿,平台上已产生1600亿的文件,每天有着750亿的请求,而单日文件处理量已经突破12亿。这些数据无疑表明,数据处理类业务旺盛的市场需求。为了满足用户数据处理多样化和定制化的需求,七牛于8月29日D-Future数据时代峰会上发布了DORA数据处理平台。七牛CEO许式伟、DORA产品负责人周凌、Face++ CTO唐文斌、云知声COO康恒、图普科技CEO李明强、ABBYY技术总监陈晓亲临大会现场,共同揭开了DORA发布的帷幕。

DORA是基于容器技术的数据处理平台,拥有七牛自主研发的容器调度系统和任务队列系统。容器技术具有轻量化的特性,让DORA的计算资源伸缩更迅速,给软件的升级流程、灰度发布、回滚等部署问题带来很大便利。容器调度系统性能高、可靠性高,为实现高效的计算力伸缩提供保障。这对每一个用户来讲,最直观的价值是处理速度的提升以及有效保障自有业务的高可用。任务队列系统引入了公共队列和私有队列的概念。公共队列采用先来先用的原则。对于成本优先的用户,可以考虑这种方式。只要合理地安排好数据处理的时间段,避免数据处理高峰期,充分利用共有队列,就可以有效降低数据处理成本。而私有队列则可以帮助用户解决任务优先级的问题。

DORA平台在数据处理方面主要具有以下几个优势。

l就近无缝对接对象存储服务。在服务部署角度,DORA严格遵守哪里存储就在哪里计算的原则,让每位对象存储业务的用户,无需任何复杂的配置就可以马上使用七牛提供的数据处理单元。

l处理单元微服务化以及管道机制的引入,大大增加了业务实现的自由度。DORA上每种数据处理单元都可以看作是一个微服务,并通过管道机制将这些微服务进行连接,任意组合,完成复杂的任务。这让用户在设计业务方案时,大大增加了自由度,避免了自身业务方案的大而全。

l实时任务与异步任务结合,让用户的各种业务场景都得以灵活实现。实时任务主要满足图片裁剪、图片缩放、短音视频同步转码等实时性强的业务场景需求,而异步任务则面向对计算力有一定要求的场景,如大尺寸文件的音视频转码等。七牛为这些耗时耗资源的任务准备了定制化的高性能硬件设备以满足用户的需求,实时和异步的结合让用户灵活依据自己的业务特点自由选择。

依托扎实的底层技术,DORA颠覆了自定义数据处理计算的管理方式。用户不再需要配置或管理单一的虚拟服务器,DORA将用户从基础设施的问题中解放出来,真正做到零运维。同时,DORA为用户提供了按需弹性伸缩的计算力,用户可以根据自己的业务需求和策略调整弹性计算资源。并且由于基于容器技术,DORA提供了高自由度的开发语言环境,并可以无缝衔接用户原有的业务技术栈。这些特点和作用可以有效降低用户的成本,让用户用最经济的姿态开启自己的数据处理服务。

除了七牛丰富的数据处理基础服务,如图片的转码、水印、原图保护、防盗链等,以及音视频的转码、切片和拼接等。为了提供更为丰富的数据处理服务,DORA也为第三方服务商提供了一站式计算运营系统,涵盖从研发、测试、到上线发布与运营的完整流程,并开放强大的就近计算能力,支持各类围绕数据的第三方服务的接入,以及用户自定义的数据服务开发,形成围绕数据管理展开的生态体系。DORA平台上的用户可以直观便捷地管理自己的应用,按需使用DORA上的服务。各类使用、成本的统计信息也将一目了然。这一决策与七牛CEO许式伟在开幕演讲中分享的七牛定位密不可分。“七牛要成为最开放、最完备的数据服务提供商,但并不是自己开发所有的数据服务,而是希望通过开放平台来与第三方合作伙伴共同打造数据服务生态,以覆盖数据处理的所有使用场景,触及它的方方面面,来构建一个完整的技术栈,构建一个全息的商业模型。”

目前,DORA生态平台上已成功接入图片鉴黄服务和广告过滤服务及文档转换服务,后续也将陆续推出视频鉴黄、人脸识别等服务。同时,DORA将整合完备的技术支持流程,让用户在遇到任何问题的时候都可以快速有效的得到服务商的帮助。

发布环节的最后,七牛还宣布了其“DORA实验室支持计划”的启动,该计划旨在解决国内大学实验室及研究机构数据处理算法的商业化问题。只要这些机构有数据处理方面的算法,DORA除了提供免费计算的支持外,还将提供最强大的用户资源与运营支持,敬请关注。