现在,大数据来了。在数据体量上冲击极限的先驱者们,首先意识到了“贵族化”解决方案的无法忍受性,开创了去贵族化的数据处理解决方案的先河。
互动: @颜阳:08年我们首尝green plum,走出了数据仓库的低价路,好累
他们用轻型化的通用硬件平台,开源化的操作系统和草根化的平台架构一起,构成了去贵族化解决方案的核心内容,为我们树立了去贵族化的典范。
随之而来的是,对于包括我们在内的更广大的用户来说,多了“去贵族化”这个选项,多了用追随大数据先驱者们的实践来彰显程序正义这个选项。这是一个了不起的进步,这个进步在过去“贵族化”解决方案密集的金融证券行业中引起的变革,意义将是深远的。
提问:刘东华:白老师,交易所对大数据的作用主要有哪些典型案例?
去贵族化的过程,对于很多已经上了贵族化道儿的单位来说,是一个痛苦而漫长的过程。不仅要面对技术上的认识分歧,甚至也要面临组织架构的重新调整。
互动:@志刚:需要名族品牌的兴起,在模仿中创新,在创新中发展
我们的大数据应用,主要在监管这一块。简单说就是抓坏人。
当然我们当初建设企业级数据仓库和数据挖掘平台的时候,提的是服务监管,服务创新,服务投资者教育,服务信息经营。著名的TopView就是数据仓库的应用成果。
互动:@刘东华:哈哈,给我们讲讲怎么抓坏人
哈哈,抓老鼠仓肯定是其中很重要的一个应用了。不过我真的不是很了解。也没有被授权讲这一块。可以在一项业务创新推出之前,模拟各种极端场景进行测算。可以说,把数据仓库这样的数据基础设施用于业务,我们走的还是比较早的,但也是不得不贵族化的。是大数据给了我们去贵族化的希望和信心。
提问:@赵国栋:白老师,跨领域关联如何理解?
我觉得,从技术架构上去贵族化,只是大数据潮流的一个很小的侧面,更大的影响在业务模式上。
以我们证券行业为例。证券行业是一个密切依赖信息技术和信息服务的行业。行情数据中断几分钟,那是天大的事儿了。卖方和买方信息不对称的消除,主要靠依法进行强制性信息披露。宏观经济的信息,与资本市场有直接或间接关联的基本面信息,都如空气和水一样,是资本市场的玩家们须臾不能离开的。还有更高级的,信息本身也成了博弈的道具。
因此,行情和资讯,是证券行业信息服务的两大核心领域。当然,交易所和监管机构还需要从非公开的交易信息中寻找违规线索,这是面向监管的信息服务。总而言之,证券行业对信息技术和信息服务的依赖,比许多其他行业要深得多,也重得多。
我们使用TD超过10年,目前正面临一个选择点。轻型化是必然的,但如何轻型化有不同的选项。经常有搞数据挖掘、机器学习、商业智能学术研究的朋友问我,你那能不能弄点数据啊,我这有啥啥啥技术,指标有多么多么牛。我很敬佩能把技术指标搞得很牛的人,但是把一项通用(领域无关)技术引入一个陌生的领域,似乎不是这个玩法,不是说你有了技术,就万事俱备、只欠数据了。
实际上,从全球视角看,任何一个成熟的应用领域,作为整体,都不会对通用技术麻木不仁到这个程度,在你提出这个要求之前,人家早就会过不知多少拨提出类似要求的人了。在人家自己的数据上,能尝试的新鲜花样都不知道尝试过多少遍了。你要证明你的价值,必须建立在这个基础上,才有对话和合作的可能。实际上,不要说不懂领域只懂技术。如今只懂领域,也已经不够了。在当前形势下,只有跨界,才能走得更远。大数据的价值,很大一部分产生在数据跨界关联所引发的“化学反应”之中。
什么叫跨界关联呢?我理解,就是人们在两个相对独立的活动空间产生的数据,通过某种媒介,关联在了一起。假如没有这个媒介,两套数据是各自独立的,但是有了这个媒介,两套数据就形成了新的结构,新的语义,新的价值。比如杀毒。如果仅仅局限于杀毒,这个花样已经被玩得差不多穷尽了,连云查杀都出来了。但是如果把云查杀的数据当做网络访问日志,和网络流量变现结合起来,就赋予了杀毒以全新的涵义。
互动:@赵国栋:多维!
再比如电子商务,如果仅仅是为电子商务提供支付手段,那还停留在电子商务的附属品阶段。但是如果把电子商务的支付数据转而用作互联网金融的信用手段,这就实现了跨界的质变,不再是拆东墙补西墙,而是东墙西墙全活了,形成了互补、互顶的生态,形成了所谓的“降维攻击”。