北京时间10月24日消息,据国外媒体报道,EMC旗下的Greenplum部门专注于数据分析软件的开发,Kaggle则是一家专注于统计归纳人才发现和部署的公司。二者如今展开了合作,力图打造一个大数据工程师市场。这样,一家没有全职数据科学家的企业如今也可以把数据分析的工作众包出去。
Kaggle会举办全球范围的数据科学家竞赛活动。Greenplum的客户可以通过一款叫做Chorus的产品来搜索和查看这些参赛者的个人档案。然后,各企业可以挑选出合适的数据分析师,按小时支付酬劳为自己的企业解决数据问题。
Kaggle数据竞赛主题覆盖面很广,从宇宙暗物质发现到债券价格预测都有。除了解决特定的数据问题之外,Kaggle还能甄选出那些擅长解决问题的人。然后Kaggle针对一些大公司举办一些数据竞赛,然后挑选出最为优秀的数据人才进行签约。Kaggle会收取一定的费用。
目前为止,Kaggle的注册参赛者达55000人次,任何参赛者都可注册受雇于Greenplum客户的项目。由于本周二才刚发布,因此目前还不清楚多少人想要参与此项目。
Kaggle CEO安东尼-古德鲁姆(Anthony Goldbloom)表示,“这种方式既能帮助企业解决问题,又能为数据师们找到雇主。此外,对我们的业务也有好处。现在的一些参与者由热情吸引而来。如果还能够帮他们赚取一定金钱,将会吸引更多的人参与进来。”
Kaggle会为一些大型项目举办私下的竞赛。古德鲁姆期待Greenplum客户需求能够简单一点。比如保险公司通常会寻求改善职工奖金系统的方法。针对特定项目举办竞赛,Kaggle会收取每小时300美元到500美元不等的费用和一定的佣金。
Greenplum联合创始人兼高级产品副总裁Scott Yara表示,公司目前已经有25名专职数据科学家,但是还远远不够。“市场空缺很难填补。即使是世界上最大的公司也有很大的数据人才需求。”
Greenplum和Kaggle此次的合作可能是应对市场上数据科学家短缺的一种解决方法。去年,麦肯锡全球研究院(Mckinsey Global Institute)指出,由于企业搜集的大数据正在以爆炸式的速度增长,美国市场对于熟练数据分析师的需求量达19万人,而对精通数据的管理人才需求量则达到150万人。
还有一些其他的大数据解决方案,包括打造基于算法和更好用户界面的交易平台市场来进行数据自动化流程处理。目前,在一些大公司和小型创业公司中这两种方式都有所使用。