一线用户谈大数据面临的最大挑战

Klout公司正在利用数据分析来了解人们在社交网络的影响力,该公司首席技术官Virendra Vase表示:“我们基本上是位于社交网络上面,收集所有信息,帮助人们理解以及认识其影响力。”

这个工作每天需要处理来自超过4亿用户的120亿数据信号,Klout的大数据环境包括开源平台Hadoop、以及Hbase、Hive、ElasticSearch、Scala、Storm、Node.js和其他工具。

Virendra Vase

Rachel Higham

Vase最近谈到了Klout学到的一些大数据教训。保险公司ACE Group公司首席企业架构师Rachel Higham,Tenet Healthcare公司消费类应用程序副总裁Brian Barnes也分享了他们的大数据技巧、窍门以及遇到的问题,下面让我们来看看他们分享的内容:

数据量使测试、存储和计算复杂化

庞大的数据量使测试成为一个挑战。处理非结构化数据格式和社交媒体导出的数据(例如140个字符的微薄)也不是简单的事情。当涉及存储时,更多的数据并不总是更好。他提醒说:“我们必须要弄清楚:我们需要保存什么样的数据?我们需要归档哪些数据。在最后,并不是关于数据,而是关于我们如何分析数据。”

技术成熟度是一个挑战

Vase警告说,很多大数据技术仍然在开发中。虽然这些基础技术正在日趋完善,但用于管理和配置的工具仍然处于起步阶段,这让IT专业人士不得不应对这种差距。他表示:“我们需要从管理的角度、从工作流程的角度、从配置的角度来开发攻击。”

模块化

对于Klout来说,模块化的基础设施很重要,因为这允许IT团队处理业务优先级变化,并提供业务透明度。他重申,企业需要投资于管理和生产力工具。“这正是我们的20%和25%工程资源侧重的地方--生产力工具和工作流程管理。”

努力发现人才

大数据工具正在快速发展,而供应商支持并没有完全到位,这使得寻找大数据人才成为挑战。“我们很难找到人才,我们只能聘请优秀的工程师,并对他们进行培训。”

大数据专家与业务专家合作

我们经常谈到让大数据专家与产品专家以及业务专家紧密合作,但这说起来比做起来容易,这件事情仍然难以贯彻,但双方都需要了解另一方。

ACE集团已经很善于利用大数据分析来发现风险和欺诈模式,识别新的商业机会,以及了解客户情绪。Higham表示:“我认为我们学到的最大经验是:在企业内传达我们的意图、愿景以及成功案例”。

定义一个愿景,教育领导班子

“我们花了很多时间来发现大数据可运用的领域,例如在我们的承保和理赔流程中,并向业务部门进行解释,”Higham表示,“这为我们确定了两个概念证明,现在我们已经运用到更多领域,并且进一步运用一些大数据工具和技术。”

建立督导组

ACE集团的督导委员会负责领导该公司的大数据项目,令人惊讶的是,其中并不完全是技术人员。“其中包含4名技术人员以及大约20名企业领导。”

在开始项目前,配备数据和人才

Higham表示:“我们投资的关键事情之一就是在开始项目之前,准备技能和资源,如果没有这些,我们将无法为业务提供价值。”

散布企业内的人才

ACE集团的大数据专家分散在整个企业,“我们在整个企业都建立了核心竞争力,在企业中配备了新的技能人才,包括统计人员、数据筛选人员、数据分析师、流程专家等。这种协作能够帮助我们收集资源、分享技能,以及不断发展和创新。”

不要低估供应商管理或者系统集成

对于Vanguard Health Systems而言,大数据分析的最好方法是利用8个供应商的方法,“我们使用8家供应商的解决方案,因为没有供应商提供即用的解决方案。”供应商管理是一个挑战,集成所有不同系统也是挑战。

单独评估投资回报率

美国第二大医疗保健网络Tenet Healthcare利用大数据分析来改进和验证营销活动的有效性。当大数据取得成功时,每个人都希望成为其中的一部分。“当你部署大数据项目后,你会开始给企业带来新的收入,然后企业其他团队也会跳出来说这是他们带来的收入。”对于其团队而言,首席财务官能够帮助解决这个问题,他们能够单独提供大数据项目的投资回报率。