你的“大数据”计划准备好了吗?如果没有,您可能想要开始考虑实现一个。
大数据正被誉为——或被大肆宣传,这取决于你的观点未来的关键战略业务资产.这意味着,高管们想知道it部门对此事的看法只是时间问题。
要告诉他们什么?诚然,对大多数IT部门来说,处理大量数据并不是一个新手领域,但分析师们表示,除了炒作之外,大数据确实不同于数据仓库、数据挖掘和数据挖掘商业智能(BI)分析。
数据的生成速度和可变性比以往任何时候都要快,而且,与过去的数据不同,大多数数据是非结构化的和原始的(有时称为“灰色数据”)。
博客、社交媒体网络、机器传感器和基于位置的数据正在生成一个全新的非结构化数据宇宙,如果能迅速捕获、管理和分析这些数据,就能帮助企业发现他们过去无法识别的事实和模式。
计算机科学公司的主管Paul Gustafson说:“我们收集数据已经有很长一段时间了,但它是非常有限的——我们产生了很多数据,但没有人用它做什么。前沿论坛、技术项目。“数据被存档,并围绕业务流程建模,而不是作为一套更广泛的核心知识企业.我们的口号是从收集到连接的转变。”
例如,美国医疗保健行业可以通过有效利用与医疗质量、成功率和患者历史相关的数据来提高效率和生产率大数据报告麦肯锡全球研究所(McKinsey Global Institute)发布的报告估计,通过这些大数据计划,该行业每年可以产生超过3000亿美元的价值。该报告还指出,大数据有可能使一家零售商的平均营业利润率提高60%以上。
行业观察人士表示,IT正站在这场数据革命的前沿。
“这是一个机会,你可以走进首席执行官的办公室,然后说,‘我可以在几秒钟内改变这项业务,让你随时掌握知识,而五年前我还无法触及这个价格点,’”卡特琳娜市场营销公司(Catalina Marketing)的首席信息官埃里克•威廉姆斯(Eric Williams)说。
威廉姆斯应该知道,卡特琳娜维护着一个2.5拍字节的客户忠诚度数据库,其中包括由最大的零售连锁店收集的超过1.9亿美国杂货购物者的数据。反过来,这些信息将用于根据购买历史在结账时生成优惠券。
Williams和其他行业观察人士表示,为了引导企业进入实时预测智能时代,技术经理必须改进企业信息管理架构和文化,以支持对以tb和pb(可能扩展到exabytes和zettabytes)为单位的数据存储进行高级分析。
威廉姆斯表示:“IT界总是说,他们想要找到接近业务的方法——(大数据)正是实现这一点的绝佳机会。”
克服大数据的障碍
由于还处于早期阶段,大数据技术仍在不断发展,还没有达到it经理已经习惯于企业软件的产品成熟度水平。
高德纳(Gartner)研究总监马库斯•柯林斯(Marcus Collins)指出,许多新兴的大数据产品都植根于开源技术,尽管有商业发行版,但许多产品仍缺乏成熟的第三方咨询和支持生态系统,而这些生态系统与ERP等传统企业应用程序相配套。
更重要的是,大多数IT部门在大数据技能方面存在显著的差距,到目前为止,这些部门一直专注于构建和维护更传统的结构化数据仓库。
Gartner负责信息管理的研究副总裁马克•拜尔(Mark Beyer)指出,在大数据能够成功地在IT组织内部乃至整个公司扎根之前,无论是在文化方面,还是在传统的信息管理实践方面,都需要做出重大转变。
拜尔和其他分析师表示,精明的IT领导者应该开始让自己和组织做好准备,走在转型的前面,而不是坐等各个部分就位。
为了为未来的大数据时代奠定良好的基础,科技经理现在应该做的五件事如下。
盘点你的数据
几乎每个组织都有可能接触到稳定的非结构化数据流——无论是从社交媒体网络还是从监控工厂车间的传感器中涌入的数据。但是,仅仅因为一个组织产生了这些信息,这并不意味着在业务上有必要保存并对每个字节采取行动。
星座研究公司(Constellation Research)副总裁兼首席分析师尼尔•雷登(Neil Raden)指出:“随着大数据的最初兴起,人们感到有一种人为的需求,需要理解来自博客或传感器的所有数据。”
这种焦虑的一部分可能来自急于推动企业计算领域下一个大事件的供应商和顾问。“这在一定程度上是由那些将技术商业化的人推动的,”Raden观察到。
聪明的IT经理会抵制试图从消防水龙头喝水的冲动,而是充当一个过滤器,帮助找出哪些数据与组织相关,哪些数据不相关。
Raden说,一个良好的开端是对内部创建的数据进行评估,并确定哪些外部数据来源(如果有的话)可以填补知识空白,并为业务带来额外的洞察力。
一旦数据范围开始,IT应该继续进行具有高度针对性的项目,这些项目可以用来展示结果,而不是选择大爆炸、大数据的项目。“你不必花几百万美元来启动一个项目,然后看看它是否值得,”Raden说。
让业务需求驱动数据挖掘
It分析师表示,这听起来像是老生常谈,但对于大数据这样规模庞大、变化莫测的项目来说,It /业务协调的概念绝对是至关重要的。
他们表示,许多最初的大数据机会都被播种在IT以外的领域——例如,营销早就开始利用社交媒体流,以便更好地了解客户需求和购买趋势。
虽然业务方面可能理解这些机会,但it部门有责任负责作为大数据战略组成部分的数据共享和数据联合概念。
普华永道(PricewaterhouseCoopers LLP)信息管理行业负责人戴夫•巴顿(Dave Patton)表示:“这不是IT部门可以自己走出去做的事情。”“如果(这项举措)与商业目标不一致,就很难成功。”
在大数据计划的早期,Catalina Marketing的Williams将业务经理与财务规划和分析(FPA)小组召集在一起,共同努力为信息架构投资创造业务案例。
区域标识的业务方面的新见解可以交付价值——例如,在确定后续根据购物车购买物品或通过next-buy分析基于产品提供,平安险团队跑的数字量化的结果意味着什么提高生产力或增加销售。
重新评估基础设施和数据架构
高德纳的拜尔和其他专家认为,大数据将要求大多数公司在服务器和存储基础设施以及信息管理架构方面做出重大改变。他们说,IT经理需要准备扩大IT平台,以处理不断扩大的结构化和非结构化数据存储。
这就需要找出最好的方法,使平台具有可扩展性和可扩展性,并开发一个路线图,用于集成所有不同的系统,这些系统将成为大数据分析工作的提供者。
IBM大数据产品副总裁Anjul Bhambhri表示:“如今,大多数企业都有截然不同的、竖井式的薪资系统、客户管理系统和营销系统。“首席信息官们真的需要有一个合适的战略,将这些完全不同的、孤立的系统整合到一起,构建一个系统的系统。你想要问的问题贯穿所有这些系统,以获得答案。”
当然,不是每个系统都需要集成;方法将根据公司的规模、业务问题的范围和数据需求而有所不同。但Bhambhri和其他人表示,首要目标应该是创建一个信息管理架构,确保系统之间的数据流动。为了创建这个基础,公司将利用中间件、面向服务的体系结构和业务流程集成等技术。
与此同时,传统的数据仓库架构也面临着压力。Gartner的拜尔表示,在某些方面,到2015年,目前部署的数据仓库中有85%将无法解决极端数据管理的新问题。
他说,即便如此,“我们也不想让人觉得‘拆旧换新’是摆在桌面上的问题。”相反,可以对现有存储库进行扩展和调整,以包含内置的数据处理功能。
“过去的仓库一直专注于确定你拥有什么样的数据存储库以及在哪里拥有它。新的思维方式是,数据仓库将是新存储库和现有存储库以及数据处理和交付服务的结合,”拜尔解释道。
钻研这项技术
大数据世界带来了一长串新的首字母缩略词和技术,这些可能从未出现在首席信息官的雷达屏幕上。
随着Hadoop、MapReduce和NoSQL等技术帮助了网络巨头,开源技术越来越受到关注谷歌和脸谱网对他们的大数据库进行翻腾。这些技术中的许多虽然开始以更商业化的形式提供,但仍相当不成熟,需要具有非常特定技能的人。
除了新的开源选项,IT集团还必须确保自己跟上其他对大数据世界很重要的技术,如数据库内分析、柱状数据库和数据仓库设备。
IT经理和他们的员工需要深入研究,至少要熟悉这些新工具,以便正确地进行大数据决策。
准备招聘或再培训员工
无论是Hadoop专家还是数据科学家,大多数it组织都严重缺乏在大数据方面采取下一步行动的合适人才。分析技能可能是最关键的,它们代表了目前差距最大的领域。
麦肯锡预计,仅在美国,到2018年就需要14万至19万名统计方法和数据分析技术方面的专家,包括被广泛宣传的“数据科学家”这一新兴角色。
此外,麦肯锡预计还需要150万精通数据的管理人员,他们都接受过预测分析和统计方面的正式培训,无论是业务部门还是技术部门。
在IT部门的管辖下,传统数据仓库和BI专业人员将需要一些再培训。
除了在信息管理、治理和数据库结构方面的传统技能,新的大数据专业人员还需要理解语义和数学学科,更不用说在包含大数据的新型预测分析工具和数据管理平台方面的专业知识了。
“建立过去数据库的人不一定是将来建立数据库的人,”卡塔琳娜的威廉姆斯说。“不要低估了制造这种东西的复杂性。”
对于一些公司,尤其是那些人口较少地区的公司来说,员工配备可能会使挑战复杂化。“(大数据)肯定需要在许多领域拥有不同的思维方式和技能,”缅因州吉尔福德(Guilford) True Textiles的首席信息官里克•考恩(Rick Cowan)表示。该公司是一家面向商业市场的室内面料合同制造商。
“作为一家中等规模的企业,招聘员工并让他们跟上不断变化的环境一直是一个挑战。”为了满足这一需求,考恩已经开始正式对程序员和数据库分析师进行再培训,以提高高级分析的速度。
IT部门的主管们将不得不进行一些转型,以便在这个勇敢的新世界中出类拔萃。Gartner的拜尔表示,过去最优秀的技术领袖部分是信息图书馆员,部分是基础设施工程师,未来的IT经理将是数据科学家和业务流程工程师的结合。
他解释说:“与能够识别机会并因此推动信息创新使用的CIO不同,CIO已经习惯于根据企业给定的指令集管理基础设施。”“这就是需要发生的转变。”
Stackpole是Computerworld的常客,已经报道商业和技术超过20年了。
了解更多关于这个主题的信息
这篇题为《大数据准备:IT现在应该做的5件事》的文章最初发表于《计算机世界》 .