你的“大数据”计划准备好了吗?如果没有,您可能需要考虑实现一个。
大数据正被誉为——或被大肆宣传,这取决于你的观点关键战略业务资产的未来。这意味着,高管们想知道it部门对此事的看法只是时间问题。
要告诉他们什么?诚然,对大多数IT部门来说,处理大量数据并不是一个新手领域,但分析师们表示,除了炒作之外,大数据确实不同于数据仓库、数据挖掘和数据挖掘商业智能之前的分析。
数据的生成速度和可变性比以往任何时候都要快,而且,与过去的数据不同,大多数数据是非结构化的和原始的(有时称为“灰色数据”)。
博客、社交媒体网络、机器传感器和基于位置的工具正在生成一个全新的非结构化数据世界,如果能迅速捕获、管理和分析这些数据,就能帮助企业发现他们过去无法识别的事实和模式。
计算机科学公司前沿论坛技术项目主管Paul Gustafson说:“我们收集数据已经有很长一段时间了,但它非常有限——我们产生了很多数据,但没有人用它做太多。”“数据被归档,并围绕业务流程建模,而不是作为企业更广泛的核心知识集进行建模。我们的口号是从收集到连接的转变。”
行业观察人士表示,IT正站在这场数据革命的前沿。
“这是一个机会,你可以走进首席执行官的办公室,然后说,‘我可以在几秒钟内改变这项业务,让你随时掌握知识,而五年前我还无法触及这个价格,’”卡特琳娜市场营销公司(Catalina Marketing)的首席信息官埃里克•威廉姆斯(Eric Williams)说。
威廉姆斯应该知道,卡特琳娜维护着一个2.5拍字节的客户忠诚度数据库,其中包括最大的零售连锁店收集的超过1.9亿美国杂货购物者的数据。反过来,这些信息将用于根据购买历史在结账时生成优惠券。
Williams和其他行业观察人士表示,为了引导企业进入实时预测智能时代,技术经理必须改进企业信息管理架构和文化,以支持对以tb和pb(可能扩展到exabytes和zettabytes)为单位的数据存储进行高级分析。
威廉姆斯表示:“IT界总是说,他们想要找到接近业务的方法——(大数据)正是实现这一点的绝佳机会。”
高德纳(Gartner)的马克•拜尔(Mark Beyer)等分析师表示,精明的IT领导者应该开始让自己和公司做好准备,赶在这场转型之前完成,而不是坐等事情水落渠成。
以下是科技经理人今天应该采取的五大行动,为未来的大数据时代奠定适当的基础。
盘点你的数据
几乎每个组织都有可能接触到稳定的非结构化数据流——无论是从社交媒体网络还是从监控工厂车间的传感器中涌入的数据。但是,仅仅因为一个组织产生了这些信息,这并不意味着在业务上有必要保存并对每个字节采取行动。
星座研究公司(Constellation Research)分析师尼尔•雷登(Neil Raden)指出:“随着大数据的最初兴起,人们感到有一种人为的需求,需要理解来自网络日志或传感器的所有数据。”
这种焦虑的一部分可能来自急于推动企业计算领域下一个大事件的供应商和顾问。“这在一定程度上是由那些将技术商业化的人推动的,”Raden观察到。
聪明的IT经理会抵制从消防水龙头喝水的冲动,相反,他们会充当一个过滤器,帮助找出哪些数据与组织相关,哪些数据不相关。
Raden说,一个良好的开端是对内部创建的数据进行评估,并确定哪些外部数据来源(如果有的话)可以填补知识空白,并为业务带来额外的洞察力。
一旦数据范围开始,IT应该继续进行具有高度针对性的项目,这些项目可以用来展示结果,而不是选择大爆炸、大数据的项目。“你不必花几百万美元来启动一个项目,然后看看它是否值得,”Raden说。
让业务需求占上风
IT分析师说,你可能以前听过这种说法,但IT-业务协调对于大数据这样庞大而多样的项目来说至关重要。许多最初的大数据机遇都开始于IT以外的领域;例如,营销部门一直在利用社交媒体流来更好地了解客户需求和购买趋势。
虽然业务方面特定学科的专家可能会认识到赚钱的机会,但负责数据共享和数据联合概念是it的责任,这是大数据战略的组成部分。
普华永道(PricewaterhouseCoopers)首席信息管理行业分析师戴夫•巴顿(Dave Patton)表示:“这不是IT行业可以走出去、靠自己做的事情。”“如果(这项举措)与商业目标不一致,就很难成功。”
在Catalina Marketing的大数据计划早期,Williams将业务经理与财务规划和分析(FPA)小组聚集在一起,共同努力,为信息架构投资制定业务案例。
区域标识的业务方面的新见解可以交付价值——例如,在确定后续根据购物车购买物品或通过next-buy分析基于产品提供,平安险团队跑的数字量化的结果意味着什么提高生产力或增加销售。
重新评估基础设施
高德纳的拜尔和其他专家表示,大数据计划将要求大多数公司在服务器和存储基础设施以及信息管理架构方面做出重大改变。他们说,IT经理需要准备扩展他们的系统,以处理不断扩展的结构化和非结构化数据存储。
这就需要找出使系统既可扩展又可扩展的最佳方法,并开发一个集成所有不同系统的路线图,以满足大数据分析工作。
“今天,大多数企业都有完全不同的、竖井式的薪资系统、客户管理系统和营销系统,”Anjul Bhambhri说,IBM他是谷歌(google inc .)大数据产品副总裁。“首席信息官们真的需要有一个合适的战略,将这些完全不同的、孤立的系统整合到一起,构建一个系统的系统。你想要问的问题贯穿所有这些系统,以获得答案。”
钻研技术
大数据世界带来了一长串新的缩略语和技术,这些可能从未出现在首席信息官的雷达屏幕上。
开源工具得到了大部分的关注;像Hadoop、MapReduce和NoSQL这样的技术被认为帮助了网络巨头谷歌和脸谱网对他们的大数据库进行翻腾。这些技术中的许多,虽然现在以商业形式存在,但仍然相当不成熟,需要具有非常特殊技能的人。
其他对大数据世界很重要的技术包括数据库内分析、柱状数据库和数据仓库设备。
IT经理和他们的员工将需要了解这些新工具,以确保他们能够做出明智的大数据决策。
准备你的员工
不管他们是需要Hadoop专家还是数据科学家,大多数IT组织都严重缺乏在大数据方面迈出下一步所必需的人才。分析技能可能是最关键的,这也是大多数IT人员存在最大差距的领域。
麦肯锡预计,仅在美国,到2018年就需要14万至19万名统计方法和数据分析技术方面的专家。需求量最大的职位将包括被广泛宣传的数据科学家这一新兴角色。
此外,麦肯锡预计,在商业或技术领域,还需要150万受过预测分析和统计方面正式培训的懂数据的管理人员。
对于一些公司,尤其是那些位于人口较少地区的公司来说,在大数据计划中,员工可能是更具挑战性的方面之一。True Textiles的首席信息官里克•考恩(Rick Cowan)表示:“(大数据)肯定需要在许多领域拥有不同的思维方式和技能。”True Textiles位于缅因州吉尔福德,是一家面向商业市场的室内面料合同制造商。
考恩表示:“作为一家中等规模的企业,招聘员工并让他们跟上不断变化的环境一直是一个挑战。”为了满足这一需求,他开始重新培训程序员和数据库分析师,让他们掌握高级分析的速度。
IT部门的主管们将不得不进行一些转型,以便在这个勇敢的新世界中出类拔萃。Gartner的拜尔表示,过去最优秀的技术领袖部分是信息管理员,部分是基础设施工程师,而未来的IT经理将是数据科学家和业务流程工程师的结合。
他解释说:“与能够识别机会并因此推动信息创新使用的CIO不同,CIO已经习惯于根据企业给定的指令集管理基础设施。”“这就是需要发生的转变。”
这篇题为《大数据准备:IT现在应该做的5件事》的文章最初发表于《计算机世界》 .