ETL正在减慢实时数据分析

许多IT专业人员都说数据转换工具ETL阻碍了公司进行实时分析的能力,他们正在寻找替代方案。

称为ETL或提取,转移和负载的数据转换工具正在减慢公司进行实时数据分析的能力,降低这些公司商机,并使其分析效率低下。

这是一个结果IDC进行502届IT专业人员的调查代表Intersystems Corp.,一个高性能数据库管理供应商。该调查还发现,改变的数据捕获(CDC)技术也在减速并阻碍他们进行实时数据分析的能力。

Etl是自20世纪70年代以来一直存在的过程。它用于数据转换,为数据仓库中的存储和分析准备它。它在商业智能中特别受到大数据分析的先行者。但它可能是一个很长的CPU密集的过程 - 这就是问题。

该研究发现,通过ETL移动的近三分之二的数据至少在达到分析数据库时至少五天,对于任何实时分析显然没用。当涉及到CDC,这应该是一个实时数据复制技术,调查发现,平均而言,将65%的CDC数据移动到分析数据库中需要10分钟或更长时间。这更好但仍然不适合实时工作,并没有说数据库有多大。通过大数据,数据集只是较大。

“本研究强调了并发交易处理和实时数据分析以提高客户体验,业务效率,运营等的重要性,”Intersystems副总裁Paul Grabscheid表示,在一份声明中。“Intersystems直接与全球组织一起工作,以降低数据管理复杂性,使实时数据分析能够进行实时数据分析,并在整个企业中加快创新和推动改进的结果的时间。”

该调查还发现,76%的IT高管表示,转型中的滞后已经损害了他们的业务,而27%的人表示生产力放缓。同时,超过一半的受访者表示,缓慢的数据是限制运营效率。

改善实时数据分析

而且专业人士正在采取措施处理它。超过三分之一的37%正在寻找新的数据库技术,而25%的人正在寻求退休旧数据库,21%的人正在寻求移动到SaaS,17%正在考虑开源数据库。

这个问题的一部分源于太多数据库。60%以上的受访者有五个或更多的分析数据库,25%有超过10.并且他们必须为每个数据库分配一个或两个DBA来管理它们。

这是IDC在交易与分析之间称之为“大鸿沟”。太多的数据源意味着太多时间花在转换上。优化若干数据库将速度查询,以及能够通过数据进行排序的新分析框架。

此外,很少有旧数据库是针对任何实时的。他们倾向于在一天的慢速时间内通过批处理过程来营运,通常在晚上。所以你不能教旧数据库狗的新技巧。实时分析需要为其设计的新技术,而不是20世纪70年代技术。

加入网络世界社区有个足球雷竞技appFacebook.linkedin.评论是最重要的主题。

版权所有©2017.Raybet2

IT薪水调查:结果是