Hadoop如何帮助益百利紧缩信用报告

益百利已实施一个新的数据分析系统设计从月缩小到小时的时间流程pb的数据来自世界各地数以百万计的客户。信息服务公司是部署软件,数据结构层基于Hadoop文件处理系统,配合microservices和API的平台,能让企业客户和消费者信用报告和信息更快速的访问。

益百利

“我们认为这是一个非常大的客户改变,因为它为他们提供了实时获取信息,他们通常需要等待摄取,“益百利CIO巴里Libenson说。

一旦一个开源工具指定驾驶大数据项目,Hadoop已经成为许多分析策略的必要组成部分,cio寻求使信息化产品和服务提供给客户。技术使用并行处理技术通过大量数据来帮助软件工程师流失更快比基于sql的数据管理工具。

Hadoop加速数据处理

当Libenson到达益百利2015年他得知该公司仍在与大型机处理数据查询系统。虽然企业数据正以指数速度增长,软件工程师是零碎的摄取和处理数据文件,正常化和清洁之前把它交给业务的信息。通过添加更多的他们处理新的数据管理需求MIPS。在一段时期内,顾客可以从鞋子到计算能力与几个鼠标点击,从Amazon.com Libenson知道Experian需要数据管理策略,是明显更多无摩擦,可以实时解析数据。

在许多企业尝试新的数据工具,Experian业务是Hadoop的玩弄各种色调,包括Cloudera Hortonworks MapR,在本地沙箱和亚马逊网络服务(AWS)。然而,Libenson知道如果Experian要有效地争论从数百万客户的数据和提供新产品公司需要选择一个标准化的平台。

经过烘烤大赛,Libenson选择Cloudera作为它的主要平台。多租户系统运行本地Experian的混合云,虽然Libenson表示,该公司有能力使用AWS破裂计算能力。

一个早期的客户受益于Experian的Hadoop data织物是在南美哥伦比亚信用局。由于Hadoop的实时处理能力,Experian处理1000条记录在不到六个小时相比,六个月Libenson说,它会采取规范化和清洁公司的主机系统使用的数据,哪些进程一次只有一个记录。“大不了的客户是他们知道数据是尽可能接近实时得到的而不是陈旧,“Libenson说。

通过这样的结果你可能想知道为什么更多的公司不是标准化Hadoop,构成一个温和但增长部分的大数据市场和业务分析技术IDC表示,将在2019年超过1870亿美元。

现实是实现的软件可能是一个挑战,因为它已经很难找到工程师能够处理技术、并行处理的性质和处理非结构化信息的本领需要思考如何操作数据的不同方式。

“这是一个完全不同的写作方式和思考应用程序…你必须把每个节点可以失败,”Libenson说。“大多数软件开发人员编写SQL的代码不认为这样。找到那些知道如何构建适当的东西和架构师是最大的挑战。”

Libenson说大学招聘,最近的毕业生,统计学家和数据科学家,而不是经验丰富的数据库工程师沉浸在SQL世界,往往习惯于使用Hadoop。但鉴于此类人才的残酷的战争,他说,他对最近的大学毕业生和数据科学家使用SQL工程师从Hadoop产生最好的结果。

现在服务:microservices和API调用

由于Experian Hadoop的迁移,Experian工程师可以移除瓶颈与准备相关数据来填充公司的数码产品。银行、金融服务公司和其他企业客户还可以访问通过Experian的新API信用报告和其他产品平台和microservices架构的应用程序功能是依赖于解耦和松散的。例如,金融服务公司要求客户的信用评分在信用卡或支票支付历史可以通过益百利进行API调用来检索数据,而不是下载和使用整个应用程序来访问信息。

“我们听到他们希望microservices消费信息的巨大需求而不是传统的本地应用,“Libenson说。“每一个金融机构正在microservices模型,和一个API机制符合他们想怎样消费信息。”

Experian的转向更现代和模块化的体系结构,Hadoop microservices和api,还需要全面改革从严格记录在软件开发项目建在几个月的功能交付阶段的片段。Libenson IT部门说,他已经接受了敏捷和DevOps方法建立最小可行的产品,测试和完善它们。

搬到一个混合云模型、microservices架构和一个API平台构成“重大转变,帮助益百利减少错误,赶出成本,加快创新,“Libenson说。

这个故事,“Hadoop如何帮助益百利紧缩信用报告”最初发表的首席信息官 。