快速找到关键的业务数据

许多安全进程在破坏了塔吉特的系统在去年的假期，但一个令人惊讶的发现是零售商确实收到了系统中存在恶意软件的安全警报。然而，由于安全团队受到警报的狂轰滥炸(估计每天有数百个警报)，他们无法充分区分警报的优先级。

无论是在安全领域还是在其他领域，这都是许多公司在大数据时代所面临的一个问题:最重要的是从来自多个来源的海量数据中挖掘有用的见解。他们试图在正确的时间将正确的数据传递给正确的人;事实上，目标是近乎实时地提供洞察。其结果就是IT界许多人称之为“快速数据”的学科。

“我们还没有一个正式的定义，”调研公司IDC的分析师Chirag Dekate说。“但它涉及任何类型的大数据工作，需要巨大的脑力和复杂的算法从其中提取数据。这种需求之所以出现，是因为随着数据的到来，分析数据的紧迫性越来越大。”

另一位IDC分析师史蒂夫•康威(Steve Conway)是这样解释这种挑战的:“你必须摆脱一切无关的东西，并迅速行动。其中一些需要实时的，比如信用卡欺诈检测。因为如果你不及时做，你就不会发现它。”在快速数据中还涉及到预测分析元素，因为您可以使用更近期的(因此也更准确的)信息来识别模式。

事实上，这种需求如此广泛，以至于从金融服务到电子商务，不同的行业都在使用不同的方法来获取快速数据。但每个案例的目标都是更快地利用更好的洞察力。让我们来看看所谓的快速数据现象，它背后的技术，以及一些正在使用它的公司。

共生技术释放

新的数据库技术——Hadoop、NoSQL、HBase等——使读取数据具有更大的灵活性，从而帮助实现快速数据工作。奥利弗·唐斯，首席科学家和技术总监globys西雅图一家帮助服务提供商分析客户体验的软件开发商表示，这些数据库技术带来的是“当你阅读数据时，而不是写数据时，将数据塑造成可用形式的能力”。其结果是:可以比以前更快地分析数据。

然而，不仅仅是数据库技术的进步使快速数据成为可能。该公司首席分析师托尼•贝尔(Tony Baer)表示:“这不是一种新型应用。卵子．

“我们过去称之为‘复杂事件处理’，”他补充道。但这种方法需要专有软件和昂贵的服务器，这限制了使用。相比之下，如今的一项技术Hadoop“是线性可扩展的，你可以向它投入大量硬件，并非常有效地使用内存，”他说。Baer补充道，由于闪存的成本较低，“现在我们可以非常快速地处理数据，而且比以前受到I/ o限制时做得更复杂。”

分析师表示，尽管如此，快速数据涉及一些基础设施方面的考虑。公司在快速数据项目中更倾向于使用Linux而不是Windows，他们更倾向于使用InfiniBand网络而不是传统的以太网，因为前者更快。Dekate说，那些想要更快分析的人甚至可以使用专用的FPGA芯片和网络处理器来观察网络流量。

在后端，用于理解和分析工作负载的机器将需要更密集的内存，因为它们将需要关注流数据，而不是存储数据。越来越多的组织正在使用高性能服务器集群来容纳快速数据。不出所料，考虑到它们对安全、风险管理和定价准确性的需求，金融服务行业的企业是首批接受快速数据的企业之一。但在经济的许多其他领域，快速数据也开始占据主导地位。

实时风险评估

西部联合电报公司最著名的东西是大多数50岁以下的人从未见过的:电报。然而，该公司现在是一家价值55亿美元的全球支付服务提供商，2013年通过2.42亿消费者对消费者交易和4.59亿商业交易，转移了约820亿美元。据这家总部位于科罗拉多州恩格尔伍德的公司的执行副总裁兼首席信息官David Thompson称，西联从174种数据源收集的数据正以每年100TB的速度增长。

这些数据源是内部的和外部的。西联汇款与100多万“一线合作伙伴”有关系，从大公司到发放现金的酒窖都有。它从大约50万家零售代理商处收集数据，并与分发制裁名单、政治曝光个人(可能受到勒索威胁的人)和其他信息的政府机构交叉核对信息。

例如，当有人在美国汇了一大笔钱到印度时，就会涉及到商业风险因素。西联汇款必须确定该地点是否有足够的现金来完成交易，或者收件人是否应该被送到另一个地点。

这是一个客户服务问题，但也有风险观看，例如欺诈潜力。“如果我们意识到潜在的欺诈，如老年人的虐待，或者我们怀疑收件人从事骗局，我们可以在个人知道收件人的情况下实时向发件人询问，”汤普森说。

他说:“我们收集有关交易、发送者和接收者的信息，并用交易历史来增强这些数据。”“我们有很多活动部件，我必须围绕交易、信贷限制和国际反洗钱法规等其他政策，实现实时信息。”汤普森解释说，2012年10月，他开始构建一个“能够以经济方式响应业务需求”的系统。

它于2013年5月上线。Thompson使用Informatica和Tibco软件将数据源交付到单个Hadoop存储库中，并使用Tableau进行可视化。该系统由云服务提供商Cloudera托管。西联最初是64节点集群，但在上线9个月后升级为128节点集群，因为“我们不断发现越来越多的业务使用，并引入实时交易数据，”他表示。

汤普森说，如果该公司使用数据仓库来完成同样的工作，“我们将需要大量的存储，以及分析师和技术人员对数据库编写SQL。”但是，由于对生产系统运行实时查询是愚蠢的，传统的方法是每隔几天获取数据快照，然后对这些快照运行查询。他说:“但是继续复制数据会很昂贵。”“有了Hadoop，我们的所有数据都有了一个大的实时实例，我们可以在不影响生产系统的情况下运行瞬时查询。”

西联汇款在多方面受益。“我们得到了更好的消费者保护，因为我们确保了交易的风险评估。我们现在对调整欺诈预防模型有了更好的看法，因此我们的损失更少，”汤普森说。“最棒的是，我终于把实时信息送到了需要它的人手中。”

更快的灾难响应

一场灾难后的保险理赔中心就像一辆旅游大巴开进一个孤立的餐馆一样——一开始还很平静的场景很快就变得混乱不堪。如今，由于客户可以通过许多不同渠道与保险公司联系，这种混乱局面变得更加复杂。

“在一个典型的月里，我们处理大约700个索赔，”他说维尔纳·e·Kruck他是佛罗里达州奥蒙德海滩(Ormond Beach)的首席运营长安全第一个保险．“飓风过后，几天内就会膨胀到数万人。”

近年来,随着客户数量的联系代理或声称代表通过社交媒体开始增加,Kruck说,他越来越担心他的公司”可能有一个困难的时期(回应)的涌入社交媒体接收到的消息我们传统业务系统”以外的自然灾害。阿拉巴马州塔斯卡卢萨市遭遇龙卷风袭击后，他的担忧得到了证实。以及2012年10月飓风桑迪(Sandy)肆虐美国东海岸时的情况。

和许多快速数据先驱一样，Security First Insurance意识到它需要一个定制的解决方案。因此，该公司联合开发了一款名为SMC4的软件，即“社交媒体捕捉、控制、沟通和合规”。根据Kruck的说法，该应用程序运行在一个由业务合作伙伴integrtie提供的公共云上，并集成了IBM企业内容管理和IBM FileNet。

克鲁克说:“它将社交媒体技术和电子邮件沟通整合到一个界面中，使我们公司在风暴后帮助客户变得更容易、更快。”

他说:“在过去，如果我们所有的电子邮件都进入了公共文件夹，并不是所有人都能看到。”“有了这个平台，它们既可见又可搜索。我们可以通过指定组织中被授权创建和提交回复的人员或角色，有效地控制沟通的流程。”Kruck说:“传统上，当你回复邮件时，你是按照顺序处理的——先入先出。”“但有了SMC4，我们可以通过读取情绪和获得紧迫感，自动对信息进行优先排序。这是常规问题吗?有挫败感吗?亵渎?我们使用多层次的定制词典，它们还在不断发展。”

美国红十字会(American Red Cross)最近的一项调查显示，75%受灾难影响的公民希望在社交媒体上的信息在3小时内得到回应。“这成了我们客户的期望，”Kruck说。“我们的目标是尽可能接近实时响应。我们希望人们感到高兴的是，他们为我们而不是我们的竞争对手投保。”

快确认

传统拍卖它主持各种各样的纪念品的在线和现场拍卖，并使用快速数据来验证每个在线拍卖参与者的身份。“我们想要一个全新的客户，他足够富有，可以花220万美元弗朗西斯·克里克的诺贝尔奖该公司首席信息官布莱恩•希普曼(Brian Shipman)表示。“与此同时，我们也不希望另一个国家的9岁孩子能够匿名竞拍。”

为了解决希普曼所说的真正威胁，Heritage Auctions开发了一个威胁矩阵，该矩阵依赖于来自各种内部和外部来源的数据和分析。至于外部来源，Heritage目前使用信用报告服务TransUnion，并计划与移动身份服务提供商TeleSign合作。

TransUnion实时提供信用报告;TeleSign可以确定投标人的电话号码是否来自陆地线，手机甚至是“燃烧器”手机设置为临时使用。投标人必须在遗产系统上注册他们的姓名，地址和电话号码。“我们可以向文件上的电话号码发送包含个人身份编号的短信，以确认手机实际属于注册的人，”船员说。