如今的公司在遵从性、安全和分析方面面临着难以置信的挑战，因为他们的数据湖充满了来自越来越多传感器的宝贵信息。明天的挑战也不会更容易。随着数字时代扩展到我们生活的各个方面，越来越多的计算能力将是必要的，以处理所有创建的数据。
以物联网(IoT)的爆炸为例。我们只是体验了物联网所能带来的好处。用SAS零售分析行业专家Dan Mitchell的话来说，物联网可以从根本上被描述为“一个嵌入传感器的连接物理对象的网络。”物联网允许这些设备通过网络和基于云的软件平台交流、分析和共享我们周围物理世界的数据。”
设备收集数据和发送某处它要分析的概念并不新鲜。心脏监测器已经使用了几十年来收集和处理有关病人的心的健康数据发送到心脏病专家。但是，在一个数据驱动的世界，收集数据只有一个等式的一部分;实时分析这些数据的能力，物联网需要一个令人兴奋的水平。但数据的物联网已经产生，并且将在未来创造量，是真正令人咋舌。
幸运的是，大型机的速度和容量(实时分析整个企业的数据)意味着大型机可以毫不费力地处理您的物联网数据。我会解释我的意思。
我们在网上买东西
In the brick-and-mortar retail industry, tools such as mobile apps, Wi-Fi tracking, RFID inventory tracking, and traditional in-store infrared foot-traffic counters all contribute to a retailer’s data lake for the purpose of understanding their consumers and providing a customized shopping experience. But providing the connected consumer with a frictionless shopping experience means analyzing the data in your lake in real time to target your consumers with features such as in-store sales ads.
湖中的一些数据是易逝的，应该在用户还在存储中时立即加以利用，而其他数据是永恒的，可以为将来的使用提供洞察力。但现在的问题是:你如何理解这么多联网设备所收集的数据?
您在不同的湖泊水都
特定的设备通常将数据存储在特定的数据库中。由于收集数据的设备如此之多，零售商最终拥有多个数据库也就不足为奇了，每个数据库存储不同类型的数据，既存储在大型机上，也存储在无数个分布式平台上。接下来的挑战就变成了如何设计一个流程，使数据科学家能够以一种便于实时分析的方式访问物联网数据。
提取，转换，负载过程（ETL） - 也被称为提取，加载，变换处理（ELT） - 通常被用于将数据从一个数据库或一个平台移动到另一个，然后其转换以创建一种均相组数据要在其上执行分析。这是有道理的利用大型机的力量和速度通过ETL-ING从他们的分布式平台上的所有相关数据到大型机处理数据的IoT。但ETL过程中经常涉及的软件和多个步骤，这意味着实时分析更像是近实时的分析多件。
数据虚拟化将这一切结合在一起
值得庆幸的是，大型机上的新创新使得将物联网数据留在它们所在的每个数据库中，并加入不同的数据源来执行分析成为可能。毕竟，有这么多的物联网设备收集数据并将其存储在不同的位置，完全消除ETL/ELT过程听起来似乎是一种更有效的数据分析方法。
数据虚拟化的概念允许用户以关系格式定义数据源的结构，以便SQL可以针对这些数据运行。这意味着可以通过SQL连接不同层次的数据源，就像关系数据源一样，创建企业范围内可用数据的聚合视图。使用SQL读取物联网数据可以在大型机上执行，并且可以完全消除ETL/ELT过程。通过使用零售商在其基础设施中已经拥有的工作平台，他们可以获得对物联网数据的实时访问，并为客户提供无摩擦的定制购物体验。所有这些都来自于主机。
从传感器和设备收集的数据只会增加未来十年。来自Gartner在2017年2月报告指出，在互联网比人已经更多的设备。因此，在不断增长的各行业的数据采集发生的年龄，进行分析ETL-ING的数据将成为过去的事情了。
消除延迟对于公司的成功将与其他传统关键业务流程一样重要。利用大型机的强大功能实时虚拟化物联网数据将成为有效地将关键信息放在一个地方进行实时分析的标准实践。