网络遥测技术并不新鲜,但随着数据量和网络规模的不断增大,它的重要性也在不断增加。流网络遥测技术从各种网络设备中采集运行数据,并将其进行组合,然后转发给用户进行检查和研究。
for的全球工程副总裁Bo Lane说,下一代企业网络的规模不断扩大和自动化的日益普及,需要一种现代、更有效的网络数据捕获和分析方法Kudelski安全该公司是一家网络安全技术供应商。“流式遥测技术允许企业跟踪网络状态,识别网络问题和优化网络性能,”Lane说。在现代软件定义的网络中,问题或瓶颈可以在接近实时的情况下被发现并自动修复。
流遥测使用一种基于推的机制,允许数据从各种远程数据源(如路由器、交换机或防火墙)自动、连续地传输到一个或多个集中式平台,以便使用XML、JSON和协议缓冲区等格式进行存储和分析。
相比之下,SNMP和其他方法是基于拉的,这意味着它们只在设备被请求时才从设备获取信息。请求此数据的频率的差距可能会阻碍问题的检测。“流式遥测技术在产生实时高分辨率数据流方面具有优势,它不仅可以帮助早期发现问题,还可以产生可操作的网络智能来优化网络性能,”at的全球工程主管Justin Ryburn说Kentik,一家网络智能平台开发商。
Ryburn说,网络设备现在能够产生的数据的种类和数量正在增加,流式遥测技术提供了一种改进数据收集和共享的方法。企业级遥测体系结构解决诸如安全、伸缩、轮询间隙和轮询设备的资源利用等问题,以保护流遥测数据的发送和接收。
流遥测技术提供的粒状数据为极大地提高能见度打开了大门。“当你把网络数据和从应用和业务系统中提取的额外数据结合起来时,你就能更深入地了解网络问题对业务的影响,并能以更快、更自动化的方式对它们作出反应,”麻省理工学院(mit)全球网络实践主管查尔斯•内博尔斯基(Charles Nebolsky)说埃森哲技术服务。
技术研究公司的网络分析研究主管Mark Leary说,清晰地了解网络,以揭示延迟、发展中的威胁以及新业务应用程序和交换的影响的根本原因,这不仅对网络集团的成功,而且对整个企业的成功都至关重要国际数据公司(IDC)。他说:“遥测技术提高了可见性,它在整个it组织中发挥作用——从NetOps到SecOps,从DevOps到AIOps。”
流式网络遥测与SNMP
多年来,SNMP一直是企业网络监控的首选方法。然而SNMP也长期受到一系列缺陷和缺陷的困扰,包括有限的过滤和数据检索选项、不可靠的传输以及版本之间不一致的编码。
流式遥测被大多数观察者视为一种更有效的数据传输方法,施加较低的网络负载。It研究和咨询公司的研究副总裁Shamus McGillicuddy说:“它被认为比SNMP更安全,后者在身份验证方面相当薄弱。企业管理协会。流式遥测技术还能使数据收集更加可靠。“SNMP数据包丢失是一个常见的问题,影响了可见性,”McGillicuddy说。
SNMP和流式遥测之间的一个关键区别是数据采集的方法。
SNMP轮询网络设备以收集信息或设置配置属性。这种方法虽然一般来说是可靠的,但也会导致从设备接收到信息前的5到10分钟的延迟——在今天的网络中,这种延迟可达数世纪之久。流式遥测技术使整个过程变得更加流畅。与SNMP使用的拉式模型不同,流式遥测使用推式模型将数据连续地从网络设备流到一个或多个网络监控系统。
流遥测数据包直接从设备到YANG(另一个下一代),一个IETF标准的基础模型,使它更容易把设备跨复杂的系统整合成一个有用的图景的it基础设施,John Annand说,研究主管信息技术研究小组。
“简单地说,流式遥测技术提供了一种更接近实时的视角,包含更少的误导性的假象,这正是监控行为的结果,”安南德说。SNMP轮询数据到达监视系统的顺序并不总是与从目标系统请求它的顺序相同。“这是由于网络滞后和数据离开网络元素时缺少时间戳,”安南解释说。“结果是,当监测数据以时间序列的形式呈现时,可能会出现一些奇怪的光点,需要大量创造性的解读才能正确理解。”
基于snmp的监视,仅凭它的存在,就有可能对所观察到的网络元素产生影响(通常是以一种不好的方式)。“实际上,您可以通过不适当的SNMP使用来诱导和观察元素的不良性能,”Annand说。“结果…将是一个错误的肯定,开始调查错误的配置或硬件,而真正的根本原因是在第一时间监控设备的糟糕尝试。”
SNMP的另一个问题是,它通常运行在位于交换机、路由器或其他网络设备内部的CPU上,这会降低性能。“在流式遥测技术中,收集数据的能力发生在较低的层次上,基本上是在CPU之外,而在asic上、在交换结构上、在交换芯片上等等,”Mike Fratto解释说,他是at的高级分析师标普全球市场情报。因此,在数据收集期间不会对CPU产生影响。弗拉托说:“CPU在这一点上所要做的就是打包(数据)并将其输出。”
近十年来,SNMP的可行性一直受到企业网络供应商和用户的质疑。阿南德表示,微软在2012年对SNMP造成了第一次严重打击,当时该公司停止了对服务器监控技术的支持。到2016年,思科(Cisco)、瞻博网络(Juniper Networks)和其他顶级网络公司开始讨论将遥测技术作为SNMP的重要继承者。与此同时,阿南德表示,谷歌在2018年宣布SNMP已死。
在过去的几年中,今天的企业网络环境已经变得不那么同质化了。“对于SNMP来说,有太多的黑盒无法发挥作用,”Annand说。
物联网设备数量的激增也侵蚀了SNMP的用途。他表示:“制造业和能源行业的物联网部署可迅速扩展到数万或数十万台设备。”“SNMP不是为这种规模而设计的。”
进一步耗尽SNMP价值的是这样一个事实:许多现有的基础设施资产中有大量有用的数据,而老化的协议根本不支持这些数据。“没有人想要构建一个单一用途的对象标识符(OID),但是结构化数据是DevOps的心脏,流遥测也使用同样的数据模型,”Annand说。
遥测标准化仍处于初期阶段
到目前为止,几乎所有主要的网络供应商都宣布了至少某种类型的串流遥测能力。思科,瞻博网络和芒McGillicuddy说,所有这些都支持流式遥测技术。他说:“思科主要是让它在定制的asic中以非常高的粒度流数据。”其他厂商,特别是Arista,主要在商用硅上的软件上执行该功能。许多其他供应商,包括一些开放网络软件供应商,比如Arrcus和Kaloom,也支持流式遥测技术,”McGillicuddy说。
利里说,问题是,流式遥测标准的努力是众多的,而且在这一点上“有点脱节”,有选择的阵营专注于谜团的某些部分。例如,思科(Cisco)和瞻博网络(Juniper)在遥测采集服务方面采用的是各自独立的模式。“思科管道;OpenNTI的Juniper,”他指出。
无论你怎么看,遥测标准化在这一点上仍处于萌芽状态。McGillicuddy说,大多数实现都是专有的,但是使用NETCONF和gRPC等标准协议进行数据传输。许多实现也遵循定义的伪标准OpenConfig这个非正式的工作小组由来自网络巨头和超大规模公司的工程师组成,比如谷歌和Facebook。
与此同时,尽管流遥测技术有许多优势,SNMP并没有显示任何即将死亡的迹象。“在很多情况下,SNMP完全可以满足业务目标和网络操作需求,”Annand说。他指出,证明转变所需要的努力“与其说是科学,不如说是艺术”。“随着这些系统的自然生命周期的结束,SNMP用例也会逐渐枯竭——但这是一个更长的过程。”
无论如何,SNMP对于它不完全拥有的企业系统来说是不够健壮的,Annand争辩道。他指出,通常无法从as-a-service或外部元素获取SNMP数据。“即使是在最好的情况下,你也会得到一个具有不同元素不同可见性的零碎解决方案。”
对于大多数现代系统所要求的“实时”响应,SNMP也不够快。例如,如果一个设备每5分钟轮询一次,看看它是否在运行,那么每隔5分钟,它可能会停机4分钟,但是报告会说100%的系统运行状况。
尽管存在缺陷,SNMP仍然是许多网络管理和监控系统以及许多基础设施监控环境中的支柱,Fratto说。“SNMP在很长一段时间内仍将被使用,”他表示。
McGillicuddy说,他的组织的研究显示,71%的网络经理对使用串流遥测技术感兴趣。“但超过三分之二对这项技术感兴趣的人告诉我们,他们希望使用流遥测技术来补充SNMP,”他说。“他们没有从网络中消除SNMP的计划。”
大多数网络巨头也是如此。McGillicuddy说:“谷歌和其他一些知名的公司已经公开声明,他们想要从他们的网络中消除SNMP,但是主流的公司并没有朝着这个方向前进,至少现在是这样。”
虽然SNMP从未达到其预期的潜力,但流遥测正在提高标准。“网络资产的管理更多的是由专有的供应商命令行完成,而不是一个开放的管理和配置协议,”Annand说。“流式遥测技术是一种现代方法的机会,可以让激光聚焦于一件事:能见度。”
McGillicuddy预测流遥测技术将继续普及。“网络经理应该询问他们的网络管理工具供应商在这方面有什么计划,”他说。“现在没有必要拥有它,但几年后,我认为它会成为主流。”