解决数据挑战,我们需要改变处理日志数据的方式(并学习我们还能做些什么)。
随量数据世界预测增量至少50倍2010至2020年, 数据存储方式从多项应用和基础设施组件中收集大量原日志数据并发送到中心位置存储处理,例如增加存储规模和成本数据量增长 存储处理成本剧增 企业冒风险破坏大数据带来的优势数据需求飞速增长有环境涵义至2020年12%世界能源消耗将取自数字生态系统,预计到2030年,每年约增长7%。
数据存储阻碍企业增长
雷竞技电脑网站将大量数据从云输出到现场数据中心的相关成本常常令人望而却步,企业往往将日志采集数据存储在云中,这需要相当大的空间试图减少大量数据中的一部分,管理员可能被迫决定擦除哪些日志和保留哪些日志这种方法可帮助减少存储空间和成本,但也低效耗时,易人为错误,意指日志数据集可能丢失宝贵不可替代信息
此外,由于日志数据从各种销售商和系统收集,例如负载平衡器、网络其他设备、服务器、数据库和服务辅助器等,它缺乏常用模式和结构,并可能因系统而异。使问题更加复杂的是,这些系统应用开发者决定哪些事件登录,产生巨大的前后不一并有可能抽象大局也不可能实时存取资料,因为收集资料需要时间带IT和工商决策人99%发现今日连通世界变化速度加快,无法实时行动成为成功的一大障碍。
智能化数据
为应对这些挑战,我们需要从根本上改变方法
超日志数据采行智能数据方法 提取流水精髓 即电线数据 穿行服务提供基础流量包括IP包、段段、会话和应用数据流情报取自仪器点源流,并压缩成元数据企业因此可以获取获取有意义和可操作洞见所需的宝贵信息,并能够确保只保存最相关数据。转而导致高压并大幅降低存储成本,仅存有价值的信息不同于日志数据,智能数据规范化、组织化、结构化、服务通俗化并实时提供提高效率后由以下事实驱动:所有数据均处理、优化并背景化源头,其中一些转换成实时元数据这使得数据快速压缩,大幅度下降数据存储量以量级或以上高效度还使企业能够长时间存储智能数据,对过去事件和事件进行法证分析并回溯分析
智能数据的另一个关键长处是一致性日志数据以程序员和工程师选择的信息为基础,并有其领域的具体视角,而持续监测线数据则遍历关键服务性能指示数使企业能够获得全粒度与其简单拥有样本信息选择快照,不如完全访问基于分析所有线数据而持续生成的数据,然后以上下文化提供实时可操作洞见整个IT基础设施
然而,虽然所有系统长时存储日志数据对绝大多数使用案例来说可能令人望而却步,但在正确上下文使用日志数据完成信息技术服务、运维或企业管理任务可能非常高效。举例说 事件管理案例 与服务性能退化相关智能数据智能识别服务级根由分解服务提供基础设施复杂依赖后,日志数据可有效用于分析“最后一里程 ” 。 在本案中,日志数据可上下文提取系统识别事件根由分析系统性能日志数据量将可控性,从此数据获取的情报将补充智能数据分析所得的洞察力通过这种方法,企业可在其网络中获取最大可见度,从而增加对服务提供和业务操作的急需深入了解
授权企业加速推进
智能数据证明能减少存储规模、提高一致性和结构并提供一致性实时情报,其长处是清晰可见的。多带三分之一IT专业人士将快速移动列为2018年最高目标, 节省时间会帮助企业计划高效利用大数据实现竞争优势与处理存储相关成本节约相结合,使组织能长时间存储数据供法证和回溯分析使用,以及丰富的深入智能数据能为服务、操作和商业管理提供,我们期望它快速成为数字企业武库中强制武器