信噪比难以管理。作为安全专业人士，您希望威胁数据，您需要攻击通知和警报，并且您需要智能。但是，当有太多进入时，那些警报和通知落在路边。他们很容易被驳回和忽略。
毕竟，如果设备每天生成60个警报 - 而且对于所有数学的最初数周，它们都不是什么 - 随着该设备到达的新警报，他们最终将被解雇。
发生这种情况是因为它/ infosec部门有其他事情要担心，并且没有足够的时间（或人）来处理大量警报。稍后将产生警报的设备可能会正确调整和配置，但这取决于员工的工作量。
这是一个失败主义的论点，但它也是现实的。
IT / InfoSec团队生活在不断缩减的资源中，包括预算和人员，所以他们必须专注于保持业务运行的任务，以及帮助业务增长和利润。更重要的是，大多数安全购买和部署都集中在合规性上，也就是所谓的“复选框”。
支票盒的心态是为什么每天有60个警报开始。设备未进行调整，安装以满足合规或监管要求，供应商承诺“设置它并忘记其”方法。
然而，当部署到实际生产环境中时，来自供应商的默认规则并没有削减它。因此，该组织充斥着假阳性，导致更多的噪音而不是信号。
另一个痛苦的现实是其中一些被忽视的警报是有效的警告。这是一个提醒人员，例如那些来自的统计数据2010年Verizon业务数据泄露调查报告据说86％的受害者有证据表明坐在他们的日志中的违规，并不总是绒毛。
最近这个问题的一个例子将是目标违规行为。虽然发生违规行动，SOC（安全运营中心）员工从FireeEy设备中馈送了警报。然而，虽然被调查了这些警告，但他们最终被视为噪音。
“事后看来，我们正在调查，如果做出了不同的判断，结果是否会有所不同，”塔吉特的发言人莫莉·斯奈德(Molly Snyder)说。告诉纽约时报。
像任何大公司一样，塔吉特每周都会有大量的技术活动发生并被记录下来。通过我们的调查，我们了解到，在这些罪犯进入我们的网络后，他们的一小部分活动被记录下来，并浮出我们的团队。对该活动进行了评价并采取了行动。根据他们对这项活动的解释和评价，视察队确定不需要立即采取后续行动。”
这是个错误吗?现在说起来容易，但当时，塔吉特的信息安全团队只是在进行日常工作。他们查看了警报，确定这不是当务之急，然后转移到其他事情上。
这在全球各地的组织中每天都会发生，但不同的是，在后威尔，公众知道由于这种监督而发生的目标发生了什么，因此很容易拼接出来。
“所以[in]其中一些非常高的配置文件违规，该产品能够识别出现违规行为，但人们的智慧无法应对，因为他们得到了这么多的警报。他们得到了这么多的信息难的，”评论了Fireeye的Dave Dewalt。
DeWalt是对的，信息超载是IT /信息安全团队的负担，但威胁情报也是一个问题。市场上的大多数威胁情报根本就不是情报;它们是针对恶意软件和垃圾邮件、流氓IP地址以及无法与给定环境绑定的漏洞的汇总报告。
它们是对威胁状况的总体概述，也是一个很好的数据来源，但它们不能单独保护单个企业。但这是他们被鼓励去做的，这是不现实的。
数据(智能)到日志可以读取
问题不是数据。组织具有大量数据，但信噪比太低。如此有效的数据，或威胁情报，是错过的;被驳回为嘈杂的设备或过度敏感的警报。
当信息存在时，这是一个问题，没有手段以一种对组织有意义的方式处理它。事件之间的小环节，在表面上看起来像随机，无意义的威胁，往往是什么原因是最大的问题。
那么一个可能是严重的警报的例子是什么，但忽略了，因为它经常发生？
"The detection of an opportunistic Trojan, which happens to include a keylogger (e.g., the Zeus Trojan), occurs at a high frequency and may be considered to have low business risk to an organization (AKA - a noisy detection) because the presumed motivation of the attacker is to steal a user's credentials to personal accounts (e.g., shopping, personal banking)," explained Oliver Tavakoli, the CTO ofVectra网络。
“但是，相同的主机可用于登录IT系统或客户拥有的系统，如Fazio机械登录到目标的外部供应商支持网站的员工的情况下，从而导致业务关键帐户的妥协证书。”
同样，Tavakoli补充说，垃圾恶意软件的检测也经常发生，但它更多地被视为一种骚扰。
然而，被观察到以足够高的速率发送邮件的活跃的垃圾邮件机器人可能会导致该组织的外部IP地址被列入黑名单。因此，员工可能会被阻止发送合法的通信，从而对绩效、组织声誉和底线造成打击。
组织收集他们没有明确使用意图的所有类型的数据，例如netflow或给定网络设备遇到的每个会话的syslog，来自各种应用服务器的登录数据，或用于防火墙上的拒绝规则的syslog消息。
对于阻止的每个URL的Syslog消息也是如此，这几乎总是以假设用户违反策略的假设结束，而不是由机器人或远程演员触发事件。
许多这样的信息被收集起来，并被丢进仓库，希望(通常是不求回报的)组织中有人会在常规的操作节奏中发现它们的用处。通常情况下，它们只在入侵后的取证中被查看。”
所以诀窍不是尽可能多地收集数据;它是在合适的时间收集正确的数据。Tavakoli建议实现这一目标的四步策略，包括优先考虑组织打算监测的数据。
第一步是知道组织最重要的资产在哪里，他们如何访问，以及保护它们所需的内容。之后，识别主攻击表面，并考虑违规的可能性。
例如，在某些情况下，某些员工的机器可能是攻击面，或者在其他情况下，承包商构成了外部风险。同样，其他示例包括访问内部系统或帐户的访客无线网络或面向因特网的门户网站。
从那里，重要的是要监控那些用于异常行为的系统，特别是在他们沟通时（例如应用服务器与数据库交谈），而且还有其他系统。
如果这些系统是所识别的攻击表面的一部分，则应考虑和调查它们之间注册的任何警报。这意味着调整这些安全系统仅在异常流量上发送警报，因此需要清楚地了解基线。
最后，仅监控入站流量以发现异常是不够的。出站流量也需要被监控，因为这是指挥和控制通信发生的地方，最终，出站活动可以被观察到。
其他类型的可观察异常
Tavakoli解释说，侦察侦察可以快速（和明显），或缓慢和隐身，提供其他类型的例子可观察的异常。
"Slow reconnaissance can be detected when aA host on your network is contacting a large number of internal IP addresses that have not been active in the recent past.A This type of scan occurs over longer periods (e.g. hours or days) than port scans (e.g. minutes or hours). Effective detection requires ignoring contact with systems that do not respond to the scanning host, but which are otherwise active."
In addition, he adds, brute-force password activity be detected by scrutinizing server logs for any server that is integrated into the organization's IdAM (identity access and management) infrastructure (e.g. Microsoft Active Directory) or by observing network behavior across a number of different protocols (e.g. SMB, Kerberos, RDP, VNC, SSH, HTTP, HTTPS).
最后，exfiltration可以非常难以检测较小的尺度，但最好有一种用于检测大规模的exfilation的策略。
“寻找网络上的主机从内部服务器获取大量数据的行为模式，随后向外部系统发送大量数据，”Tavakoli表示。
“同时，寻找来自不寻常通道的主机的重要数据出站流(例如通过FTP的10Gb出站)。获取和发送的数据量越高，业务风险和调查优先级就越高。这种类型的警报应该是最优先的，因为它代表了攻击链的最后一步，也是您防止或减少数据丢失的最后机会。”
减少做更多
鉴于大多数组织已经有很多安全基础设施已经到位，可以更好地完成调整其设备并过滤噪音。再次，关键是识别最关键的资产，以及攻击它们的内容。
Tavakoli解释说:“例如，如果你的最重要的数据是Oracle数据库，你应该有一个完善的基线，主机连接到它，他们定期执行的查询，以及这些查询的结果所处理的数据量。”
“基线提供了一个直观的反应，即一个报告显示100,000台主机连接到Oracle数据库，在一天内执行500万次查询，是正常还是异常。你可以使用现有的产品和技术(如NetFlow分析仪)，或者你可能需要评估新技术来实现这一目标。”
一个良好的起点是通过遵循遵循良好的安全卫生有效网络防御的关键安全控制，由“网络安全”发表。控件本身可以帮助防止许多常见攻击，并提高监控系统生成的可动信号的量。
“例如，您可以识别主机的exfiltration行为，它代表攻击表面的关键部分，通过基于它们发送到外部的数据量并设置触发器以在基线超出大量的数量时提醒，“Tavakoli说。
要将其置于视角，如果在一天内观察通常向平均发送20 MB数据的主机发送2 GB，则应提高可能的exfiltration的警报。
“这些过程自动化程度越高、执行越实时，警报就越有助于在攻击造成广泛损害之前减轻攻击。”
那么有可以安全地忽略的数据流吗？有些人可以，但它们很少，距离。答案实际上取决于组织，因为没有两个是相似的。
“虽然很少有安全事件可以安全地忽略，评估可以帮助您自动化分类的软件从目标攻击活动中分离机会主义的僵尸网络活动。确保您可以在近实时执行此操作，以找到此信息塔瓦克利说，一天后来暴露了大量风险。
这个故事“信息过载：发现噪声中的信号”最初发布CSO 。