FCC最近使用comScore的速度测试结果作为特定isp性能的绝对指标。NetForecast分析了comScore的测试方法和数据，以评估它是否准确地反映了宽带ISP的性能，并评估使用这些数据来得出ISP为其用户提供的实际性能的一般结论的适用性。我们在这两方面都发现了问题。
我们发现comScore报告的有效服务速度很低，因为它的数据计算低于报告的性能，并将许多用户置于比他们购买的更高的性能层。我们分析的细节可在网络预测报告，但这里是我们研究结果的概述。
NetForecast对comScore的ISP速度测试方法的调查发现了以下数据收集错误:
- 只使用一个TCP连接
- 客户机-服务器延迟是可变的
- 参与者的计算机可能资源有限
- 测试流量可能与本地流量冲突
- 十进位数学是错误的
- 协议开销不明
- 购买的速度层识别错误
所有这些收集数据的错误导致ISP在其网络上传递的实际速度被低估，当在单个用户的速度测量中汇总时，单个错误产生了复合效应。因此，每个ISP测试的实际速度高于comscore报告的每次测试的每个结果的速度。
数据解释错误源于不正确的速度层识别。这些错误很重要，因为它们导致测试结果夸大了实际中值和最大广告速度之间的差距。这个问题源于comScore在确定广告速度的方法上的一个缺陷，它经常错误地将用户推入比他们实际购买的速度更高的速度层——本质上是对超出广告速度的ISP进行惩罚。
ComScore计算“相对于广告速度的平均实际速度”，方法是将一直被低估的速度除以经常被夸大的购买速度。不准确的低分子和不准确的高分母的组合导致了一个比率，错误地显示了相对于他们卖给用户的服务，isp提供了非常低的性能。基于这种方法的实际/宣传的有效性能比是不正确的，以至于它的效用极其有限。
ComScore的速度测试是为isp设计的，目的是为了在特定市场上比较彼此的性能。尽管该测试适用于最初的用途，但FCC不适合将其作为特定isp性能的绝对指标。
要了解NetForecast对comScore技术和统计方法的综合评估，请阅读我们的“comScore ISP速度测试准确性”。报告．