一个由安全公司和研究人员组成的联盟已就如何测试安全软件产品的指导方针达成一致,这可能有助于结束围绕不同测试方法的长期争议。
在赫尔辛基举行的最近一次会议上,反恶意软件测试标准组织(AMTSO)采用了两套指导方针,涵盖了测试安全软件性能和测试整个安全套件的原则。
这些指导方针是一系列文件在AMTSO的网站上,旨在引入一套业界广泛认可的标准,用于对安全软件的有效性进行排名。
安全公司对AV-Test.org和Virus Bulletin等组织进行的测试一直争论不休,这些组织定期对安全软件进行测试和排名。
其中有争议的问题是用来测试杀毒软件的恶意软件样本的年代。未能检测到特定类型恶意软件的公司过去辩称,这些样本不再构成威胁,他们已经从数据库中删除了这些签名。
其他公司则反驳说,他们的测试失败并不准确,因为他们软件中的其他技术本可以阻止这种特殊威胁。一些反病毒测试程序执行静态测试,其中反病毒引擎对一组示例运行。
但许多安全公司已经采用了其他复杂的方法来检测恶意软件。其中一种被称为行为检测的方法是检查恶意软件在电脑上的行为。
AMTSO董事会成员、ESET恶意软件情报主管戴维·哈利(David Harley)说,新的指导方针是自愿的,但许多测试组织已经同意遵循它们,比如病毒公告(Virus Bulletin)、AV-Comparatives (AV-Comparatives)、西海岸实验室(West Coast Labs)和ICSA实验室(ICSA Labs)。AV-Test.org的创始人安德烈亚斯·马克斯(Andreas Marx)表示,AV-Test.org也将采用这些指导方针。
哈利说:“我们只是想让人们更认真地思考他们的方法论,这样它们才真正有意义。”“这并不意味着你不能用不同的方式做事情,只是意味着你必须尝试并遵循理性。”
技术顾问和测试小组主任John Hawes说,病毒公告对涵盖性能测试的指南作出了贡献。
Hawes说:“我们已经开始实施在讨论和设计这份文件时提出的一些想法,对我们最近几个月报告的性能数据进行了一些重大扩展,并正在进行更多的改进。”“我们也在努力开发一种新的测试方式,使我们能够测量当今许多安全解决方案的全部功能。”
Sophos威胁实验室经理、AMTSO董事会主席斯图尔特·泰勒(Stuart Taylor)表示,该指导方针可能不会完全结束安全公司和测试机构之间的不和,但会更好地通知那些撰写安全软件评论的人。
“我们正在努力做的是让每个人都参与进来,更广泛地思考在设计测试时所做的决定,”泰勒说。“在这种情况下,我们谈论的是测试整个产品,而不仅仅是产品的一部分,这可能非常容易引起误解,还涉及测量性能,因为很容易创建一个性能测试,这真的是没有意义的。”
Harley说,AMTSO已经与许多安全公司达成了协议,但该非营利组织仍然受到安全行业之外从事安全软件测试的其他消费者组织的一些怀疑。
Harley说,AMTSO的成员大多是供应商,但该组织将努力沟通,已开发的标准是健全的,可以信任,以提供更准确的测试结果。“这是我们需要努力的地方,”哈利说。
发送新闻提示和评论到jeremy_kirk@idg.com