没有什么比挑起争议更重要的了。上个月,我的预先缓存列解决了认证考试作弊的问题。具体来说，我说过使用“学习辅助工具”(例如，偷来的考试)可能会让认证考生面临被指控作弊的风险。该专栏旨在告诉人们，许多认证机构现在正在使用数据取证来分析测试响应，并寻找极端异常的行为。事实证明，使用脑转储材料的人往往属于这一类。作弊的最终惩罚可能是失去证书，并对就业造成负面影响。
这一论断引起了读者的强烈反对，一些人认为，法医分析是不准确的，会让那些没有以任何方式或形式作弊的人陷入圈套。匿名读者发表了如下评论:
“……谁来验证取证(因为这会毁掉某人的职业生涯)?”在任何调查中，都有假阳性。合法的人(即使只有一小部分)会被不公正地抓住。这将如何监管?”
*“我们应该相信这些测试是完美无缺的?”当他们不可避免地指责一个无辜的人时，他们将如何处理?当然，公司的处理方式是一样的。否认一切。在媒体上诽谤这个人。让很多律师来对付他们，直到他们无力继续下去。这听起来像是又一次政治迫害。”
*“有人看过或听说过这个吗?”微软是否在作弊，这是一个荒谬的转移话题?或者是否有某种官方文件规定，如果你的答案都是正确的，你就会被禁止参赛?”
显然，我需要提供关于认证作弊的断言的更多细节，特别是使用数据取证来发现可能的作弊者。(哦，还有那个说我应该在微软的工资单上的人，让我向你保证，我不是，也从来都不是。)
我的信息来源是最好的，他们可以是为认证机构，测试中心和数据取证公司工作的人。(“认证机构”，我指的是根据符合特定要求的候选人颁发认证的任何公司或组织。例如微软、思科、CompTIA、Linux专业协会等)这些组织都有既得的利益，确保认证过程对每个人都是合法和公平的，并且消除过程中存在的任何作弊。
我也引用另一篇文章在网络世界有个足球雷竞技app微软学习部门(微软公司内部负责认证的部门)的佩吉·克劳利(Peggy Crowley)表示，她的公司正在更新认证政策，包括对所有形式的作弊行为终身禁止参加微软认证项目的惩罚。克劳利说，这包括使用大脑转储。(“braindump”是一种未经授权的认证测试分发，其中包括实际的测试项目及其答案。)
微软并不是唯一一个重新评估其考试安全政策的认证机构。几年前还不存在的新技术和技术已经使检测认证欺诈成为可能。认证机构正在研究如何或是否需要更改考试安全策略以适应这些新功能。
将数据取证用于认证考试在认证机构中变得越来越普遍，而不仅仅是在IT行业。Caveon测试安全是一家提供数据取证分析作为其测试安全服务之一的公司。上周，我与Caveon总裁约翰·弗雷默(John Fremer)和首席科学家兼首席统计学家丹尼斯·梅恩斯(Dennis Maynes)进行了交谈，以了解更多关于数据取证分析如何帮助发现可能预示作弊的异常测试行为的信息。
弗雷默表示，使用数据取证的目的不是为了抓住作弊者;相反，其目标是提高考试的安全性。Caveon及其客户(即认证机构)认为，抓住和惩罚作弊者是一种威慑，最终会提高考试的安全性。
每个人心中最重要的问题是:“数据取证分析是如何工作的?”梅恩斯不想向作弊者脱帽致敬，也不想向他们透露太多秘密，他笼统地解释了这个过程。
在网上进行的认证考试会产生大量关于该考试是如何进行的数据。例如，数据点包括候选人在每个问题上停留的时间;如果一个人先选了一个答案，然后又换了另一个;回答问题的顺序;二人以上同时参加考试，成绩相同或者相近的;等等。然后对这些数据进行分析，以寻找“极端异常值”——一些不符合大多数人参加相同测试的正常模式的东西。
梅恩斯说:“我们寻找的是用不同寻常的方式回答测试问题的人。”这方面的一个例子就是在很短的时间内正确回答一系列问题。这是非常可疑的，因为候选人没有足够的时间阅读问题和真正思考答案。”
就其本身而言，仅仅说这位候选人在考试中作弊是不够的。也许他阅读速度很快，或者他以前参加过这个测试。Caveon还使用复杂的统计模型来确定在给定的测试中出现极不寻常结果的概率。如果这个石蕊测试表明，在正常情况下(没有作弊)出现异常结果的概率很低，那么就需要寻找额外的确证证据。
作为一个例子，Maynes描述了一个场景，两个候选人有非常相似的测试，表明测试不是独立进行的。Caveon会利用项目反应理论的科学来计算两个人一起做测试或不独立做测试的概率。有可能一个人是“来源”(即，一个合法的考生)，另一个人从他那里抄袭。梅恩斯指出，即使是在网上参加考试，人们也会相互勾结。“数据不言自明，”梅恩斯说。“我们对数据告诉我们的东西有极高的信心。”
即使有了准确的数据，Caveon也不会指着手指大喊“骗子!”Caveon将结果提供给认证机构，认证机构可以对情况进行进一步调查，并决定对认证候选人采取什么行动。然而，微软表示，法医分析是如此准确，它将被用作执法行动的唯一证据，包括永久禁止认证。因为Caveon没有识别假阴性，Maynes不能对Caveon的统计模型的准确性给出一个明确的声明。微软表示，它使用的统计数据有一万亿分之一的误报几率。
数据取证分析只是防止认证欺诈的一种保护措施。Caveon表示，其最受欢迎的服务之一是安全审计，这是对测试程序的每一个特性的审查。在这种类型的审计中，Caveon识别漏洞，并为任何高风险考试的测试机构提出建议。Caveon还提供了一项网络巡查服务，它可以在互联网上搜索已经在网上发布的考试或其他人将替别人参加考试的证据。
弗雷默说:“如果我们了解测试盗窃的机制，我们就可以与客户合作，防止这种情况发生。”例如，Caveon分析一段时间内的测试，并查找在那段时间内测试结果的变化。将这些变化与其他事件联系起来是有可能的，比如在大脑转储网站上发布考试。“我们可以向该机构提出建议，以更新其检测项目，”弗雷默说。这些测试结果的细微变化也会影响法医分析。
考试安全是复杂的，但挑战当然不仅仅局限于IT行业。在公共教育方面，《不让一个孩子掉队法》要求各州进行测试，以评估学生学习的有效性。这些测试的妥协可能会导致公立学校失去认证和资金。幸运的是，无论是什么行业，提高考试安全性的技术和技术都在解决这个问题。