鉴于去年美国国家安全局(NSA)的大规模监控活动被曝光，美国国家安全局(NSA)和美国国家安全局(NSA)的监控活动也被曝光对美国人进行数据分析再加上有关当地警察每天扫描数千个车牌的持续报道，政府在使用大数据分析方面落后于私营部门的说法可能听起来有些荒谬。
但是，这些例子往往是国家的庞大的官僚机构中的异常值，特别是在国家和地方层面。在一般情况下，私营部门是遥遥领先，在使用大数据分析的公共部门，根据最近的一份名为“实现大数据的承诺”，由主办IBM中心的政府业务。
虽然该报告的作者，凯文·德松萨，在亚利桑那州立大学的副院长进行研究，列举了它的多个实例中政府所用，他发现大数据分析的总体承诺，主要是在公共部门至今没有实现。他把它称为“新边疆”的各级政府。
Desouza在采访了22名联邦、州和地方首席信息官(CIO)后得出结论，这其中有多种原因。其中最重要的一点是，IT外的人还不理解这个概念，或者担心公众会把大数据视为老大哥。
“外面的IT没有人会术语，”一个CIO告诉Desouza。“该做的很少（经理）有它的一些观点已经被扑灭了，由于隐私问题，因为国家安全局的监控程序。”
这些担忧是合理的，但缺乏一些背景。MongoDB的产品营销总监凯利·斯特曼(Kelly Stirman)说了许多其他专家所说的:“私营部门对你的了解比政府要多得多。”但人们愿意为了方便而交换信息。”
这就是Desouza的发现——通过移动应用的服务条款协议之类的东西，私营部门已经能够“收集大量的个人信息，而阻力有限。”
对于政府来说，情况就不同了。有激烈的抗议活动在去年曝光前国家安全局承包商爱德华·斯诺登的程度上美国公民的机构的监测,包括一天报道,美国国家安全局已经收集了成千上万的电子邮件地址从供应商包括雅虎、微软的Hotmail, Facebook、谷歌的Gmail服务等等。
除此之外，现实是私营部门往往比政府更灵活，更有能力吸引顶级人才。政府更有可能受到政治压力和官僚作风的制约。
Informatica公共部门首席策略师金伯利•威廉姆斯(Kimberley Williams)表示，这一切都不应令人意外，因为私营部门和公共部门的角色和动机不同。
她说，虽然政府多年来一直在情报、人口普查、税收和社会保障等领域使用大数据，但“政府的新认识是，大数据可以而且应该被用来推动、改革和完善公共政策，以及捍卫和保护公共政策。”
“塞莫皮莱”的主席A.J.克拉克(A.J. Clark)表示，对9/11后反恐的投资意味着，“公共部门的某些元素引领了大数据运动。”来自与遥感有关的机构的统计数据——卫星成像、全动态视频采集、航空成像(如光探测和测距(激光雷达))——表明，大数据在他们的环境中增长已经成为一个分水岭。”
但是，他说，“大数据领域的许多进步并没有超越它们的起源机构，公共部门作为一个整体并没有从中受益。”
威廉姆斯说，另一个因素是，私营部门对大数据的使用是受利润动机和竞争驱动的，而“政府不是受利润驱动的，它保留了一批被俘虏的受众。”所以，政府中推动大数据项目的因素本质上是不同的，坦率地说，除了情报和执法之外，没有那么紧迫。”
她估计，大多数公共部门落后于私营部门大约5年，“没有必要追赶，大数据项目可能仍然是一个没有资金支持的任务或资金不足的项目/项目。”
其他专家也同意这一观点，尽管对于差距到底有多远有不同的看法。克拉克估计需要18个月，而LogRhythm的联合创始人、首席技术官克里斯•彼得森(Chris Petersen)表示，他认为这相当于“年”，但在网络安全领域，差距要小一些。
首席信息官承认他们落后了。他们告诉Desouza，他们没有足够的技术能力或专业人员来进行大数据分析。没有人使用过非结构化数据。
“这不就是大数据的关键因素吗？如果是这样，那么我们不是做在大数据空间的任何东西，因为我们还没有触及非结构化数据。我们的所有数据具有一定的结构，而且大部分是高度结构化”他们中的一个说。
但它在私营部门激增。《波士顿环球报》报道是在两年多前仅马萨诸塞州就有100多家专注于大数据的公司。
Pam Dixon，世界隐私论坛(WPF)执行董事，估计去年秋天美国大约有4000名数据经纪人，他们收集并出售人们在线和线下的活动数据——车牌扫描就是这样不仅限于执法部门。
私营企业利用大数据来获得市场份额、提高利润、遏制欺诈和盗窃行为、提高效率的故事数以百计。
在加拿大经营着2000多家餐饮服务场所的Compass Group，最近开始使用总部位于波士顿的Lavastorm Analytics公司的软件来分析货币或商品的数据被员工或客户误放或偷走。他们发现这种分析比分析数千小时的视频片段要高效得多。
Desouza还提到了默克的使用在2012年7月天气数据预测的更大需求的过敏药,比如,2013年5月,谷歌流感暴发的早期检测模型,叫做谷歌流感趋势,2009年,能够跟踪H1N1流感疫情趋势“天更快”比联邦疾病控制中心。
这并不意味着公共部门没有进步。波士顿前警察局长爱德华·戴维斯(Edward Davis)最近加入了Mark43公司的董事会。这是一家由三位哈佛大学毕业生创立的科技初创公司，主要生产分析犯罪和帮派数据的软件，并改进对犯罪嫌疑人的警方记录的管理。
对这家羽翼未生的公司来说，好消息是这个领域相对开放，但对政府服务的声誉却不是那么好。导致Mark43成立的一个班级项目，是设计一个可以利用分析来追踪马萨诸塞州斯普林菲尔德帮派关系的程序。
“我们不知道太多关于执法，说：” CEO和联合创始人斯科特·克劳奇。但是，“我们注意到的第一件事情是，他们执法的软件是可怕的。”
改进技术，并通过政府数据的生产分析清楚地可以使政府更有效，并提供遏制的经典bugaboos的希望“浪费，欺诈和滥用。”
“分析现在拥有提高运营效率，降低风险，提高公民参与和公共价值巨大潜力，” Desouza在他的报告中写道。
但专家表示，这需要一些改变。“人力资本显然是个大问题，”威廉姆斯说。“政府严重缺乏科学家，劳动力老龄化，持续的预算和养老金挑战，无力吸引精通技术的雇员。”
Stirman表示，政府还受制于与专有技术供应商签订的长期合同。“因为政府机构太大了，它们签订了价值数亿美元的合同，即使存在问题，它们也无法轻松地理清头绪。”
他说，改变的希望在于，“大多数(大数据)技术都是开源的，这意味着你不必受制于拥有专有技术的供应商。”任何人都可以学习它——你不需要通过一个大的认证过程就可以成为专家。政府利用这一点真的很重要。”
据克拉克说，这还需要更多的合作。他说:“数据共享对大数据分析至关重要，我认为私营部门作为一个整体能够比公共部门在过去十年更容易地彼此分享数据。”
这将需要投资。彼得森说，他认为“整体障碍在公共部门利用大数据的成本。大数据项目是昂贵的，非常类似于土生土长的应用程序的开发。”但是，这样做的权利，他们可以，“有可能实现更高质量的服务，以更低的整体成本交付，”他说。
克拉克说，重要的是公共部门进行投资，以避免“技术差距”的扩大。如果18个月的差距扩大到36个月以上(根据摩尔定律，这相当于两个技术周期)，公共部门将很难利用私营商业技术解决方案的成本效率。”
但哈佛大学定量社会科学研究所所长加里·金表示，无论是在私营部门还是公共部门，情况都可能迅速发生变化。他表示:“商业领域的很大一部分也远远落后于能够做到的事情。”“这是一个动态、快速发展的领域。”
这篇文章《大数据仍然是大多数公共部门的“新边疆”》最初发表于方案 。