你名字,政府一堆数据:基因组学、能源使用,天气等等。各种开放数据和大数据计划在联邦政府的目标是把这些信息提供给任何想要的人。可以大数据分析的固有复杂性和开放政府的承诺共存?
就有多大大数据吗?不是大数据炒作泡沫,介意你我们知道这是巨大的。相反,数据集有多大是之前我们可以考虑大数据?
没有一个答案。大数据是一个相对的概念。它指的是数据集,和相应的数据挑战,如此之多,传统的数据管理和分析方法的任务挤压不都我们欲望的信息价值。因此,作为我们的工具和技术改进,“大”的底线,大数据将继续上升。
这个阈值也取决于上下文的数据,通常与该行业负责。基因组学研究、天气预报和其他科学的追求推动数据集大小的限制,但是任何业务,收集客户的信息也可能大数据的挑战。
请记住帕金森定律的数据:可扩展的数据量来填补它的可用空间。我们的技术来创建、移动和存储数据改善,大数据阈值将继续上升。如果有的话,似乎永无止境的技术进步淘汰了推动这洪水不断收购信息沼泽即使是最肤浅的承诺大数据策略。
在“大数据”分析:爆炸导致数据中心的危机雷竞技电脑网站
中央大数据的挑战,当然,是如何获得这种巨大的数据集,从价值基本上恢复这些罕见的宝石在rough-identifying重要,有意义的和深刻的掘金的冲击噪声。
相反,我们所拥有的更多的信息,我们的欲望越少,因为我们只奖结果仔细分析我们的大数据,而不是数据本身。包含黄金是一文不值的山,无论山的大小,如果提取珍贵材料的成本超过了它的价值。
美国政府坐在金山上大数据
今天,美国政府面临着妈妈的大数据。从国家海洋和大气管理局(NOAA)地球科学信息的气象数据来自美国地质调查局(USGS)基因组学数据在国家卫生研究院(NIH),政府,因此,美国人拥有可能是这个星球上最大的大数据集的集合。
理论上这是非常宝贵的,真的,但毫无价值,如果我们无法提取重要的掘金。我这黄金,奥巴马政府宣布大数据研究和发展倡议3月。五个机构做出了约2亿美元的新承诺改善大数据工具和技术:上述国家卫生研究院和美国地质调查局+美国国家科学基金会,美国国防部(DOD),美国能源部(DOE)。这些机构和部门面临的挑战从数据更好地利用美国能源部的超级计算机处理科学数据来促进“快速可定制的视觉推理”多样化的国防部任务。
这些都是宝贵的掘金,可以肯定的是,,从大局来看,2亿美元是一个讨价还价。但是政府在大数据的投资不要停止。8月,白宫宣布总统创新人计划,该计划带来了裂纹的创新者团队一起合作项目与目标”改善美国人民的生活,节省纳税人的钱和燃料创造就业。”On the initial list of target projects are蓝色按钮为美国,退伍军人事务部门的一个扩展蓝色按钮倡议,以及开放式组项目白宫电话开放数据计划。
白宫发布消息:大数据研发推动
的开放数据计划比大数据计划有不同的要求,但它们之间的协同作用是显而易见的。开放数据集中在“解放”政府数据(以及造成企业数据)为了实现创新伙伴计划的战略目标。
这是什么意思解放数据?列举两个例子NOAA气象数据(现在每一个电视上的天气预报)的核心和全球定位系统,没有它我们都丢失。
这些例子,NOAA气象数据最明显的是目前大数据的挑战。这样的大型数据集的价值并不仅仅取决于天气数据本身,但在预测天气的能力基于这些数据——通常经典大数据问题。从美国公民的角度,我们值准确预测;历史气象数据的巨大数量的预测引擎只是铁矿石我们必须我找到掘金的欲望。
这就是开放数据项目面临的挑战。数据越多,我们越少数据集本身的价值。我们真正渴望的信息藏在越来越多的无关紧要的或无用的信息。危险在于,政府给我们提供了更多的数据,我们渴望更好的隐藏的掘金。换句话说,在缺乏有效的大数据解决方案,真正开放政府可能覆盖—或者,更糟糕的是,误用掩盖的市民会发现最有价值的信息。
大数据挑战加剧了公民的知情权
这个不受欢迎的结果显然不是美国总统巴拉克•奥巴马(Barack Obama)的意图开放政府计划,呼吁开放的推定。真的,有类型的信息,政府不可能或不应该分享,包括军事机密,对个人隐私数据,和正在进行的刑事调查有关的信息。然而,这些敏感信息的类别列表是明确的和有限的。所有其他政府信息是待价而沽。
新闻:奥巴马促进新的开放政府计划
如果你想要获得这些信息,通常是你所要做的就是去相关机构网站,作为奥巴马政府命令他们主动把信息提供给所有公民。如果你不能找到你寻找的东西,你可以做一个信息自由法案请求。在1960年代通过的法案,1974年,国会延长《信息自由法》由于水门事件。今天,政府每年收到超过500000份根据《信息自由法》提出,当前积压的超过80000个请求。
通常一个公民使《信息自由法》请求为特定文档或其他信息Steve jobs的调查局背景调查为例。尽管这类文档历史以及人类利益价值,它们的价值相比,掘金的黄金大数据分析可以揭示。
然而,它是不可能提交一份《信息自由法》请求大数据分析的结论,因为可能无法形成这样的请求。大数据分析通常问:“有什么重要或有趣的结论我能从这些大型数据集吗?”的y don't request a particular piece of information. The best大数据分析告诉你什么信息你应该是很重要的,而不是期待你提前知道什么信息是很重要的。
分析:今天大数据分析让企业发挥《点球成金》
因此,政府机构面临两个战略大数据的挑战。首先,他们必须避免与噪声淹没相关信息;其次,他们必须让公民请求政府的重要信息,而无需提前知道为什么这些信息是非常重要的。此外,可用的数据集变得越大,这些挑战将会越大。
我们的政府可以谈论开放数据和开放政府所有想要的,但是如果它不把大数据解决方案吧,然后我们在无关紧要的信息的海洋挣扎的风险。总统创新伙伴为他们工作。
Jason Bloomberg了ZapThink的总统,Dovel技术公司。在Twitter上关注从CIO.com @CIOonline, Facebook和Google +。
阅读更多关于数据管理CIO的数据管理、下钻。
这个故事,“政府可以处理大数据分析?”最初发表的首席信息官 。