大数据,为国家的创新发展带来了巨大的机会,但实现大数据的大价值,尤其是大数据转化为现实生产力,也面临着一系列挑战。
【基于科学的挑战】
大的数据时,分析可以是相关的值的值。用于分析有关该对象的样本数据的数据传统的统计方法,将样品趋于无穷极限分布的基础;和大数据对象被处理自然数据,既没有明确的采样机制,这是不可能存在稳定的极限分布。因此,数据的常规分析已经动摇科学基础,它必须重建统计的基础上,逻辑基础的基础上计算的。
【技术挑战计算】
除了大数据相关的数据解释方法本身的核心技术,存储什么样的计算架构,什么样的计算模式,以支持快速查询处理,什么样的编程语言和算法来完成计算,分析和挖掘,其面临的技术挑战,创新的计算模型和计算方法。
【挑战判决书的真实性】
大数据具有较大的价值是毋庸置疑的,但如果你从数据产生较大的结论,形成决策的基础上的方法不扎实,就利用大数据的直接结论可能是不可靠的,甚至危险的,它是必然使大数据变成一个“大忽悠”。例如,一家外国公司被媒体发明的,电商数据来预测一个城市的流感大数据技术,最近被科学家们发现的高估的存在,其原因是分析从统计模型的偏差的科学基础缺失。因此,真假判定仍然是我们一个很大的挑战。