大数据发展存在的主要问题

《大数据发展存在的主要问题》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、（一）数据孤岛问题大数据的基础在于数据，但是如果拿不到底层的数据，数据分析也就无从谈起。随着社交网络、移动互联网和物联网的兴起以及社交媒体的发展导致各种海量数据生成，带来了无限想象力和商业应用价值。“第一个问题就是没数据，理论上我们中国有很多数据，但实际做数据分析会发现非常困难。”中国科学院院士、北京大数据研究院院长鄂维南表示，数据孤岛是一个严重的问题，从技术层面看，大数据的主要挑战是采集和分析。不同部门的数据储存在不同地方，大数据来源众多、数量巨大、形式各异。大数据最高的层次就是用数据来形成智慧，这需要从中获得一目了然的信息。做数据分析先要整合数据，整合数据需要真正高效、可靠的数据管理

2、和分析平台。社会大数据是一种社会公共资源，由于政府部门之间、企业之间、政府和企业间信息不对称、制度法律不具体、缺乏公共平台和共享渠道等多重因素，还有多样的设备、各式各样的应用场景，导致大量政府数据存在“不愿公开、不敢公开、不能公开、不会公开”的问题，早就了一个个企业和政府管理部门的数据孤岛。阻碍数据共享的另一个主要原因是缺乏动力和担心安全。贵阳大数据交易所执行总裁王叁寿透露，不少企业以保护商业机密或节省数据整理成本等为理由，不愿意交易自身数据。在出行领域，每天有上千万的出行记录和数百辆车的实时地理位置信息被记录在出行软件上。电商行业大量流转的货物，掌握着许多家庭住址。这些大数据涉及到千家

3、万户的财产甚至人身安全，企业不愿意泄露这部分信息。部分政府部门也缺乏数据公开的动力：有的是因懒政而让数据沉睡，有的则是已经利用数据开展商业化应用，因此不愿共享。“数据孤岛的痛不是技术问题，是利益问题，背后隐藏的利益导致了数据孤岛的产生。”鄂维南坦言。对于如何打通数据孤岛，加快政府数据开放共享，政府要建立完善大数据发展协调机制，稳步推动公共数据资源开放，将大数据作为一项国家战略。大量的数据仍然掌握在个别企业和政府机构中，要想实现共享和保证信息安全，还要统筹规划大数据基础设施建设，推动制定公共信息资源保护和开放的制度性文件，明确数据开放共享的原则和底线。中国的大数据才刚刚起步，若想打通城市现

4、存的信息壁垒，就要让城市多方资源联动起来，搭建城市数据共享的平台，从而形成良好的数据开发和使用氛围，激活大数据价值，充分发挥数据资源整合的优质效应。（二）底层技术差距很大即便解决了数据共享问题，数据可供随时取用，每天天所产生的海量数据需要有一个强有力且安全的平台来对这些数据进行收集、分析。微软大中华区董事长兼CEO柯睿杰认为，数据智能并非那么触手可及。要想从来源众多、数量巨大、形式各异的大数据获得一目了然的信息，就需要真正高效、可靠的数据管理和分析平台，从而为用户提出一个切实可行的方案。中国当前的数据产生量占全球数据总量的13%，增长速度也很快，如图3所示。如何处理巨量数据是中国大数据产

5、业面临的首要技术问题。中国的数据体量特别大中国的视频比任何国家都要多，这些数据储存困难，需要用的时候往往就没了。59%的数据是无效数据，70%的数据过于复杂，85%的企业数据架构无法适应数据量和复杂性增长的需求，98%的企业无法及时、准确地为业务提供正确的信息。这些问题都给数据统计分析带来了困难。另一方面，数据分析本身也是一个难题。大数据中，绝大部分属于非结构化的数据，无法用数字或同意的结构表示。这些大量存在于社交网络、互联网和电子商务等领域的大数据，在高维、多变和强随机性等方面表现出不确定性。股票交易数据流就是不确定性大数据的一个典型例子。研究和应用这些数据需要结合包括数学、经济学、社

6、会学、计算机科学和管理科学在内的多学科交叉。图2中国大数据细分市场结构情况图3:2011-2018年中国大数据产业营收规模及增速目前，我国大数据技术创新能力还有待提升。《大数据产业发展规划（2016-2020年）》指出，我国在新型计算平台、分布式计算架构、大数据处理、分析和呈现方面与国外仍存在较大差距，对开源技术和相关生态系统影响力弱。同时，大数据应用水平不高。我国发展大数据具有强劲的应用市场优势，但是目前还存在应用领域不广泛、应用程度不深、认识不到位等问题。我们在大数据应用上并不落后国外，但是在底层技术上远远不及国外，技术都来源于谷歌等国外大公司。很多时候我们的商业模式走在了技术前面，

7、并没有通过技术手段来推动创新。国家层面要支持大数据共性关键技术研究，加强海量数据存储、数据清洗、数据分析发掘、数据可视化等领域关键技术攻关，并支持自然语言理解、机器学习、深度学习等人工智能技术创新。（三）专业人才短缺严重近年来，大数据成为一个新兴热词越来越被人们所提及。我国大数据产业发展进入爆发期，对于企业来说，大数据的影响更为猛烈。由于成熟的人才培训体系尚未建立，企业数据爆炸性增长给企业带来了隐患，直接导致人才短缺的问题日益突出。