基于大数据下的nosql和mysql融合的数据存储模型研究

《基于大数据下的nosql和mysql融合的数据存储模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、于大数据下的NOSQL和Mysql融合的数据存储模型研究摘要：大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。而传统的关系数据库管理系统在大数据环境中已不堪重负，Nosql和关系数据库融合将是大数据发展的下一个趋势。关键词：NOSQL融合存储模型Mysql中图分类号：TP311文献标识码：A文章编号：1007-9416(2014)02-0096-011引言随着互联网的不断发展，各种类型的应用层出不穷，尤其在云计算时代，对数据存储提出了更新、更多的要求。关系数据库长期以来在数据存储方面占据了不

2、可动摇的地位，但关系数据库有其扩展困难、读写慢、成本高、有限的支撑容量等天生的限制，在解决新的海量数据存储需求时，显得力不从心，于是推出了新类型的“NoSQL”数据类型，NOSQL可以弥补关系数据库在数据高并发地读写和海量数据存储的要求。2NOSQL与关系数据库融合的研究现状在大数据迅猛发展的今天，从关系数据库到NOSQL数据库，有一个必不可少的环节，那就是数据的过度和迁移［1］。在数据迁移过程，需要对历史数据清洗、转换、并装载到新系统，在这过程中面临着人工、数据安全、运维等潜在的危险，在数据迁移后还面临着操作方式的转换等难题。NOSQL和关系数据库能融合的存储数据，企业

3、和数据管理者就可以免去这一风险。目前关于NOSQL与关系数据融合的研究已经有了一些成功，2011年Mysql关系数据库5.6.2版本推出了memcached功能，他可以使得开发人员更加方便使用NOSQL和关系数据库，可以直接在InnoDB之上提供NOSQL功能和Mysql共存。随后的第二年，Mysql又推出了HandlerSocket的出现，性能是Memcached的两倍时，速率居然可以达到750000qps。接着HandlerSocket成为NoSQL领域谈论的焦点之一，大量的人开始想要尝试，并做过一些自己的性能测试。HandlerSocket可以直接提供NoSQL的功

4、能，但是他没有和MYSQL一起发布，可以通过Percona-Server来使用。MySQL关系数据库目前很关注NOSQL领域的应用，在MySQL5.6.2版本中增加了Memcached协议，同时也支持文本和二进制协议，能更好处理Cache模式，省去开发过程中使用Memcached来缓存数据，并能更好的数据的可靠性和一致性。在开发过程中，程序员既可以高效的使用Memcashed协议来操作数据，同时也可以使用sql语句进行复制的查询操作，使得NoSQL和MySQL能有效的灵活的存储、查询数据。3NoSQL与MySQL融合的优势NoSQL与关系数据库的融合，在大数据环境下对数据

5、存储带来很大的优势。以Mysql的HandlerSocket为实例来说明。支持大量的查询模式：HandlerSocket支持主键/唯一性查询，非唯一性索引查询，范围扫描，LIMIT和INSERT/UPDATE/DELETE，不支持未使用任何索引的操作，multi_get操作（类似于in（1，2，3））-通过单一网络往返获取多行数据-也是支持的。可以处理大量并发连接：HandlerSocket连接是轻量级的，采用了epoll（）和工作线程/线程池架构，因此你可以建立上千或上万的网络连接，稳定性不会受到任何影响等。极好的性能：HandlerSocket相对于其它NoSQL阵容

6、性能表现一点也不逊色，HandlerSocket能在一台普通服务器上可以执行750000+次查询。更小的网络数据包：HandlerSocket协议和传统MySQL协议相比更简单，更小，因此整个网络的流量也更小。没有重复的缓存：采用HandlerSocket插件访问InnoDB存储引擎，记录可以缓存在InnoDB缓冲池中，这样其它SQL语句就可以重复使用它。保证数据一致：由于数据只存储在一个地方（InnoDB内），不需要在Memcached和MySQL之间检查数据一致性。崩溃安全:后端存储是InnoDB，它是事务性和崩渍安全的，即使你设置innodb-flush-log-a

7、t-trx-commit!=1，在服务器崩溃时也只会丢掉