五种大数据压缩算法

《五种大数据压缩算法》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准文档n哈弗曼编码A method for the construction of minimum-re-dundancy codes,耿国华1数据结构1北京:高等教育出版社,2005:182—190严蔚敏,吴伟民.数据结构(C语言版)[M].北京:清华大学出版社,1997.冯 桂,林其伟,陈东华.信息论与编码技术[M].北京:清华大学出版社,2007.刘大有,唐海鹰,孙舒杨,等.数据结构[M].北京:高等教育出版社,2001²压缩实现速度要求为了让它(huffman.cpp)快速运行，同时不使用任何动态库，比如STL或者MFC。它压缩1M数据少于100m

2、s（P3处理器，主频1G）。压缩过程压缩代码非常简单，首先用ASCII值初始化511个哈夫曼节点：CHuffmanNodenodes[511];for(intnCount=0;nCount<256;nCount++)nodes[nCount].byAscii=nCount;其次，计算在输入缓冲区数据中，每个ASCII码出现的频率：for(nCount=0;nCount

3、,frequencyCompare);哈夫曼树，获取每个ASCII码对应的位序列：intnNodeCount=GetHuffmanTree(nodes);构造哈夫曼树文案大全实用标准文档构造哈夫曼树非常简单，将所有的节点放到一个队列中，用一个节点替换两个频率最低的节点，新节点的频率就是这两个节点的频率之和。这样，新节点就是两个被替换节点的父节点了。如此循环，直到队列中只剩一个节点（树根）。//parentnodepNode=&nodes[nParentNode++];//popfirstchildpNode->pLeft=PopNode(pNodes,nBack

4、Node--,false);//popsecondchildpNode->pRight=PopNode(pNodes,nBackNode--,true);//adjustparentofthetwopopednodespNode->pLeft->pParent=pNode->pRight->pParent=pNode;//adjustparentfrequencypNode->nFrequency=pNode->pLeft->nFrequency+pNode->pRight->nFrequency注意事项有一个好的诀窍来避免使用任何队列组件。ASCII码只有25

5、6个，但实际分配了511个(CHuffmanNodenodes[511])，前255个记录ASCII码，而用后255个记录哈夫曼树中的父节点。并且在构造树的时候只使用一个指针数组(ChuffmanNode*pNodes[256])来指向这些节点。同样使用两个变量来操作队列索引(intnParentNode=nNodeCount;nBackNode=nNodeCount–1)。接着，压缩的最后一步是将每个ASCII编码写入输出缓冲区中：intnDesIndex=0;//looptowritecodesfor(nCount=0;nCount

6、nt++){*(DWORD*)(pDesPtr+(nDesIndex>>3))

7、=nodes[pSrc[nCount]].dwCode<<(nDesIndex&7);nDesIndex+=nodes[pSrc[nCount]].nCodeLength;}(nDesIndex>>3):>>3以8位为界限右移后到达右边字节的前面文案大全实用标准文档(nDesIndex&7):&7得到最高位.此外，在压缩缓冲区中，必须保存哈夫曼树的节点以及位序列，这样才能在解压缩时重新构造哈夫曼树（只需保存ASCII值和对应的位序列）。解压缩解压缩比构造哈夫曼树要简单的多，将输入缓冲

8、区中的每个编码用对应的ASCII码逐个替换就可以了。只要记住，这里的输入缓冲区是一个包含每个ASCII值的编码的位流。因此，为了用ASCII值替换编码，我们必须用位流搜索哈夫曼树，直到发现一个叶节点，然后将它的ASCII值添加到输出缓冲区中：intnDesIndex=0;DWORDnCode;while(nDesIndex>3)))>>(nSrcIndex&7);pNode=pRoot;while(pNode->pLeft){pNode=(nCode&1)?pNode->pRi

9、ght:pNode->p