期刊论文

中文

计算机应用研究

1001-3695

2015

32

11

3312-3314

10.3969/j.issn.1001-3695.2015.11.025

湖北省自然科学基金资助项目（2011CDB072） 国家社会科学基金资助项目（13BTQ050）

本校为其他机构

针对传统GSP算法需要多次扫描数据库、I/O开销巨大的缺点,提出了一种基于MapReduce编程框架的序列模式挖掘算法MR-GSP(GSP algorithm based on MapReduce)。MR-GSP算法将原序列数据库划分为多个子序列数据库并分发到多个Map节点,Map函数扫描存放在Map节点内存中的子序列数据库,产生局部序列模式,Reduce函数对所有局部序列模式合并,扫描原序列数据库,计算局部序列模式的支持度,得到最终的序列模式。相比于传统GSP算法,MR-GSP算法只需扫描两次原始数据库即可得到所有序列模式。实验结果表明,MR-GSP算法在对大数据集进行序列模式挖掘时,可充分利用云计算技术的优势,提高挖掘效率。

For the disadvantages that traditional GSP algorithm need to scan the database repeatedly and the I/O overhead is huge, this paper proposed a sequential pattern mining algorithm MR-GSP（ GSP algorithm based on MapReduce） based on MapReduce programming framework. The MR-GSP algorithm divided the original sequence database into some sub-sequence databases and distributed them to Map workers, Map function scanned sub-sequence databases stored in memory to generate partial sequence patterns. Reduce function merged all partial sequence patterns and...