版权说明 操作指南
首页 > 成果 > 详情

一种面向WiFi日志数据的解析存储搜索方法

认领
导出
反馈
分享
QQ微信 微博
成果类型:
专利
发明/设计人:
刘智;刘三女牙(刘三女牙);杨宗凯;周东波;李敏士;...
申请/专利权人:
华中师范大学
专利类型:
发明专利
语种:
中文
申请时间:
2019-01-22
申请/专利号:
CN201910060016.4
公开时间:
2019-06-18
公开号:
CN109902070A
主申请人地址:
430079 湖北省武汉市武昌区珞瑜路152号
申请地区:
湖北
机构署名:
本校为第一完成单位
主权项:
1.一种面向WiFi日志数据的解析存储搜索方法,其特征在于该方法包括以下步骤: (1)提取解析WiFi日志的日期、时间、宿主IP、事件类型、消息类型、消息码、事件码、路由器地址和路由器IP内容; (2)将解析的数据以键值对的形式保存至MongoDB分布式文件存储数据库; (3)开启Logstash管道将MongoDB数据库复制到Elasticsearch搜索引擎中搜索; (4)按照事务完整性导出MongoDB数据库的数据为二进制JSON文件,并加载到Hadoop平台。 2.根据权利要求1所述的面向WiFi日志数据的解析存储搜索方法,其特征在于步骤(1)具体包括: S11、创建一个使用默认大小输入缓冲区的缓冲字符输入流,使用字符输入流读取日志文件直到读取为空,读取到一行日志后,判断日志文件的类型,如果是warning警告类型或者err错误类型,则解析出路由的空间实体位置和IP地址,随后与info信息类型和notice注意类型一起解析出日期、时间、宿主IP、事件类型、消息类型、消息码、事件码。 3.根据权利要求1所述的面向WiFi日志数据的解析存储搜索方法,其特征在于步骤(2)具体包括: S21、使用列表List存储MongoDB数据库中的文档Document,当列表List中数量达到一万条进行一次插入数据库操作,直到所有数据插入完毕,不足一万条的数据最后插入。 4.根据权利要求1所述的面向WiFi日志数据的解析存储搜索方法,其特征在于步骤(3)具体包括: S31、在MongoDB数据库中开启复制集,设定好副本集的名称后将MongoDB数据库和副本集成员连接,初始化副本集; S32、配置MongoDB数据库和Elasticsearch搜索引擎的地址与端口,然后同步Elasticsearch搜索引擎和MongoDB数据库中的数据。 5.根据权利要求1所述的面向WiFi日志数据的解析存储搜索方法,其特征在于步骤(4)具体包括: S41、将MongoDB数据库的数据导出为二进制JSON文件; S42、将二进制JSON文件加载进分布式系统Hadoop的分布式文件系统HDFS当中。
摘要:
本发明属于计算机信息技术领域,提供一种面向WiFi日志数据的解析存储搜索方法,包括:(1)提取解析WiFi日志的日期、时间、宿主IP、事件类型、消息类型、消息码、事件码、路由器地址和路由器IP;(2)将解析的数据以键值对的形式保存至MongoDB分布式文件存储数据库;(3)开启Logstash管道将MongoDB数据库复制到Elasticsearch搜索引擎中搜索;(4)按照事务完整性导出MongoDB数据库的数据为二进制JSON文件,并加载到Hadoop平台。本发明方法能够对WiFi日志数据进行有效的解析和存储,同时提高了搜索的效率以及离线计算效率。

反馈

验证码:
看不清楚,换一个
确定
取消

成果认领

标题:
用户 作者 通讯作者
请选择
请选择
确定
取消

提示

该栏目需要登录且有访问权限才可以访问

如果您有访问权限,请直接 登录访问

如果您没有访问权限,请联系管理员申请开通

管理员联系邮箱:yun@hnwdkj.com