版权说明 操作指南
首页 > 成果 > 详情

一种基于声学信号的课堂交互网络分析方法

认领
导出
反馈
分享
QQ微信 微博
成果类型:
专利
发明/设计人:
刘三女牙(刘三女牙);黄山云;侯成坤;陈雅淑;孙建文(孙建文);...
申请/专利权人:
华中师范大学
专利类型:
发明专利
语种:
中文
申请时间:
2019-07-31
申请/专利号:
CN201910702610.9
公开时间:
2019-11-19
公开号:
CN110473548A
主申请人地址:
430079 湖北省武汉市洪山区珞瑜路152号华中师范大学
申请地区:
湖北
机构署名:
本校为第一完成单位
主权项:
1.一种基于声学信号的课堂交互网络分析方法,其特征在于,该方法包括以下步骤: 步骤1、数据采集:采集课堂的语音信息,并将其转换为音频信号; 步骤2、数据预处理:对采集到的音频信号进行采样,采样周期的选取根据模拟语音信号的带宽来确定,得到离散化处理的音频信号,避免信号的频域混叠失真;然后进行预加重、分帧、加窗的预处理操作,消除混叠、高次谐波失真对音频信号的影响;最后进行特征提取,采用音频嵌入来表示声学信号; 步骤3、声学信号识别:对音频嵌入进行声纹特征识别和聚类,获取每个说话人说话的始末时间,将始末时间数据存储到文本文件中;进行性别识别,获取每段音频的说话人性别,将性别数据存储到文本文件中;进行情绪识别,获取说话人每段音频的情绪,将情绪数据存储到文本文件中; 步骤4、课堂交互分析:从文本文件中读取时间信息,节点表示说话人,以说话人说话的时长总和作为节点的权重;边表示两个节点之间产生了交互,以交互次数总和作为边的权重,依此构造节点和边均加权的有向图作为社会网络图;通过计算不同“师-生”群体行为转化率、课堂情绪转化率、课堂兴奋度、交互密度、网络密度、网络直径、节点度数、平均度数等指标对课堂交互中个体交互差异、课堂交互结构以及课堂模式进行分析。 2.根据权利要求1所述的基于声学信号的课堂交互网络分析方法,其特征在于,步骤1中采集课堂语音信息的方法包括: 采用录音设备记录课堂的语音信息,转换为音频信号后存储至数据库中,或直接对音频信号进行同步分析处理。 3.根据权利要求1所述的基于声学信号的课堂交互网络分析方法,其特征在于,步骤2中提取的特征包括:基音频率、线性预测倒谱系数、Mel频率倒谱系数、振幅能量构造、共振峰构造以及基于深度学习的音频特征。 4.根据权利要求3所述的基于声学信号的课堂交互网络分析方法,其特征在于,步骤3的具体方法包括以下子步骤: 步骤3.1、采用高斯混合模型进行活动语音检测,抑制非语音的部分,其中包括:安静以及混乱的情况,得到音频片段的始末时间,储存为文本数据; 步骤3.2、对各个音频片段采用滑动窗口进行说话人变化检测,滑动窗口之间用贝叶斯信息准则计算距离,该距离小于阈值时判别为同一个说话人,反之则标记为新的音频片段; 步骤3.3、将每个音频片段看作空间中的点V,将这些点之间用边E连接起来,距离较远的两个点之间的边权重值较低,距离较近的两个点之间的边权重值较高,构成一个基于相似度的无向权重图G(V,E);将无向权重图切分为不同的子图,采用的切边规则为:使子图内的边权重最大,不同子图间的边权重最小,从而实现对音频片段的谱聚类;记录每个音频片段的起始时间、终止时间以及说话人; 步骤3.4、依据步骤2中提取的基音频率以及线性预测倒谱系数、Mel频率倒谱系数对音频片段采用XGBoost算法,判断其说话人性别; 步骤3.5、依据步骤2中提取的基音频率、振幅能量构造,共振峰构造,Mel频率倒谱系数对音频片段采用GMM超矢量和SVM的语音情感识别方法,识别3种基本情绪状态:兴奋、平静以及低落。 5.根据权利要求4所述的基于声学信号的课堂交互网络分析方法,其特征在于,步骤4的具体方法包括以下子步骤: 步骤4.1、对步骤3中得到的每个语音片段的始末时间、说话人、情绪数据进行处理,节点表示说话人,以说话人说话的时长总和作为节点的权重;边表示两个节点之间产生了交互,以交互次数总和作为边的权重,依此构造节点和边均加权的有向图作为社会网络图; 步骤4.2、计算师生行为转化率、课堂情绪转化率、课堂兴奋度、交互密度、网络密度、网络直径、节点度数、平均度数; 步骤4.3、分析个体交互差异:将不同性别的学生与教师构造社会网络图,计算课堂兴奋度、交互密度以及平均度数,通过显著性差异分析来判断男学生和女学生在课堂交互上是否存在差异;同时,记录课堂情绪和节点度数差异大于阈值的个体;将以上结果反馈给教师以供其调整与男女同学之间交互平衡以及关注异常学生; 步骤4.4、分析课堂交互结构:通过交互密度、网络密度、网络直径、节点度数和平均度数判定课堂交互结构,其中课堂交互结构包括:平衡结构、散乱结构、集中结构和分散结构; 步骤4.5、分析课堂模式:通过行为转化率、课堂情绪转化率、课堂兴奋度以及课堂交互结构判定课堂模式,其中课堂模式包括:灌输模式、讲授模式以及讨论模式。 6.根据权利要求5所述的基于声学信号的课堂交互网络分析方法,其特征在于,步骤4.2的具体计算方法为: 师生行为转化率公式如下: 其中,fst为师生行为转化次数,T为课堂总时长,单位为分钟,OC为课堂观察系数,即为课堂中取样频率,选取OC=20次/分钟; 课堂情绪转化率公式如下: 其中,fs为情绪转化次数; 课堂兴奋度公式如下: 其中,Te为判断为兴奋情绪的语音片段时长; 交互密度公式如下: 其中,l为社会网络图中边的个数,wl为每条边的权重,即交互次数,n为社会网络图中节点的个数,即说话人的个数,wn为每个节点的权重,即说话时长,以秒为单位; 网络密度公式如下: 网络直径公式如下: dn=max(diameter) 其中,diameter为社会网络图中所有节点之间的距离; 节点度数公式如下: D=OD+ID 其中,OD为点的出度,ID为点的入度 平均度数公式如下:
摘要:
本发明公开了一种基于声学信号的课堂交互网络分析方法,该方法包括下步骤:步骤1、数据采集:采集课堂的语音信息,并将其转换为音频信号;步骤2、数据预处理:对采集到的音频信号进行重采样、预加重、分帧、加窗以及声学信号特征的提取;步骤3、声学信号识别:对音频进行声纹以及情绪的识别,获取每个说话人的起始位置、性别以及情绪状态;步骤4、课堂交互分析:使用社会网络分析对每个说话人进行模型构建,最终判定课堂中个体交互差异以及课堂的交互结构。本发明能够实现通过声学信号定量和定性的分析课堂交互行为,根据社会网络分析结果评价课堂交互、反馈教学质量,从而针对性地改善教学效...

反馈

验证码:
看不清楚,换一个
确定
取消

成果认领

标题:
用户 作者 通讯作者
请选择
请选择
确定
取消

提示

该栏目需要登录且有访问权限才可以访问

如果您有访问权限,请直接 登录访问

如果您没有访问权限,请联系管理员申请开通

管理员联系邮箱:yun@hnwdkj.com