版权说明 操作指南
首页 > 成果 > 详情

基于多尺度差分的联合时刻检索与高光检测方法及系统

认领
导出
反馈
分享
QQ微信 微博
成果类型:
专利
发明/设计人:
孙昊;周明瑶;谢伟
申请/专利权人:
华中师范大学
专利类型:
发明
语种:
中文
申请时间:
2023.11.17
申请/专利号:
CN202311556062.6
公开时间:
2024.03.08
公开号:
CN117668293A
代理人:
薛玲
机构署名:
本校为其他完成单位
摘要:
本发明提供基于多尺度差分的联合时刻检索与高光检测方法及系统,其技术要点在于:输入视频和文本数据,提取视觉和文本特征;进行片段‑文本特征语义跨模态对齐;使用跨注意力机制来突出表达和文本查询相关的视频片段;使用差分信息感知来挖掘相邻片段之间的差分信息,采用多尺度卷积和图卷积网络来挖掘片段之间的多尺度关系,得到多尺度差分感知的联合表征;分别使用时刻检索和高光检测的任务头来预测最终结果,并计算各自的惩罚函数,进行反向传播优化整个网络的参数,待网络整体参数全部收敛之后,将最终的高光片段和检索时刻输出。本发明主要缓解了现有方法没有考虑到不同用户查询对应的时...

反馈

验证码:
看不清楚,换一个
确定
取消

成果认领

标题:
用户 作者 通讯作者
请选择
请选择
确定
取消

提示

该栏目需要登录且有访问权限才可以访问

如果您有访问权限,请直接 登录访问

如果您没有访问权限,请联系管理员申请开通

管理员联系邮箱:yun@hnwdkj.com