深研院信息工程学院邹月娴教授课题组在人工智能顶级会议AAAI上发表论文

作者:清北知网查重系统     发表时间:2020-03-24 13:38:54   浏览次数:22


  最近,视觉和语言的多模态任务,例如图像字幕和视觉问题解答(VQA),引起了学术界和工业界的广泛兴趣。但是,大多数现有的模型都专注于单个任务。深圳研究生院信息工程学院邹月娴教授课题组研究发现,这些任务存在一定的相似性,因此认为如果模型可以同时考虑这些多模态问题,则可以共同学习来自不同任务的不同知识,并且很有可能提高每个任务的效能。

  近日,邹月娴课题组的研究“Federated Learning for Vision-and-Language Grounding Problems”被在美国纽约举行的第34届人工智能发展协会(AAAI)人工智能会议(AAAI Conference on Artificial Intelligence, AAAI 2020)接收发表并以口头汇报(Oral)的形式进行了展示。该研究成果提出了一种联邦学习框架,可以从不同的任务中获得各种类型的图像表示,然后将它们融合在一起以形成细粒度的图像表示。这些图像表示融合了来自不同视觉和语言的多模态问题的有用图像表示,因此在单个任务中比单独的原始图像表示强大得多。为了学习这种图像表示,该课题组提出了对齐(Aligning)、集成(Integrating)和映射(Mapping)、网络(aimNet)。aimNet由一个对齐模块,一个集成模块和一个映射模块组成(如下图)。

课题组提出的集中式模型aimNet

  其中,对齐模块通过对提取的视觉和文本特征进行相互关注来构建对齐的图像表示,其能为显著图像区域提供了更清晰的语义描述。接下来,集成模块着重于通过自我注意机制集成视觉和文本特征,该机制捕获显著区域的分组和属性的搭配。最后,映射模块由两层非线性层组成,用于将学习到的细粒度图像表示映射到特定任务的特征域。各课题组提出的模块充分利用了图像中的所有有效信息,并将其作为输入传递给解码器,以生成有意义的句子或给出问题的准确答案。该课题组在两个图像字幕数据集和一个VQA数据集上,以及相应的三个联邦学习设置上,包括水平联合学习,垂直联合学习和联合迁移学习,进行实验用于验证该课题组的动机以及所提出方法的有效性。

  2019级硕士生刘峰林为该论文第一作者,邹月娴为通讯作者,该工作得到了数字视频编解码技术国家工程实验室、深圳市发改委(数据科学与智能计算学科发展计划)和Aoto-PKUSZ联合实验室的支持。

高校论文查重:https://www.cnkice.cn/chachong/

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时删除处理。

行业动态相关资讯

学术不端查重入口


检查语种:中文/英文 预计时间:30-120分钟
系统说明PaperPass全国首款中文论文查重检测系统,现已为超300万人提供论文查重检测服务。QQ客服:2713104781
检查范围学术期刊和学位论文
30.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明维普论文检测系统:高校,杂志社指定系统,可检测期刊发表,大学生,硕博等论文。QQ客服:2713104781
检查范围专本硕博学位论文 杂志发表论文
32.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明知网查重期刊系统是杂志社专用系统,针对编辑部来稿、已发表文献、学校、事业单位业务报告、职称等论文的重复率检测系统。
检查范围职称评审、学术论文投稿发表使用 请勿用于学位论文检测
78.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明知网硕士博士研究生tmlc2/vip5.3查重系统是全国高校检测硕士、博士、MBA等论文的检测系统,检测结果和高校一致,定稿首选!
检查范围硕士、博士毕业论文
358.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明知网本科PMLC论文查重系统:是最权威的本专科论文查重系统,含:大学生论文联合对比库;,检测结果和学校一致!国内95%以上高校使用。
检查范围本/专科毕业论文
258.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明知网论文小分解检测系统,对于想检测知网系统,而又价格便宜的同学可以选择,结果与本科,研究生有出入,限每篇1.4万字符!
检查范围各种论文初稿检测
85.00元/篇
立即体检
检查语种:中文/英文 预计时间:30-120分钟
系统说明学术不端大论文分解检测系统:一亿篇中文文献,1000万篇各类独家文献,300万港澳台地区学术文献4000万篇英文文献资源,20个亿中英文互联网资源是用来检测硕博论文的系统,检测范围广,数据来源权威,检测算法严格,与知网vip5.1的区别是少1个对比库,检测结果略低于vip5.1,一般情况下结果相差不是很大,可作为专本科硕士论文定稿前的检测。(限制字符数2.9万)
检查范围大学生/研究生论文初稿检测
118.00元/篇
立即体检
在线客服 返回顶部