面向模态不均衡数据的多模态学习技术研究

《面向模态不均衡数据的多模态学习技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＂‘．．、ｒ、一？—？亡？－．＊■—＊．＇、＇？？？？二、Ｗ＾；？？，■，《？，＾凌〇〇、？、？、＂．－、’‘，．冷作＇＾；．＞．．’＞．＞：‘＇＇率．？．Ｖ心以－．．－巧、．分．．Ｖ，、氏＇＇：矿，：；？础徐－；：．七心；．；乂）；狭少？？於：如’＇三、＇專军．ｔ■■＇？、■■＊＇＇、户■户’＇＊？＇？＇ｊ＞？＊，＇，、、ｚ：．．一、、．｜乂ｈ、ｙ｜｜一—＞‘．？兴和Ｍ己＇？＇峡斟扩：．－■：Ｖ，护＇／乂；；Ｕ；如叫片：诵ｒ為義乂達翻證．，‘，－＇．．Ｖ、－Ｖ＇．／．：：早巧方

2、、研究生毕业论文巧：氛尸、ｒ：；＇．：．．’．．；：＾ｆ＼；．（申请硕壬学位）瑞讀？＞号盛；．■、’？一、－ｔ、‘、－’＇＾．：／／‘．ｒＶ＇！＇乂為Ａ新、象＇－，＇’＇＇’＇，方．＇＞一；■冷一乂．、入嗦ｘ、＜乂與：一：ｒ备：■、．论文题目苗向模态不均衡数据的多模态学习技未研究；：．、？■＇＇．－．＂．－＾＊．，．、＂；Ｖ．‘．，、’、－＇：二．＇＇，仁．：Ｗ户、．如＊节、’者姓名巧－—杨杨人＇－．：、＇哉媒户＇＞、．＾＇评＇＞‘灿Ｊ；／１、ｉ；、參＾学科祥、专业名称计算机

3、科学与技术＇２：－＾万节端啼研究方向Ｓ多模态学习＾，机器学习一￣＾＇广．’．ｃ．可；，．苗乂：．＇１’’．．指导教师姜远教授、詹德川副教授．＾當二■＇＾＇＇—－、－．．－＇＾－’．．．‘入．节．、．．‘Ｊ、…．，＇’■、一．－。－．＜＾、Ｖ．－４、巧？＾、．；＊、．？一心．二＾．＼６年５月２０日．卡？，瓜乃：．，％；：；後备月如Ｖ心＇’＇．．．／？＇＇．．喘Ｗ＾心ｒ命：ＶＡ．，护典终节苗垫：可若ＩＴＷＩ＃濟取学号：ＭＧ１３３３０７１论文答辩日期：２０１６年５月２７日指导

4、教师：＾（签字）南京大学研究生毕业论文面向模态不均衡数据的多模态学习技术巧究－ｍｏｄａＲｅｓｅａｒｃｈｏｎＭｕｌｔｉｌＬｅａｒｎｉｎｆｏｒｇＩｍｂａｌａｎｃｅｄＭｏｄａｌＤａｔａ南京大学计算机科学与技术系杨杨导师；姜远教授詹德川副教授二—六年五月０南京大学研究生毕业论文摘要：包含文字真实应用中的复杂对象语义丰富、表示复杂如、语，＾音和图像的多媒体数据１又及用于身份识别的面部和指纹特征等些，这从不同角度刻画或描述同一事物的数据被业巧称为多模态数据或多＾组特征１，如何将复杂对象表示为多组特征并加又学习成了硏究者

5、关注的重要任务，进而产生多模态学习。多数已有的多模态学习方法赋＾多组多模态特征１乂相同的重要性，但在真实应巧中不同的模态的重要程度是不同的，例如，在身份识别任务中使用指纹特征比面部特征更能获得更优的识别率。为此对强模态辅助弱模态并减少强模，本文，态收集开销进行了分析和研究，取得了如下创新成果：１．对不同模态的强弱加。ＡｕｘｉｌｉａＩｔ？划分并提出了ｒｎｔｉｍａｉｏｎ，ｙ民巧ｕｌａｒｉｚｅｄＭａｃｈｉｎｅ（Ａ艮Ｍ）方法。该方法对弱模态最具有判别信息＾１又提取子空间加，同时采用正则化技术对弱模态子空间信息加从有效利用，从此提高强模态预测。２．

6、为减少强模态的收集开销，提出了ＡＣＱＵＥＳＴ（ＡｃｔｉｖｅＱＵＥｒｙｉｎｇＳＴｒｏｎｇｍｏｄａｌｉｔｉｅｓ）框架。该框架通过主动查询挑选样本对应的强模态特征而不是标记信息，通过逆向预测技术缓解了对强模态特征取值查询可能帯来的组合爆炸问题ＡＣＱＵＥＳＴ转为统一，将的优化模型，从而降低了整体的特征抽取开销。南京大学研究生毕业论文义为了更有效使用强模态的领域知识辅助弱模态进行特征学习，提出了结合深度学习技术的多模态学习方法。该方法侧重在训练阶段利用强模态特征辅助弱模态学习更鲁棒的深度网络。关键词：多模态学习主动学习；半监督学习特征学习深度；；

7、；学习南京大学研究生毕业论文乂ｂｓ化ａｃｔＩｎｒｅａｌｗｏｒｌｄａｌｉｃａｔｉｏｎｓｄａｔａａｒｅｏｆｔｅｎｗｉｔｈｍｕｌｔｉｌｅｍｏｄａｌｉｔｉｅｓ．Ｐｒｅｖｉｏｕｓｐｐ，ｐｗｏｒｋｓａｓｓｕｍｅｄｔｈａｔｅａｃｈｍｏｄａｌｉｔｙｃｏｎｔａｉｎｓｓｕｆｆｉｃｉｅｎｔｉｎｆｏｒｍａｔｉｏｎｆｏｒｔａｒｅｔａｎｄｇｃａｎｂｅｔｒｅａｔｅｄｗｉ化ｅｑｕａｌｉｍｐｏｒｔａｎｃ