抑郁症是一种常见的慢性严重性精神疾病,对人的思维、感觉和行为方式会产生较大的负面影响;中国国家卫生健康委员会于2020年9月11日发布了第一个抑郁症防治行动计划《探索抑郁症防治特色服务工作方案》,其中包括在全国范围内开展抑郁症常规筛查。传统基于量表的筛查方法存在医患比较低和缺乏多指标诊断的限制;因此,本文对融合抑郁症多种行为指标的自动化诊断方法进行了研究,并提出了一种基于深度学习技术的多模态抑郁症识别方法。本文的主要研究工作和成果如下:(1)抑郁症领域的中文情感词典CEDD的构建:由于抑郁症领域的中文情感词典库过少,本文基于通用域词典和词语相似度计算,构建并扩展了中文抑郁症领域情感词典。首先通过网络爬虫获取抑郁症患者的评论语料,SB203580并基于抑郁症患更多者评论语料的语言多变性和情感极性丰富等特点,对其进行去噪处理和分词等处理;其次为过滤掉文本中的无用词,同时保留真正影响文本的词语,通过Precision Lifestyle MedicineTF-IDF加权算法得到种子词集;最后为扩展领域情感词典,通过余弦相似度计算在知网和大连理工的通用域情感词典上做了扩展处理,得到CEDD。(2)基于网络社交文本的单模态抑郁倾向识别研究:基于通用域的文本分类方法缺乏领域概括能力,而中文的字和词都有各自的信息和特征。通过结合领域情感词典与中文的字词特征,一方面拥有更强的领域概括能力,另一方面能够更全地表征文本信息。将方法应用于BERT模型,得到BERT-W模型。实验结果表明,该模型在网络社交文本的抑郁倾向识别准确率上效果更好。(3)抑郁症领域的中文多模态数据集CMDD的构建:抑郁症患者的行为特征表现在多个模态方面,而目前可用的中文多模态抑郁症公开数据集较少,本文联合山西智能大数据产业技术创新研究院、绍兴迈亚塔菌检智能科技有限公司共同构建了抑郁症领域的中文多模态数据集CMDD;其次从性别、抑郁程度和HAMD-17的分值比例对数据集内容做了分析说明。(4)多模态特征融合的抑郁症识别方法研究:抑郁症患者的行为表现在语言内容、视觉和听觉等多种模态中,融合多指标的多模态识别模型能够更准确的筛查出抑郁症潜在对象。在方法(1)(2)(3)的基础上,多类特征首先通过Z-score Normalization方法进行融合;其次通过双向的LSTM层学习特征间关系,并利用注意力机制从众多特征中选择出对当前任务目标更关键的信息;最后通过Softmax归一化指数函数完成分类,该方法能够更客观准确的实现抑郁症筛查任务。基于所提的多模态抑郁症识别方法,一方面可以实现辅助筛查与诊断,减少诊疗流程,节约诊疗时间;其次,通过参考多种模态的行为特征,可以增强筛查结果的可靠性和准确性;最后,该方法应用成本较低,可移植性强,对解决医疗资源不平衡问题具有积极的推动作用。