基于改进3D ResNet18的多模态微表情识别
针对微表情识别技术面临的时间特征提取挑战包括短暂性带来的捕捉难题、时空信息融合的难点、数据稀疏性导致的过拟合问题、静态特征提取方法的局限性、数据预处理对识别性能的影响,提出了一种基于改进3D ResNet的多模态微表情识别方法(IM3DR-MFER)。通过在传统3D ResNet中融入了参数精简策略和多尺度上下文感知融合策略改进3D ResNet18,在降低参数的同时提升对面部局部特征及其在广泛上下文中的信息捕捉能力。通过融合面部全局特征与光流动态特征,构建了一个双模态输入框架,从而显著提升了模型在不同维度上的特征表征能力。通过创新性地引入新型三维注意力机制(CASANet),自适应地识别并突出微表情序列中各个时间点的关键特征。经过在CASME II、SAMM以及复合数据集(CD)上的实验验证结果表明,所提方法分别取得了93.2%、88.7%和84.6%的准确率,从而验证了所提方法在人脸微表情识别任务中的有效性和先进性。
计算机应用研究
2025年03期
立即查看 >
图书推荐
相关工具书