2024年7月我院韩毅老师在EI期刊International Journal of Wireless and Mobile Computing发表了题为《Research on facial expression recognition based on multimodal data fusion and neural network》文章，该研究针对目前多数识别面部表情研究是基于单源面部数据进行的，普遍存在准确率较低、鲁棒性不高的缺点。本研究提出了一种基于多源异构数据融合的神经网络面部表情识别算法，该算法以多源异构数据为基础，将面部图像、图像的方向梯度直方图以及面部特征点三项异构数据为输入，分别建立CNN，LNN,HNN三个子神经网络提取数据特征，采用异构数据特征融合机制，提了高面部表情识别的精度。实验表明，得益于异构数据间的互补性，该算法相对于传统人脸表情识别算法在精度、鲁棒性以及检测速度上都有较大的提升，特别是在人脸被部分遮挡、光照、头部姿势变换情况下，该算法也显示出较高置信度。