多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明:基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。

复杂高效用模式挖掘是当前研究的一个新兴主题。本文首次从高效用融合模式和衍生模式2个角度进行讨论。首先,对于融合模式,根据数据结构的不同对高效用序列模式进行分类论述;按照时间顺序对高效用片段模式、周期高效用模式进行概述。针对衍生模式,从数据结构角度对高平均效用模式、带有负项的高效用模式、on-shelf高效用模式进行总结;从精简类型角度概述精简高效用模式,并对现有融合模式和衍生模式挖掘算法的优缺点、上边界等进行对比分析。最后,针对现阶段研究缺陷与不足,给出了下一步研究方向,包括不确定数据中的高效用模式挖掘方法、数据流上的高效用on-shelf模式挖掘方法和大数据环境下的并行高效用模式挖掘方法。

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石,其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型,通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序,采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证,在Quora、Sick和MSRP数据集上的验证结果表明,本文模型的精确率和召回率表现优异,且F₁值也优于传统模型。

在自然语言理解领域中,幽默计算逐渐成为重要的研究内容。中文的幽默语言表达千变万化,情景喜剧是一种特殊的幽默表达方式,其含有丰富的幽默表达。为了解决中文幽默计算的问题,本文在图注意力网络的基础上提出一种基于分词消歧以及语义增强的幽默识别算法DISA-SE-GAT,并构建了一个基于《爱情公寓》的幽默情景喜剧数据集。在《我爱我家》幽默数据集以及《爱情公寓》幽默数据集上的实验结果显示,本文提出的多粒度消歧和语义增强模型DISA-SE-GAT在对文本幽默表达的识别问题上表现优异。

肺癌是全球死亡率最高的癌症之一,肺结节作为肺癌早期诊断的重要依据,对其进行精准分割格外重要。为了帮助医生诊断肺部病变,本文提出一种改进的UNet肺结节分割方法。首先,在特征提取部分引入高效通道注意力网络(efficient channel attention for deep convolutional neural networks, EcaNet),提高UNet分割效果,使其具有良好的泛化能力。接着,为了降低模型参数量、提升算法分割性能,提出一种基于深度可分离卷积的特征融合模型,用深度可分离卷积代替传统卷积完成特征融合。然后,针对肺结节图像特点,将基于重叠度损失函数(dice loss)与加权交叉熵(weighted cross entropy, WCE)结合作为新的损失函数。最后,为验证所提算法Eca-UNet的有效性,在LIDC-IDRI肺结节公开数据集上进行评估。结果表明:Eca-UNet算法在DICE相似系数、MIOU上比UNet分割算法分别提高10.47、7.34个百分点;同时在训练速度上提升了10.10%,预测速度提升了11.56%。

从CT图像中自动有效分割肺结节对诊断和治疗肺部肿瘤具有重要意义。鉴于肺结节在肺部所占比例很小、形态不规则、与一些邻近组织和器官在视觉上非常相似,给分割任务带来困难,本文提出一种基于多感受野与分组混合注意力机制的肺结节分割网络MRF-GMA。首先,该网络通过多感受野特征聚合模块,捕获不同尺度的结节;其次,利用分组混合注意力模块,提升对结节像素的分辨能力;最后,采用混合损失函数对训练过程进行优化,缓解了类不平衡的问题。在实验部分,本文分别将MRF-GMA与FCN、SegNet、R2U-Net和Attention U-Net等进行比较,结果表明,MRF-GMA模型在Dice相似性系数(DSC)、召回率(recall)和准确率(accuracy)等方面均表现最优,相比Attention U-Net模型,分别提高了2.25、1.19和2.98个百分点。

高分辨率遥感图像分类是当前一个研究热点,基于深度卷积网络和全连接条件随机场的高分辨率遥感图像分类模型(Deeplab),因其高效精准的分类性能被广泛应用于该研究领域,但Deeplab模型存在空洞卷积核对高分辨率遥感图像的信息利用率不足、限制分类精度进一步提高的问题。本文提出一种基于密集连接的轻量级高分辨率遥感图像分类模型Dspp,采用密集卷积网络连接结构,将Deeplab的空洞卷积金字塔结构替换成密集连接结构,以提高信息利用率且增强模型的泛化能力,并与当前经典的FCN、FCN8S、Deeplab分类网络模型进行实验对比。结果表明,Dspp模型相较于FCN模型、FCN-8S模型和Deeplab模型的整体精度分别提高16.8、11.7和7.7个百分点,验证了本模型的有效性。

针对头部姿态估计中的人脸检测框尺寸难于学习问题和将人脸检测、头部姿态估计分为两阶段的模型中流程复杂、耦合程度高、误差累积严重的问题,本文提出一种基于YOLOv3 模型的人脸检测与头部姿态估计融合算法。通过K-means 聚类方法对训练集中人脸区域的尺寸进行聚类,得出9 组聚类结果,以模拟真实情况下人脸区域的尺寸和比例;通过拓展YOLOv3模型,实现人脸检测和头部姿态估计同时进行,并在3个不同层次的特征图上进行人脸检测和头部姿态估计,实现对特征图的多尺度检测,充分利用了特征图中的信息;采用端到端模式进行训练,简化头部姿态估计任务的处理流程。在CAS-PEAL-R1姿态子集上取得99.23%的预测准确率,在Pointing′04数据集上pitch和yaw方向分别取得了3.79°和4.24°的平均绝对误差。结果表明,本模型在满足实时性要求的前提下,能够出色完成人脸区域检测与头部姿态估计任务,充分证实本文方法的可靠性与实用性。

在情感计算、心理治疗、机器人、监视和观众理解等方面,基于步态特征的情感识别有着广泛的应用前景。已有方法表明,考虑手势位置等上下文信息可以显著提高情绪识别性能,且时空信息能显著提高情绪识别精度。但是单纯使用骨骼空间信息无法充分表达步态中的情绪信息。为了充分利用步态特征,本文提出自适应融合的方法,将骨骼时空信息与骨骼旋转角度结合,提升了现有模型的情感识别精度。本文模型利用自编码器,学习人类行走时的骨骼旋转信息,利用时空图卷积神经网络提取骨骼点时空信息,将骨骼旋转信息与时空信息输入自适应融合网络,得到最终特征进行分类。模型在Emotion-Gait数据集上测试,实验结果显示:悲伤、愤怒和中立情绪的AP值比最新HAP方法分别提升5、8、5个百分点;总体分类的平均MAP值提高了5个百分点。

深度学习为轴承故障诊断的智能化发展提供了新思路。本文从类脑计算角度出发,设计一种对轴承数据敏感的脉冲神经网络来完成故障数据分类任务。首先采用信号分解的方式提高原始信号特征提取效果,然后对故障信号进行脉冲编码,并采用多分量混合输入方式填充时间步作为神经网络的输入,最后采用卷积脉冲神经网络(SCNN)进行故障分类。为了验证该模型的分类效果,采用西储大学轴承数据集进行验证,分类准确率达到了99.78%。结果表明该轴承数据编码方案可以充分发挥脉冲神经网络时空动力学特征,且该脉冲神经网络模型在轴承故障诊断问题上具有高精度、高效率的特性。本研究有利于促进脉冲神经网络在故障诊断领域的研究和应用。

由于轴承退化数据较少及不同工况之间轴承数据分布差异较大,实现在一个轴承上训练的剩余寿命预测模型,能够预测其他同一工况或不同工况不同轴承的剩余使用寿命,是一个待解决的难题。本文提出基于跨域均值逼近的联合分布自适应轴承剩余使用寿命预测方法,首先,对轴承原始振动信号数据进行归一化处理;其次,通过投影矩阵将源域和目标域数据映射到一个低维公共特征子空间中,利用基于跨域均值逼近的联合分布自适应方法对源数据和目标轴承数据进行领域适配;最后,利用门控循环单元对轴承剩余使用寿命进行预测。在IEEE PHM Challenge 2012数据集上进行多组迁移实验,结果表明,所提方法在同一工况或不同工况下不同轴承间有良好的预测精度。

针对目前大多数钓鱼网站检测技术准确率低、计算资源消耗大和检测不及时等问题,本文提出一种基于改进Stacking策略的钓鱼网站检测方法。该方法将多个分类表现优异的基学习器通过Stacking策略集成为一个高性能模型,并且把该Stacking算法第一级的输入特征与预测结果同时作为第二级的输入特征,充分发挥各模型精度高、速度快等优势,从而进一步提高模型性能。实验结果表明,与传统的机器学习钓鱼网站检测技术相比,在10万级数据集上,此集成学习算法在多个指标上都表现出更好的性能,精确率达到了97.82%,F₁值达到97.54%,可以有效地检测钓鱼网站。

针对老年人跌倒后不能得到及时救助带来的伤害,研究跌倒检测算法和及时告警,可以减轻跌倒给老年人带来的严重危害和后果。为了提高跌倒检测精确度和实时性,本文提出基于双向长短期记忆神经网络的可穿戴跌倒检测算法,该算法可以对输入的数据(取自惯性传感器)自动提取跌倒行为内部更深层的数据特征,实现数据从预处理到检测结果的过程处理。算法模型通过神经网络提取加速度传感器的特征向量,并利用双向长短期记忆神经网络进行跌倒检测。通过跌倒公开数据集SisFall验证算法模型,结果表明该算法在SisFall实验数据集上具备较高的检测精度,满足准实时检测要求,具有较好的实用性和较强的泛化能力。

在基于会话的推荐中,与传统序列建模相比,将会话序列建模为图结构在该领域表现得更为出色。但是,现有的研究方法仅利用图结构来挖掘项目之间转换特性,以此捕获用户当前兴趣的能力有限。本文提出一种面向强化当前兴趣的图神经网络推荐算法,通过引入位置嵌入,并与图神经网络相结合,从而互补顺序感知模型和图形感知模型的优势。会话序列被建模为图结构,并取原始序列的最后一次点击,通过多头注意力机制计算其对图节点信息的注意力权重,以更加准确地获取用户当前兴趣的表示。同时,在2个真实的数据集上进行验证实验,结果表明本文提出的方法实现了所有方法的最佳性能,特别是在Diginetica数据集上,所有评价指标都提升了7%以上,MRR@10指标甚至提升了9.52%,证明本文所提方法对基于会话推荐的正确性和有效性。

计算预测蛋白质磷酸化位点的方法常用于位点识别的初筛阶段。为了提升位点初筛的准确率,本文提出一个深度学习模型MAPhos。该模型首先运用氨基酸向量与位置向量的和表示每一个氨基酸残基;随后使用双向GRU循环神经网络捕获各氨基酸残基的特征;接着引入多头注意力机制计算各注意力头的子上下文向量,并将它们连接起来构成肽段的上下文向量;最后通过一个全连接神经网络进行非线性变换和结果预测。真实数据集上的实验结果表明,MAPhos模型预测磷酸化位点在AUC值、灵敏度、正确率、精度和F₁分数统计度量上胜过基于特征提取的模型和基于卷积神经网络的模型,同时与基于卷积神经网络的模型相比具有更好的可解释性,这证明了MAPhos模型更加适用于磷酸化位点识别任务的初筛阶段。

Web流量预测一直是数据中心网络的热点问题,对于提高网络服务质量具有重要意义。由于Web流量具有非线性、自相关性和周期性等复杂特点,对其准确预测有很大的挑战性。为充分挖掘出Web流量的可预测信息,同时使预测模型具有充分的可解释性和可配置性,本文提出一种基于Prophet和深度自回归(DeepAR)的组合预测模型。其中,Prophet是基于时序分解的加性模型,对Web流量的趋势、季节性周期、节假日信息进行建模。同时,使用基于概率预测的DeepAR模型对Prophet残差隐含的自回归信息建模,捕获长短期依赖关系,以减低Prophet残差的方差,并充分捕获Web流量的自回归信息。在真实的Web流量数据集上进行验证实验,结果表明在RMSE和MAE两项评价指标上均优于对比模型,验证了该组合模型的有效性。

自动化机器学习是机器学习前沿的一个重要问题,自动化机器学习工具根据数据集及任务需求组合机器学习算子来构造流程,使领域用户在不具备专业机器学习知识的情况下也能完成相应数据分析工作,但目前的自动化机器学习工具普遍存在耗时长和精度低的问题。本文基于数据集相似性和强化学习原理,提出一种数据驱动的自动化机器学习流程的生成方法,利用相似数据集的历史知识,将神经网络与MCTS相结合,指导机器学习流程的生成。实验结果表明:该方法在耗时方面缩短至分钟级别,流程性能也得到提升。

实用拜占庭容错(PBFT)算法可以容忍网络存在不超过节点总数三分之一的拜占庭节点,常被作为联盟链的共识算法。针对PBFT存在主节点选取规则简单、通信复杂度较高等问题,提出一种基于可验证随机函数(VRF)和BLS签名的拜占庭容错(VBBFT)共识算法。在VBBFT共识算法,VRF在共识节点中选取主节点,主节点作为消息收集和发送的协调者,并将节点间的信息交互过程转化为BLS签名过程,降低了节点间的通信复杂度,并保证了节点间的信息交互是安全的。仿真实验结果表明,VBBFT共识算法与PBFT算法相比,交易吞吐率提高了62.3%,时延降低了12%。

在拥有多个存储节点的云数据存储系统中,保持云存储系统的负载均衡水平为一个合理的值和最小化数据检索的时间是一个值得研究的问题。本文提出一种基于粒子群优化算法的云数据均衡放置策略(balanced placement strategy of cloud data based on particle swarm optimization algorithm, BPCD),首先,给出一种云存储系统模型;其次,引入基尼系数作为衡量该系统负载均衡水平的指标,结合数据检索时间目标函数构建多目标约束优化模型;再次,采用粒子群优化算法对问题进行求解,主要包括数据节点编码与参数设置、种群初始化、粒子群空间搜索、算法迭代4个过程;最后,将本文算法与传统云数据放置算法进行对比分析。仿真实验表明,本文提出的云数据均衡放置策略在优化云存储系统的负载水平和数据检索时间方面具有良好的效果。