基于改进LSTM的多维QAR数据异常检测

doi:10.16088/j.issn.1001-6600.2023021303

摘要/Abstract

摘要： 快速存储记录器QAR(quick access recorder)数据保留了飞行器大量的飞行参数, 使得研究飞行器飞行安全、保障飞行品质成为可能。针对多维QAR数据的安全检测要求,本文提出一种基于卷积VAE和多头自注意力-LSTM模型, 用于有效且可解释的多维时间序列异常检测。该模型能够捕获多个时间序列数据通道之间的空间信息和时间信息, 对序列模式进行可解释的重建从而检测所有类型的异常。实验部分在真实的QAR数据集上与iForest、LSTM、VAE、LSTM-VAE和USAD等已有方法进行对比。结果表明,该模型在3个不同阶段的异常检测中,F₁分数分别达到0.891 2、0.942 4、0.953 7,均优于对比模型,能够准确检测出多维QAR数据中存在的异常。

关键词: 异常检测, QAR数据, 多变量时间序列, 神经网络

Abstract: QAR(quick access recorder) data retains a large number of flight parameters of the aircraft, which makes it possible to study the flight safety of the aircraft and ensure the flight quality. Aiming at the requirement of multi-dimensional QAR data security detection, an effective and interpretable multi-dimensional time series anomaly detection model based on convolution VAE and multi-head self-attention-LSTM is proposed. The new model is able to capture both spatial and temporal information between multiple time series data channels, and perform interpretable reconstruction of sequential patterns to detect all types of anomalies. In the experiment, compared with the existing methods such as iForest, LSTM, VAE, LSTM-VAE, and USAD on real QAR datasets, the results show that the F1-scores of this model in three different stages of anomaly detection reach 0.891 2, 0.942 4, and 0.953 7, respectively, which are superior to other models and can accurately detect anomalies in multidimensional QAR data.

Key words: anomaly detection, QAR data, multivariate time series, neural networks

中图分类号: V328; TP391

欧阳舒歆, 王洺钧, 荣垂田, 孙华波. 基于改进LSTM的多维QAR数据异常检测[J]. 广西师范大学学报（自然科学版）, 2023, 41(5): 49-60.

OUYANG Shuxin, WANG Mingjun, RONG Chuitian, SUN Huabo. Anomaly Detection of Multidimensional QAR Data Based on Improved LSTM[J]. Journal of Guangxi Normal University(Natural Science Edition), 2023, 41(5): 49-60.

参考文献

[1] 周长春, 蒋澜, 赵新宇. 通用航空飞行品质监控运行管理[J]. 中国民航飞行学院学报, 2019, 30(1): 39-42. DOI: 10.3969/j.issn.1009-4288.2019.01.010.
[2] 俞力玲. 中国民航飞行品质监控回顾与展望[J]. 中国民用航空, 2012(8): 51-53.
[3] 杨绎煊. 基于QAR数据的航班运行安全风险研究[D]. 天津: 中国民航大学, 2016.
[4] 程震. 多维时间序列聚类方法及其应用研究[D]. 天津: 中国民航大学, 2018.
[5] VAHDAT A, KAUTZ J. NVAE: a deep hierarchical variational autoencoder[C]// Advances in Neural Information Processing Systems 33 (NeurIPS 2020). Red Hook, NY: Curran Associates Inc., 2020: 19667-19679.
[6] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780. DOI:10.1162/neco.1997.9.8.1735.
[7] HUNDMAN K, CONSTANTINOU V, LAPORTE C, et al. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding[C]// KDD’18: Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, NY: Association for Computing Machinery, 2018: 387-395. DOI: 10.1145/3219819.3219845.
[8] 毛秀华, 吴健. 卡尔曼滤波算法研究[J]. 舰船电子对抗, 2017, 40(3): 64-68. DOI: 10.16426/j.cnki.jcdzdk.2017.03.015.
[9] 张鹏, 杨涛, 刘亚楠, 等. 基于CNN-LSTM的QAR数据特征提取与预测[J]. 计算机应用研究, 2019, 36(10): 2958-2961. DOI: 10.19734/j.issn.1001-3695.2018.04.0214.
[10] MEMARZADEH M, MATTHEWS B, AVREKH I. Unsupervised anomaly detection in flight data using convolutional variational auto-encoder[J]. Aerospace, 2020, 7(8): 115. DOI: 10.3390/aerospace7080115.
[11] CHEN R Q, SHI G H, ZHAO W L, et al. Sequential VAE-LSTM for anomaly detection on time series[EB/OL]. (2019-10-10)[2023-02-13]. https://arxiv.org/abs/1910.03818v2. DOI: 10.48550/arXiv.1910.03818.
[12] FU Q, WANG H W. Aeroengine state prediction based on generative adversarial networks and deep learning[J]. International Journal of Computer Aided Engineering and Technology, 2021, 15(4): 486-500. DOI: 10.1504/IJCAET.2021.118468.
[13] 王红, 郇秀霞, 王宏伟. QAR数据仓库中的数据预处理方法研究[C]// 2008年国际应用统计学术研讨会论文集. 烟台: 中国现场统计研究会, 2008: 1-3.
[14] JIANG K, ZHANG H, KARIMI H R, et al. Simultaneous input and state estimation for integrated motor-transmission systems in a controller area network environment via an adaptive unscented Kalman filter[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1570-1579. DOI: 10.1109/TSMC.2018.2795340.
[15] DAI L, LIN T, LIU C, et al. SDFVAE: static and dynamic factorized VAE for anomaly detection of multivariate CDN KPIs[C]// WWW’21: Proceedings of the Web Conference 2021. New York, NY: Association for Computing Machinery, 2021: 3076-3086. DOI: 10.1145/3442381.3450013.
[16] YAN H S, SUN J Z, ZUO H F. Anomaly detection based on multivariate data for the aircraft hydraulic system[J]. Proceedings of the Institution of Mechanical Engineers, Part I: Journal of Systems and Control Engineering, 2021, 235(5): 593-605. DOI: 10.1177/0959651820954577.
[17] 杨丽, 吴雨茜, 王俊丽, 等. 循环神经网络研究综述[J]. 计算机应用, 2018, 38(S2): 1-6, 26.
[18] MALHOTRA P, RAMAKRISHNAN A, ANAND G, et al. LSTM-based encoder-decoder for multi-sensor anomaly detection[EB/OL]. (2016-07-11)[2023-02-13]. https://arxiv.org/abs/1607.00148. DOI: 10.48550/arXiv.1607.00148.
[19] 赵和松, 王圆圆, 孙爱民. 一种基于ARIMA模型与3σ准则的取水异常检测方法[J]. 水利信息化, 2022(1): 35-41. DOI: 10.19364/j.1674-9405.2022.01.008.
[20] 田雨, 田青青, 乔雨, 等. 一种基于RF-Adaboost模型在异常水情数据中的诊断与插补方法: CN202210116677.6[P]. 2022-05-13.
[21] 于萌, 匡思薇, 杨悦, 等. 上市公司异常财务指标的传导路径研究[J]. 经贸实践, 2017(6): 21-22.
[22] LIU F T, TING K M, ZHOU Z H. Isolation forest[C]// 2008 Eighth IEEE International Conference on Data Mining. Los Alamitos, CA: IEEE Computer Society, 2008: 413-422. DOI: 10.1109/ICDM.2008.17.
[23] XU H W, CHEN W X, ZHAO N W, et al. Unsupervised anomaly detection via variational auto-encoder for seasonal KPIs in Web applications[C]// WWW’18: Proceedings of the 2018 World Wide Web Conference. Geneva: International World Wide Web Conferences Steering Committee, 2018: 187-196. DOI: 10.1145/3178876.3185996.
[24] AUDIBERT J, MICHIARDI P, GUYARD F, et al. USAD: unsupervised anomaly detection on multivariate time series[C]// KDD’20: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, NY: Association for Computing Machinery, 2020: 3395-3404. DOI: 10.1145/3394486.3403392.
[25] PARK D, HOSHI Y, KEMP C C. A multimodal anomaly detector for robot-assisted feeding using an LSTM-based variational autoencoder[J]. IEEE Robotics and Automation Letters, 2018, 3(3): 1544-1551. DOI: 10.1109/LRA.2018.2801475.

相关文章 15

[1]	吴正清, 曹晖, 刘宝锴. 基于注意力卷积神经网络的中文虚假评论检测[J]. 广西师范大学学报（自然科学版）, 2023, 41(5): 26-36.
[2]	唐侯清, 辛斌斌, 朱虹谕, 乙加伟, 张冬冬, 武新章, 双丰. 基于多尺度注意力倒残差网络的轴承故障诊断[J]. 广西师范大学学报（自然科学版）, 2023, 41(4): 109-122.
[3]	韩欣月, 邓长征, 付添, 夏鹏雨, 刘旋. 基于MWOA-Elman神经网络的接地网瞬变电磁缺陷识别[J]. 广西师范大学学报（自然科学版）, 2023, 41(3): 53-66.
[4]	杨烁祯, 张珑, 王建华, 张恒远. 声音事件检测综述[J]. 广西师范大学学报（自然科学版）, 2023, 41(2): 1-18.
[5]	潘海明, 陈庆锋, 邱杰, 何乃旭, 刘春雨, 杜晓敬. 基于卷积推理的多跳知识图谱问答算法[J]. 广西师范大学学报（自然科学版）, 2023, 41(1): 102-112.
[6]	张涛, 杜建民. 基于无人机遥感的荒漠草原微斑块识别研究[J]. 广西师范大学学报（自然科学版）, 2022, 40(6): 50-58.
[7]	肖飞, 康增彦, 王维红. 两种算法用于预测A²/O工艺脱氮条件[J]. 广西师范大学学报（自然科学版）, 2022, 40(6): 173-184.
[8]	郝雅茹, 董力, 许可, 李先贤. 预训练语言模型的可解释性研究进展[J]. 广西师范大学学报（自然科学版）, 2022, 40(5): 59-71.
[9]	田晟, 宋霖. 基于CNN和Bagging集成的交通标志识别[J]. 广西师范大学学报（自然科学版）, 2022, 40(4): 35-46.
[10]	周圣凯, 富丽贞, 宋文爱. 基于深度学习的短文本语义相似度计算模型[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 49-56.
[11]	彭涛, 唐经, 何凯, 胡新荣, 刘军平, 何儒汉. 基于多步态特征融合的情感识别[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 104-111.
[12]	马新娜, 赵猛, 祁琳. 基于卷积脉冲神经网络的故障诊断方法研究[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 112-120.
[13]	段美玲, 潘巨龙. 基于双向LSTM神经网络可穿戴跌倒检测研究[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 141-150.
[14]	孔亚钰, 卢玉洁, 孙中天, 肖敬先, 侯昊辰, 陈廷伟. 面向强化当前兴趣的图神经网络推荐算法研究[J]. 广西师范大学学报（自然科学版）, 2022, 40(3): 151-160.
[15]	林培群, 何伙华, 林旭坤. 基于系统关联性的高速公路大中型货车到达量多尺度预测[J]. 广西师范大学学报（自然科学版）, 2022, 40(2): 15-26.

Metrics

Viewed

Full text

Abstract

Cited

Shared

Discussed