广西师范大学学报(自然科学版) ›› 2022, Vol. 40 ›› Issue (3): 141-150.doi: 10.16088/j.issn.1001-6600.2021071003

• 研究论文 • 上一篇    下一篇

基于双向LSTM神经网络可穿戴跌倒检测研究

段美玲1,2, 潘巨龙1,2*   

  1. 1.浙江省电磁波信息技术与计量检测重点实验室(中国计量大学), 浙江 杭州 310018;
    2.中国计量大学 信息工程学院, 浙江 杭州 310018
  • 收稿日期:2021-07-10 修回日期:2021-09-10 出版日期:2022-05-25 发布日期:2022-05-27
  • 通讯作者: 潘巨龙(1965—), 男, 浙江台州人, 中国计量大学教授, 博士。E-mail: pjl@cjlu.edu.cn
  • 基金资助:
    浙江省基础公益研究计划项目(LGF21F020017)

Wearable Fall Detection Based on Bi-directional LSTM Neural Network

DUAN Meiling1,2, PAN Julong1,2*   

  1. 1. Key Laboratory of Electromagnetic Wave Information Technology and Metrology of Zhejiang Province (China Jiliang University), Hangzhou Zhejiang 310018, China;
    2. College of Information Engineering, China Jiliang University, Hangzhou Zhejiang 310018, China
  • Received:2021-07-10 Revised:2021-09-10 Online:2022-05-25 Published:2022-05-27

摘要: 针对老年人跌倒后不能得到及时救助带来的伤害,研究跌倒检测算法和及时告警,可以减轻跌倒给老年人带来的严重危害和后果。为了提高跌倒检测精确度和实时性,本文提出基于双向长短期记忆神经网络的可穿戴跌倒检测算法,该算法可以对输入的数据(取自惯性传感器)自动提取跌倒行为内部更深层的数据特征,实现数据从预处理到检测结果的过程处理。算法模型通过神经网络提取加速度传感器的特征向量,并利用双向长短期记忆神经网络进行跌倒检测。通过跌倒公开数据集SisFall验证算法模型,结果表明该算法在SisFall实验数据集上具备较高的检测精度,满足准实时检测要求,具有较好的实用性和较强的泛化能力。

关键词: 跌倒检测, 长短期记忆, 加速度传感器, 神经网络, 特征提取

Abstract: Aiming at the injury caused by the elderly who cannot receive timely assistance after falling, the study of fall detection algorithms and timely warnings can reduce the serious harm and consequences of falling of the elderly. In order to improve the accuracy and real-time performance of fall detection, a wearable fall detection algorithm based on bi-directional long and short-term memory neural network is proposed. This algorithm can automatically extract the deeper features from the input fall data (extracted from inertial sensors), and realize the processing from the pre-processed data to the detection result. The algorithm extracts the feature vectors of the acceleration sensor data through the neural network, and performs fall detection using bi-directional long and short-term memory neural network. The model is evaluated with SisFall dataset. The results show that the algorithm achieves high accuracy, while the latency also meets the requirements of real-time detection. The algorithm model has both good practicability and strong generalization ability.

Key words: fall detection, long short-term memory, accelerometer, neural network, feature extraction

中图分类号: 

  • TP181
[1]师昉, 李福亮, 张思佳, 等. 中国老年跌倒研究的现状与对策[J]. 中国康复, 2018, 33(3): 246-248. DOI: 10.3870/zgkf.2018.03.021.
[2]吕艳, 张萌, 姜吴昊, 等. 采用卷积神经网络的老年人跌倒检测系统设计[J]. 浙江大学学报(工学版), 2019, 53(6): 1130-1138. DOI: 10.3785/j.issn.1008-973X.2019.06.012.
[3]DE CILLIS F, DE SIMIO F, GUIDO F, et al.Fall-detection solution for mobile platforms using accelerometer and gyroscope data[C]// Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway: IEEE, 2015: 3727-3730. DOI: 10.1109/EMBC.2015.7319203.
[4]李沛峰,冯飞龙,黄淑芬,等.基于Kinect V2的老人跌倒检测系统设计[J].电子设计工程,2021,29(19):112-116.
[5]SUCERQUIA A, LÓPEZ J D, VARGAS F. Two-threshold energy based fall detection using a triaxial accelerometer[C]// Proceedings of the 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway: IEEE, 2016: 3101-3104. DOI: 10.1109/EMBC.2016.7591385.
[6]BIANCHI F, REDMOND S J, NARAYANAN M R, et al. Barometric pressure and triaxial accelerometry-based falls event detection[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2010, 18(6): 619-627. DOI: 10.1109/TNSRE.2010.2070807.
[7]BOURKE A K, O′BRIEN J V, LYONS G M. Evaluation of a threshold-based tri-axial accelerometer fall detection algorithm[J]. Gait & Posture, 2007, 26(2): 194-199. DOI: 10.1016/j.gaitpost.2006.09.012.
[8]忽丽莎, 王素贞, 陈益强, 等.基于可穿戴设备的跌倒检测算法综述[J]. 浙江大学学报(工学版), 2018, 52(9): 1717-1728. DOI: 10.3785/j.issn.1008-973X.2018.09.012.
[9]NOURY N, FLEURY A, RUMEAU P, et al. Fall detection-principles and methods[C]// Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway: IEEE, 2007: 1663-1666. DOI: 10.1109/IEMBS.2007.4352627.
[10]DAVIS K, OWUSU E, BASTANI V, et al. Activity recognition based on inertial sensors for ambient assisted living[C]// Proceedings of the 19th International Conference on Information Fusion. Piscataway: IEEE, 2016: 371-378.
[11]CHEN Y, WANG Z L. A hierarchical method for human concurrent activity recognition using miniature inertial sensors[J]. Sensor Review, 2017, 37(1): 101-109. DOI: 10.1108/SR-05-2016-0085.
[12]TSINGANOS P, SKODRAS A.A smartphone-based fall detection system for the elderly[C]// Proceedings of the 10th International Symposium on Image and Signal Processing and Analysis. Piscataway: IEEE, 2017: 53-58. DOI: 10.1109/ISPA.2017.8073568.
[13]任小奎, 李锋, 程琳. 基于PSO模式搜索的跌倒检测算法研究[J]. 计算机应用研究, 2020, 37(4): 1077-1080.
[14]NWEKE H F, TEH Y W, MUJTABA G, et al. Data fusion and multiple classifier systems for human activity detection and health monitoring: review and open research directions[J]. Information Fusion, 2019, 46: 147-170. DOI: 10.1016/j.inffus.2018.06.002.
[15]SHI J Y, CHEN D S, WANG M. Pre-impact fall detection with CNN-based class activation mapping method[J]. Sensors, 2020, 20(17): 4750. DOI: 10.3390/s20174750.
[16]王晶晶, 黄勇, 陈宝欣, 等. 基于独立循环神经网络的跌倒检测方法[J]. 实验室研究与探索, 2020, 39(7):20-23, 40.
[17]LI H B, SHRESTHA A, HEIDARI H, et al. Bi-LSTM network for multimodal continuous human activity recognition and fall detection[J]. IEEE Sensors Journal, 2020, 20(3): 1191-1201. DOI: 10.1109/JSEN.2019.2946095.
[18]胡双杰, 秦建邦, 郭薇. 基于特征自动提取的跌倒检测算法[J]. 传感技术学报, 2018, 31(12): 1842-1847. DOI: 10.3969/j.issn.1004-1699.2018.012.011.
[19]HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780. DOI: 10.1162/neco.1997.9.8.1735.
[20]ISTIAKE SUNNY M A, MASWOOD M M S, ALHARBI A G. Deep learning-based stock price prediction using LSTM and bi-directional LSTM model[C]// Proceedings of the 2nd Novel Intelligent and Leading Emerging Sciences Conference. Piscataway: IEEE, 2020: 87-92. DOI: 10.1109/NILES50944.2020.9257950.
[21]SUCERQUIA A, LÓPEZ J D, VARGAS-BONILLA J F. SisFall: a fall and movement dataset[J]. Sensors, 2017, 17(1): 198. DOI: 10.3390/s17010198.
[22]HUSSAIN F, HUSSAIN F, EHATISHAM-UL-HAQ M, et al. Activity-aware fall detection and recognition based on wearable sensors[J]. IEEE Sensors Journal, 2019, 19(12): 4528-4536. DOI: 10.1109/JSEN.2019.2898891.
[23]CASILARI E, LORA-RIVERA R, GARCÍA-LAGOS F. A study on the application of convolutional neural networks to fall detection evaluated with multiple public datasets[J]. Sensors, 2020, 20(5): 1466. DOI: 10.3390/s20051466.
[24]MUSCI M, DE MARTINI D, BLAGO N, et al. Online fall detection using recurrent neural networks on smart wearable devices[J]. IEEE Transactions on Emerging Topics in Computing, 2021,9(3):1276-1289. DOI: 10.1109/TETC.2020.3027454.
[25]LUNA-PEREJÓN F, DOMÍNGUEZ-MORALES M J, CIVIT-BALCELLS A. Wearable fall detector using recurrent neural networks[J]. Sensors, 2019, 19(22): 4885. DOI: 10.3390/s19224885.
[26]WARDEN P, SITUNAYAKE D. TinyML: machine learning with tensorflow lite on arduino and ultya-low-power microcontrollers[M]. Sebastopol: O’Reilly Media, 2019.
[1] 周圣凯, 富丽贞, 宋文爱. 基于深度学习的短文本语义相似度计算模型[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 49-56.
[2] 彭涛, 唐经, 何凯, 胡新荣, 刘军平, 何儒汉. 基于多步态特征融合的情感识别[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 104-111.
[3] 马新娜, 赵猛, 祁琳. 基于卷积脉冲神经网络的故障诊断方法研究[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 112-120.
[4] 胡强, 刘倩, 周杭霞. 基于改进Stacking策略的钓鱼网站检测研究[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 132-140.
[5] 孔亚钰, 卢玉洁, 孙中天, 肖敬先, 侯昊辰, 陈廷伟. 面向强化当前兴趣的图神经网络推荐算法研究[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 151-160.
[6] 朱恩文, 朱安麒, 王洁丹, 刘玉娇. 基于EEMD-GA-BP模型的风电功率短期预测研究[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 166-174.
[7] 田晟, 李成伟, 黄伟, 王蕾. 疫情下基于GC-rBPNN模型的公路货运量预测方法[J]. 广西师范大学学报(自然科学版), 2021, 39(6): 24-32.
[8] 李冰, 李智, 杨溢龙. 基于词嵌入和长短期记忆网络的非功能软件需求分类[J]. 广西师范大学学报(自然科学版), 2021, 39(5): 110-121.
[9] 吴玲玉, 蓝洋, 夏海英. 基于卷积神经网络的眼底图像配准研究[J]. 广西师范大学学报(自然科学版), 2021, 39(5): 122-133.
[10] 陈文康, 陆声链, 刘冰浩, 李帼, 刘晓宇, 陈明. 基于改进YOLOv4的果园柑橘检测方法研究[J]. 广西师范大学学报(自然科学版), 2021, 39(5): 134-146.
[11] 杨州, 范意兴, 朱小飞, 郭嘉丰, 王越. 神经信息检索模型建模因素综述[J]. 广西师范大学学报(自然科学版), 2021, 39(2): 1-12.
[12] 邓文轩, 杨航, 靳婷. 基于注意力机制的图像分类降维方法[J]. 广西师范大学学报(自然科学版), 2021, 39(2): 32-40.
[13] 马玲, 罗晓曙, 蒋品群. 一种基于PNN的点阵喷码字符识别方法[J]. 广西师范大学学报(自然科学版), 2020, 38(4): 32-41.
[14] 李雅岱, 韦笃取. 含磁场耦合忆阻神经网络放电行为研究[J]. 广西师范大学学报(自然科学版), 2020, 38(3): 19-24.
[15] 严浩, 许洪波, 沈英汉, 程学旗. 开放式中文事件检测研究[J]. 广西师范大学学报(自然科学版), 2020, 38(2): 64-71.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
[1] 艾艳, 贾楠, 王媛, 郭静, 潘东东. 多性状多位点遗传关联分析的统计方法研究及其应用进展[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 1 -14 .
[2] 白德发, 徐欣, 王国长. 函数型数据广义线性模型和分类问题综述[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 15 -29 .
[3] 曾庆樊, 秦永松, 黎玉芳. 一类空间面板数据模型的经验似然推断[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 30 -42 .
[4] 张治飞, 段谦, 刘乃嘉, 黄磊. 基于Jackknife互信息的高维非线性回归模型研究[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 43 -56 .
[5] 杨迪, 方扬鑫, 周彦. 基于MEB和SVM方法的新类别分类研究[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 57 -67 .
[6] 陈钟秀, 张兴发, 熊强, 宋泽芳. 非对称DAR模型的估计与检验[J]. 广西师范大学学报(自然科学版), 2022, 40(1): 68 -81 .
[7] 杜锦丰, 王海荣, 梁焕, 王栋. 基于表示学习的跨模态检索方法研究进展[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 1 -12 .
[8] 李慕航, 韩萌, 陈志强, 武红鑫, 张喜龙. 面向复杂高效用模式的挖掘算法综述[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 13 -30 .
[9] 晁睿, 张坤丽, 王佳佳, 胡斌, 张维聪, 韩英杰, 昝红英. 中文多模态知识库构建[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 31 -39 .
[10] 李正光, 陈恒, 林鸿飞. 基于双向语言模型的社交媒体药物不良反应识别[J]. 广西师范大学学报(自然科学版), 2022, 40(3): 40 -48 .
版权所有 © 广西师范大学学报(自然科学版)编辑部
地址:广西桂林市三里店育才路15号 邮编:541004
电话:0773-5857325 E-mail: gxsdzkb@mailbox.gxnu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发