广西师范大学学报（自然科学版） ›› 2019, Vol. 37 ›› Issue (1): 71-79.doi: 10.16088/j.issn.1001-6600.2019.01.008

• 第二十四届全国信息检索学术会议专栏 • 上一篇    下一篇

基于深度自动编码器的多标签分类研究

聂煜1,2,3, 廖祥文1,2,3*, 魏晶晶4, 杨定达1,2,3, 陈国龙1,2,3   

  1. 1.福州大学数学与计算机科学学院,福建福州350116;
    2.福建省网络计算与智能信息处理重点实验室(福州大学),福建福州350116;
    3.数字福建金融大数据研究所(福州大学), 福建福州350116;
    4.福建江夏学院电子信息科学学院,福建福州350108
  • 收稿日期:2018-09-25 发布日期:2019-01-08
  • 通讯作者: 廖祥文(1980—),男,福建泉州人,福州大学副教授,博士。E-mail:liaoxw@fzu.edu.cn
  • 基金资助:
    国家自然科学基金(61772135,U1605251);中国科学院网络数据科学与技术重点实验室开放基金 (CASNDST201708,CASNDST201606);北邮可信分布式计算与服务教育部重点实验室主任基金(2017KF01);福建省自然科学基金(2017J01755)

Multi-label Classification Based on the Deep Autoencoder

NIE Yu1,2,3*, LIAO Xiangwen1,2,3*, WEI Jingjing4, YANG Dingda1,2,3, CHEN Guolong1,2,3   

  1. 1. College of Mathematics and Computer Science, Fuzhou University, Fuzhou Fujian 350116, China;
    2. Fujian Provincial Key Laboratory of Network Computing and Intelligent Information Processing (Fuzhou University), Fuzhou Fujian 350116, China;
    3. Digital Fujian Institute of Financial Big Data, Fuzhou University, Fuzhou Fujian 350116, China;
    4. College of Electronics and Information Science, Fujian Jiangxia University, Fuzhou Fujian 350108, China
  • Received:2018-09-25 Published:2019-01-08

PDF (PC)

449

摘要： 在多标签分类的相关研究中,由于现有的基于网络表示学习算法的相关方法只利用了网络中节点之间的邻接领域信息,而没有考虑到节点之间的结构相似性,从而导致分类准确性较低,因此,本文提出一种基于深度自动编码器的多标签分类模型。该方法首先利用轨迹计算算法(Orca)计算不同规模下网络中节点的结构相似性,作为深度自动编码器的输入来改进隐藏层中的向量表示,保留网络的全局结构;然后利用节点的邻接领域信息在模型中进行联合优化,从而能有效地捕捉到网络的高度非线性结构;最后根据隐藏层得到节点的向量表示,利用支持向量机对节点进行多标签分类。验证实验采用3个公开的网络数据集,实验结果表明,与基准方法相比,本文方法在多标签分类任务中能取得更好的效果。

关键词: 多标签分类, 网络表示学习, 结构相似性, 深度自动编码器

Abstract: For the issue of multi-label classification, most existing methods only take the neighborhood information into consideration and ignore the structural similarity, leading to the low accuracy of classification. Therefore, a deep autoencoder for multi-label classification is proposed in this paper. In order to capture the global network structure, this method uses orbit counting algorithm (Orca) to calculate structural similarity of each node, which is the input information of the representations in the latent space. Then, the highly-nonlinear network structure can be well preserved by jointly optimizing the global structure and the neighborhood structure in the proposed model. Finally, SVM is used to classify the nodes according to the nodes vectors obtained from the latent space. Three real-world networks are used to conduct the experiment and the results show that the new model outperforms the state-of-the-art methods in multi-label classification.

Key words: multi-label classification, network embedding, structural similarity, deep autoencoder

中图分类号: 

  • TP391
[1] LIU H, LI X, ZHANG S. Learning instance correlation functions for multilabel classification[J]. IEEE Transactions on Cybernetics, 2016, 47(2):499-510.
[2] TSOUMAKAS G, KATAKIS I, VLAHAVAS I. Mining multi-label data[C]//MAIMON O, ROKACH L. Data Mining and Knowledge Discovery Handbook.New York:Springer, 2009:667-685.
[3] BOUTELL M R, LUO J, SHEN X, et al. Learning multi-label scene classification[J]. Pattern Recognition, 2004, 37(9): 1757-1771.
[4] TSOUMAKAS G, KATAKIS I, VLAHAVAS I. Randomk-labelsets for multilabel classification[J]. IEEE Transactions on Knowledge and Data Engineering, 2011, 23(7): 1079-1089.
[5] ZHANG M L, ZHOU Z H. Multilabel neural networks with applications to functional genomics and text categorization[J]. IEEE Transactions on Knowledge and Data Engineering, 2006, 18(10): 1338-1351.
[6] BENBOUZID D, CASAGRANDE N. MULTIBOOST: a multi-purpose boosting package[J]. Journal of Machine Learning Research, 2012, 13(1): 549-553.
[7] ZHANG M L, ZHOU Z H. ML-KNN: A lazy learning approach to multi-label learning[J]. Pattern Recognition, 2007, 40(7): 2038-2048.
[8] XU J. Multi-label weighted k-nearest neighbor classifier with adaptive weight estimation[C]//International Conference on Neural Information Processing. Berlin: Springer, 2011:79-88.
[9] ELISSEEFF A, WESTON J. A kernel method for multi-labelled classification[C]//International Conference on Neural Information Processing Systems: Natural and Synthetic.Cambridge,MA:MIT Press, 2001:681-687.
[10] ROWEIS S T, SAUL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323.
[11] BELKIN M, NIYOGI P. Laplacian eigenmaps for dimensionality reduction and data representation[J]. Neural Computation, 2014, 15(6):1373-1396.
[12] TENENBAUM J B, SILVA, LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290(5500): 2319.
[13] 涂存超, 杨成, 刘知远,等. 网络表示学习综述[J]. 中国科学:信息科学, 2017,47(8):980-996.
[14] PEROZZI B, AL-RFOU R, SKIENA S. DeepWalk:online learning of social representations[C]//Acm Sigkdd International Conference on Knowledge Discovery and Data Mining.New York:ACM, 2014:701-710.
[15] MIKOLOV T, SUTSKEVER I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[J]. Advances in Neural Information Processing Systems, 2013, 26:3111-3119.
[16] CAO S, LU W, XU Q. GraRep: Learning graph representations with global structural information[C]//ACM International on Conference on Information and Knowledge Management. New York: ACM, 2015:891-900.
[17] TANG J, QU M, WANG M Z, et al. Line: large-scale information network embedding[C].Proceedings of the 24th International Conference on World Wide Web.[s.l.]:International World Wide Web Conferences Steering Committee, 2015:1067-1077.
[18] GROVER A, LESKOVEC J. Node2vec: scalable feature learning for networks[C]//Acm Sigkdd International Conference on Knowledge Discovery and Data Mining.New York:ACM, 2016:855.
[19] WANG D, CUI P, ZHU W. Structural deep network embedding[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York:ACM,2016:1225-1234.
[20] HOCˇEVAR T, DEMČAR J. A combinatorial approach to graphlet counting[J]. Bioinformatics, 2014, 30(4): 559.
[21] TANG L, LIU H. Relational learning via latent social dimensions[C]//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York:ACM, 2009:817-826.
[1] 张灿龙, 李燕茹, 李志欣, 王智文. 基于核相关滤波与特征融合的分块跟踪算法[J]. 广西师范大学学报（自然科学版）, 2020, 38(5): 12-23.
[2] 王健, 郑七凡, 李超, 石晶. 基于ENCODER_ATT机制的远程监督关系抽取[J]. 广西师范大学学报（自然科学版）, 2019, 37(4): 53-60.
[3] 肖逸群, 宋树祥, 夏海英. 基于多特征的快速行人检测方法及实现[J]. 广西师范大学学报（自然科学版）, 2019, 37(4): 61-67.
[4] 王勋, 李廷会, 潘骁, 田宇. 基于改进模糊C均值聚类与Otsu的图像分割方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(4): 68-73.
[5] 陈凤,蒙祖强. 基于BTM和加权K-Means的微博话题发现[J]. 广西师范大学学报（自然科学版）, 2019, 37(3): 71-78.
[6] 张随远, 薛源海, 俞晓明, 刘悦, 程学旗. 多文档短摘要生成技术研究[J]. 广西师范大学学报（自然科学版）, 2019, 37(2): 60-74.
[7] 孙容海, 施林甫, 黄丽艳, 唐振军, 俞春强. 基于图像插值和参考矩阵的可逆信息隐藏算法[J]. 广西师范大学学报（自然科学版）, 2019, 37(2): 90-104.
[8] 朱勇建, 彭柯, 漆广文, 夏海英, 宋树祥. 基于机器视觉的太阳能网版缺陷检测[J]. 广西师范大学学报（自然科学版）, 2019, 37(2): 105-112.
[9] 武文雅, 陈钰枫, 徐金安, 张玉洁. 基于高层语义注意力机制的中文实体关系抽取[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 32-41.
[10] 岳天驰, 张绍武, 杨亮, 林鸿飞, 于凯. 基于两阶段注意力机制的立场检测方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 42-49.
[11] 余传明, 李浩男, 安璐. 基于多任务深度学习的文本情感原因分析[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 50-61.
[12] 林原, 刘海峰, 林鸿飞, 许侃. 基于损失函数融合的组排序学习方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 62-70.
[13] 王祺, 邱家辉, 阮彤, 高大启, 高炬. 基于循环胶囊网络的临床语义关系识别研究[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 80-88.
[14] 万福成,马宁,何向真. 融合事件特征及语义角色标注的藏文信息抽取技术[J]. 广西师范大学学报（自然科学版）, 2018, 36(2): 18-23.
[15] 夏海英,刘伟涛,朱勇建. 一种改进的快速SUSAN棋盘格角点检测算法[J]. 广西师范大学学报（自然科学版）, 2018, 36(1): 44-52.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!
版权所有 © 广西师范大学学报（自然科学版）编辑部
地址：广西桂林市三里店育才路15号　邮编：541004
电话：0773-5857325　E-mail: gxsdzkb@mailbox.gxnu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发