广西师范大学学报（自然科学版） ›› 2019, Vol. 37 ›› Issue (1): 42-49.doi: 10.16088/j.issn.1001-6600.2019.01.005

• 第二十四届全国信息检索学术会议专栏 • 上一篇    下一篇

基于两阶段注意力机制的立场检测方法

岳天驰1, 张绍武1,2*, 杨亮1, 林鸿飞1, 于凯2   

  1. 1.大连理工大学计算机科学与技术学院,辽宁大连116024;
    2.新疆财经大学计算机科学与工程学院,新疆乌鲁木齐830012
  • 收稿日期:2018-09-22 出版日期:2019-01-20 发布日期:2019-01-08
  • 通讯作者: 张绍武(1967—),男,辽宁阜新人,大连理工大学教授,博士。E-mail:zhangsw@dlut.edu.cn
  • 基金资助:
    国家自然科学基金(61562080, 71561025)

Stance Detection Method Based on Two-Stage Attention Mechanism

YUE Tianchi1, ZHANG Shaowu1,2*, YANG Liang1, LIN Hongfei1, YU Kai2   

  1. 1.School of Computer Science and Technology, Dalian University of Technology, Dalian Liaoning 116024, China;
    2.School of Computer Science and Engineering, Xinjiang University of Finance and Economics, Urumqi Xinjiang 830012, China
  • Received:2018-09-22 Online:2019-01-20 Published:2019-01-08

PDF (PC)

278

摘要： 立场检测是分析文本作者对某一话题所表现的立场倾向性是支持、反对还是中立,是舆情分析的重要研究方向。本文针对现有的大部分立场检测方法无法充分建模话题信息,很难联合分析话题与相应文本的现状,提出了一种两阶段注意力机制的立场检测方法。第一阶段利用注意力机制学习话题整体语义表示,第二阶段将话题表示与文本表示进行注意力匹配,进而得到融合特定话题的文本表示向量,最后对该语义表示进行分类。实验结果表明,该模型在新疆反恐话题的语料上Acc和F值指标分别提高了0.4%和1%,在NLPCC-2016立场检测任务数据集的4个话题上取得了较优的效果。

关键词: 立场检测, 深度学习, 注意力机制, 文本表示, 文本分类

Abstract: Stance detection aims to analysize from the text whether the text author is in favor of, against or neutral to the given target, which plays an important part in public opinion analysis. Target dependent stance detection is a challenging task because of the idiomatic phrase and limited contextual information. It is noted that existing methods can not sufficiently model the whole semantic of target and those methods can not jointly model the target and context. To tackle these problems, a two-stage attention model for stance detection is proposed in this paper. Firstly, apply attention mechanism to model target, then match the context with the target representation to obtain attention signal, and finally form the target blended text representation for text classification. Experimental results show the proposed model improves accuracy and F-score by 0.4% and 1.0% respectively on Xinjiang anti-terrorist corpus, and obtain the state of the performance for 4 targets on the NLPCC-2016 stance detection task dataset.

Key words: stance detection, deep learning, attention mechanism, text representation, text classification

中图分类号: 

  • TP391
[1] 赵妍妍,秦兵,刘挺. 文本情感分析[J]. 软件学报, 2010, 21(8):1834-1848.
[2] XU R, ZHOU Y, WU D, et al. Overview of NLPCC shared task 4: stance detection in Chinese microblogs[C]//International Conference on Computer Processing of Oriental Languages. Cham, Switzerland: Springer, 2016:907-916.
[3] MOHAMMAD S, KIRITCHENKO S, SOBHANI P,et al. SemEval-2016 Task 6: detecting stance in Tweets[C]//International Workshop on Semantic Evaluation. Stroudsburg,PA: ACL, 2016:31-41.
[4] 周耘立, 李珊珊. 微博立场检测研究综述[J]. 现代计算机, 2017(2):32-34.
[5] 刘继, 李磊. 暴恐主题下微博用户特征及情感倾向性分析[J]. 情报杂志, 2014(12):109-111.
[6] 奠雨洁, 金琴, 吴慧敏. 基于多文本特征融合的中文微博的立场检测[J]. 计算机工程与应用, 2017, 53(21):77-84.
[7] YU N, PAN D, ZHANG M, et al. Stance detection in Chinese microblogs with neural networks[C]//Natural Language Understanding and Intelligent Applications. Switzerland: Springer, 2016:893-900.
[8] ZARRELLA G, MARSH A. MITRE at SemEval-2016 Task 6: Transfer learning for stance detection[C]//International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL, 2016:458-463.
[9] DU J, XU R, HE Y,et al. Stance classification with target-specific neural attention[C]//Twenty-Sixth International Joint Conference on Artificial Intelligence. San Francisco, CA: Margen Kaufmann, 2017:3988-3994.
[10] YANG Z, YANG D, DYER C, et al. Hierarchical attention networks for document classification[C]//Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: ACL, 2016:1480-1489.
[11] CHEN H, SUN M, TU C, et al. Neural sentiment classification with user and product attention[C]//Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL, 2016:1650-1659.
[12] WANG Y, HUANG M, ZHU X, et al. Attention-based LSTM for aspect-level sentiment classification[C]//Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL ,2016:606-615.
[13] MA D, LI S, ZHANG X, et al. Interactive attention networks for aspect-level sentiment classification[C]//Twenty-Sixth International Joint Conference on Artificial Intelligence. San Francisco, CA:Margen Kaufmann, 2017:4068-4074.
[14] 梁斌, 刘全, 徐进,等. 基于多注意力卷积神经网络的特定目标情感分析[J]. 计算机研究与发展, 2017, 54(8):1724-1735.
[15] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[C]//Supervised Sequence Labelling with Recurrent Neural Networks. Berlin: Springer, 1997:1735-1780.
[16] MIKOLOV T, CHEN K, CORRADO G, et al. Efficient estimation of word representations in vector space[C/OL]// Proceedings of Workshop at ICLR. 2013.[2017-03-15] https://arxiv.org/pdf/1301.3781.pdf
[17] 韩斌. 向西方还原一个真实的新疆——从西方媒体报道看新疆国际形象的构建策略[J]. 对外传播, 2016(8):39-41.
[18] PANG B, LEE L, VAITHYANATHAN S. Thumbs up？ Sentiment classification using machine learning techniques[C] //Isa-belle P. Proc of the EMNLP 2002. Stroudsburg, PA: ACL, 2002:79-86.
[19] 刘龙飞, 杨亮, 张绍武,等. 基于卷积神经网络的微博情感倾向性分析[J]. 中文信息学报, 2015, 29(6):159-165.
[20] KIM Y.Convolutional neural networks for sentence classification[C]//Proceedings of the EMNLP. Stroudsburg, PA: ACL, 2014:1746-1751.
[1] 张明宇, 赵猛, 蔡夫鸿, 梁钰, 王鑫红. 基于深度学习的波浪能发电功率预测[J]. 广西师范大学学报（自然科学版）, 2020, 38(3): 25-32.
[2] 李维勇, 柳斌, 张伟, 陈云芳. 一种基于深度学习的中文生成式自动摘要方法[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 51-63.
[3] 刘英璇, 伍锡如, 雪刚刚. 基于深度学习的道路交通标志多目标实时检测[J]. 广西师范大学学报（自然科学版）, 2020, 38(2): 96-106.
[4] 王健, 郑七凡, 李超, 石晶. 基于ENCODER_ATT机制的远程监督关系抽取[J]. 广西师范大学学报（自然科学版）, 2019, 37(4): 53-60.
[5] 张金磊, 罗玉玲, 付强. 基于门控循环单元神经网络的金融时间序列预测[J]. 广西师范大学学报（自然科学版）, 2019, 37(2): 82-89.
[6] 黄丽明, 陈维政, 闫宏飞, 陈翀. 基于循环神经网络和深度学习的股票预测方法[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 13-22.
[7] 武文雅, 陈钰枫, 徐金安, 张玉洁. 基于高层语义注意力机制的中文实体关系抽取[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 32-41.
[8] 余传明, 李浩男, 安璐. 基于多任务深度学习的文本情感原因分析[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 50-61.
[9] 王祺, 邱家辉, 阮彤, 高大启, 高炬. 基于循环胶囊网络的临床语义关系识别研究[J]. 广西师范大学学报（自然科学版）, 2019, 37(1): 80-88.
[10] 何泉昊, 樊兴华, 周鹏. 基于两步策略的文本分类方法实验研究[J]. 广西师范大学学报（自然科学版）, 2011, 29(4): 35-38.
[11] 廖海波, 万中英, 王明文. 免疫进化的投影寻踪模型在文本分类中的应用[J]. 广西师范大学学报（自然科学版）, 2011, 29(1): 123-128.
[12] 袁鼎荣, 谢扬才, 陆广泉, 刘星. 一种新的基于软集合理论的文本分类方法[J]. 广西师范大学学报（自然科学版）, 2011, 29(1): 129-132.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!
版权所有 © 广西师范大学学报（自然科学版）编辑部
地址：广西桂林市三里店育才路15号　邮编：541004
电话：0773-5857325　E-mail: gxsdzkb@mailbox.gxnu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发