收藏本站
188bet官方网址
《浙江大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

结合知识和神经网络的文本表示方法的研究

李一鸣  
【摘要】:文本表示是很多自然语言处理应用的关键任务,比如文本分类,文本聚类,推荐系统以及情感分析等等。它的目标是将非结构化文本映射到低维的向量空间中去,以便可以用数学的方法对文本进行计算。而不同的文本表示可以捕捉和解析隐藏在文本中的不同方面的隐性内容。因此如何学习较好的文本表示用以更好地解决自然语言处理问题已经引起了学术界和工业界大量的兴趣。大多数现有的方法通用利用神经网络模型来生成文本的表示。然而这些方法都没有考虑过文本领域的数据的一些独特的属性。与其他领域不同,文本本身在语义上通常是模糊的,并且反应的信息通常是不充分的。除此之外,文本数据本身是具有层次性结构的。在语义上,较长的表达式(例如文档)的含义来自于其成分的含义和用于组合它们的规则;在结构上,文档是由一系列句子组成,而每个句子都由一系列词组成。出于这些原因,研究如何将外部知识和文本的层次性结构引入神经网络模型用以生成更加信息充分的文本表示是很值得研究的。具体来说,本文的主要工作可以总结为如下几个方面:(1)本文研究了将概率形知识库和基于神经网络的分布式文本表示进行结合的模型框架。该框架能够对文本进行概念化并且生成概念层面的分布式文本表示。通过外部的概率形知识库,该框架可以识别文本中的实体,并且通过上下文对实体进行消歧得到其准确的概念,从而将原始的由词构成的文本概念化为一组由概念构成的文本。在这之后该框架通过分布式文本表示算法来得到文本的低维的向量形式的表示。(2)本文提出了一种新型的知识驱动的层次神经网络模型。这个模型将多元关系知识图谱融入到神经网络中并且通过使用层次结构的模型来对应文本的层次结构。在外部知识上,该模型使用多元关系知图谱来生成知识图谱实体向量作为对原始文本的背景知识的补充;在模型结构上该模型使用两个双向门控循环单元(Gated Recurrent Unit)编码器生成句子层面的表示,之后再通过两个长短期记忆网络(Long Short-Term Memory)编码器生成文档层面的表示。这种层次化的模型结构正好对应了文本的层次化结构特点。(3)本文提出了一种结合attention机制和外部知识图谱的层次神经网络模型。这个模型除了融入了多元关系知识图和层次性网络结构之外还将attention机制添加到了模型中,可以看作是上一个模型的一种改进和扩展。在生成句子表示部分,该模型通过引入外部知识图谱实体向量,来作为对原始文本外部信息的补充。在生成文档表示部分,首先通过双向长短期记忆网络(Long Short-Term Memory)编码器对句子进行编码,再通过句子层面的attention机制对能帮助文档进行更好表示的句子进行反馈。最后将双向LSTM每个单元的输出根据attention权重进行加权求和得到原始文档的向量形式表示。
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2018
【分类号】:TP391.1

【相似文献】
中国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点预测法[J];金融经济;2017年18期
2 吴立可;;脉冲神经网络和行为识别[J];通讯世界;2018年12期
3 迟惠生;陈珂;;1995年世界神经网络大会述评[J];国际学术动态;1996年01期
4 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的设计研究[J];数字技术与应用;2018年04期
5 张庭略;;基于硬件的神经网络加速[J];通讯世界;2018年08期
6 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
7 朱溦;;神经网络结合平均影响值方法筛选变量[J];产业与科技论坛;2017年01期
8 ;硅光子神经网络亮相[J];石油工业计算机应用;2016年04期
9 任刚红;杜坤;周明;刘年东;张晋;;基于级联神经网络的年降雨量预测[J];土木建筑与环境工程;2016年S2期
10 金鑫;李龙威;季佳男;李祉歧;胡宇;赵永彬;;基于大数据和优化神经网络短期电力负荷预测[J];通信学报;2016年S1期
中国重要会议论文全文数据库 前10条
1 孙军田;张喆;;基于神经网络数据挖掘技术确定灾害等级的灭火救援出动力量模型研究[A];2016中国消防协会科学技术年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数稳定性准则[A];第二十六届中国控制会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];中国自动化学会控制理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年控制理论及其应用年会论文集[C];1993年
8 林家骏;王赞基;;求解不可微优化问题的连续极大熵神经网络[A];1998年中国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;基于神经网络的自校正控制器[A];1993中国控制与决策学术年会论文集[C];1993年
10 窦永丰;贝超;;模糊与神经网络结合方式及在控制中的应用[A];1997年中国控制会议论文集[C];1997年
中国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 整理 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加速作用超线性[N];中国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,到底谁会赢?[N];北京日报;2017年
5 ;人工智能将取得大面积突破[N];中国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人时代[N];中国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];中国教育报;2017年
10 邓洲 中国社会科学院工业经济研究所;深度学习:人工智能进入应用阶段[N];上海证券报;2017年
中国博士188bet全文数据库 前10条
1 李一鸣;结合知识和神经网络的文本表示方法的研究[D];浙江大学;2018年
2 LYDIA LAZIB;文本否定范围识别技术研究及其应用[D];哈尔滨工业大学;2018年
3 周小强;基于深度学习的交互式问答技术研究[D];哈尔滨工业大学;2017年
4 刘梅;网络系统的稳定和同步行为研究[D];新疆大学;2017年
5 李若霞;基于忆阻的神经网络的动力学分析及应用[D];东南大学;2017年
6 项延德;基于卷积神经网络的心电信号检测和分类研究[D];浙江大学;2018年
7 孔颖;终态神经网络及其相关应用[D];浙江工业大学;2017年
8 谈宏莹;基于太赫兹时域谱物质检测技术及实验研究[D];燕山大学;2016年
9 吴森森;地理时空神经网络加权回归理论与方法研究[D];浙江大学;2018年
10 张振敏;基于脉冲神经网络的纹理图像识别研究[D];福建师范大学;2016年
中国硕士188bet全文数据库 前10条
1 谢良才;基于BP神经网络的煤热解特性及煤灰熔融特性研究[D];西北大学;2018年
2 张旭;基于VMD-神经网络输气管道的工况分类研究[D];东北石油大学;2018年
3 孙昊;粒子群神经网络在供水管线腐蚀预测中的应用研究[D];东北石油大学;2018年
4 严寒;基于卷积神经网络的图像分类算法研究[D];西北大学;2018年
5 季静;融合多重语义对齐表示的机器阅读理解研究[D];南京师范大学;2018年
6 尹化荣;基于卷积神经网络的情感分类算法研究[D];西北大学;2018年
7 邹鑫;基于卷积神经网络的图像分类算法研究[D];西北师范大学;2018年
8 李婷玉;基于神经网络的输油管道腐蚀预测研究与实现[D];华北理工大学;2018年
9 赵士超;基于神经网络的LIBS钢水成分在线检测[D];华北理工大学;2018年
10 曹雲梦;基于BP神经网络的轨道电路故障诊断[D];华北理工大学;2018年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026