保藏本站
《浙江大学》 2018年
保藏 | 手机翻开
二维码
手机客户端翻开本文

结合常识和神经网络的文本表明办法的研讨

李一鸣  
【摘要】:文本表明是许多自然语言处理运用的要害使命,比方文本分类,文本聚类,引荐体系以及情感剖析等等。它的方针是将非结构化文本映射到低维的向量空间中去,以便能够用数学的办法对文本进行核算。而不同的文本表明能够捕捉和解析隐藏在文本中的不同方面的隐性内容。因而怎么学习较好的文本表明用以更好地处理自然语言处理问题现已引起了学术界和工业界很多的爱好。大多数现有的办法通用运用神经网络模型来生成文本的表明。但是这些办法都没有考虑过文本范畴的数据的一些共同的特色。与其他范畴不同,文本自身在语义上通常是含糊的,而且反响的信息通常是不充沛的。除此之外,文本数据自身是具有层次性结构的。在语义上,较长的表达式(例如文档)的意义来自于其成分的意义和用于组合它们的规矩;在结构上,文档是由一系列语句组成,而每个语句都由一系列词组成。出于这些原因,研讨怎么将外部常识和文本的层次性结构引进神经网络模型用以生成愈加信息充沛的文本表明是很值得研讨的。具体来说,本文的首要作业能够总结为如下几个方面:(1)本文研讨了将概率形常识库和依据神经网络的分布式文本表明进行结合的模型结构。该结构能够对文本进行概念化而且生成概念层面的分布式文本表明。经过外部的概率形常识库,该结构能够辨认文本中的实体,而且经过上下文对实体进行消歧得到其精确的概念,从而将原始的由词构成的文本概念化为一组由概念构成的文本。在这之后该结构经过分布式文本表明算法来得到文本的低维的向量办法的表明。(2)本文提出了一种新式的常识驱动的层次神经网络模型。这个模型将多元联系常识图谱融入到神经网络中而且经过运用层次结构的模型来对应文本的层次结构。在外部常识上,该模型运用多元联系知图谱来生成常识图谱实体向量作为对原始文本的布景常识的弥补;在模型结构上该模型运用两个双向门控循环单元(Gated Recurrent Unit)编码器生成语句层面的表明,之后再经过两个长短期回忆网络(Long Short-Term Memory)编码器生成文档层面的表明。这种层次化的模型结构正好对应了文本的层次化结构特色。(3)本文提出了一种结合attention机制和外部常识图谱的层次神经网络模型。这个模型除了融入了多元联系常识图和层次性网络结构之外还将attention机制增加到了模型中,能够看作是上一个模型的一种改善和扩展。在生成语句表明部分,该模型经过引进外部常识图谱实体向量,来作为对原始文本外部信息的弥补。在生成文档表明部分,首要经过双向长短期回忆网络(Long Short-Term Memory)编码器对语句进行编码,再经过语句层面的attention机制对能协助文档进行更好表明的语句进行反应。最终将双向LSTM每个单元的输出依据attention权重进行加权求和得到原始文档的向量办法表明。
【学位颁发单位】:浙江大学
【学位等级】:博士
【学位颁发年份】:2018
【分类号】:TP391.1

【类似文献】
我国期刊全文数据库 前10条
1 胡悦;;金融市场中的神经网络拐点猜测法[J];金融经济;2017年18期
2 吴立可;;脉冲神经网络和行为辨认[J];通讯国际;2018年12期
3 迟惠生;陈珂;;1995年国际神经网络大会述评[J];国际学术动态;1996年01期
4 王丽华;杨秀萍;王皓;高峥翔;;智能双轮平衡车的规划研讨[J];数字技能与运用;2018年04期
5 张庭略;;依据硬件的神经网络加快[J];通讯国际;2018年08期
6 苏秀婷;;耦合神经网络的同步[J];绍兴文理学院学报(自然科学);2016年03期
7 朱溦;;神经网络结合均匀影响值办法挑选变量[J];工业与科技论坛;2017年01期
8 ;硅光子神经网络露脸[J];石油工业核算机运用;2016年04期
9 任刚红;杜坤;周明;刘年东;张晋;;依据级联神经网络的年降雨量猜测[J];土木建筑与环境工程;2016年S2期
10 金鑫;李龙威;季佳男;李祉歧;胡宇;赵永彬;;依据大数据和优化神经网络短期电力负荷猜测[J];通讯学报;2016年S1期
我国重要会议论文全文数据库 前10条
1 孙军田;张喆;;依据神经网络数据发掘技能确认灾祸等级的救活救援出动力气模型研讨[A];2016我国消防协会科学技能年会论文集[C];2016年
2 许进;保铮;;神经网络与图论[A];1999年我国神经网络与信号处理学术会议论文集[C];1999年
3 唐墨;王科俊;;自开展神经网络的混沌特性研讨[A];2009年我国智能自动化会议论文集(第七分册)[南京理工大学学报(增刊)][C];2009年
4 张广远;万强;曹海源;田方涛;;依据遗传算法优化神经网络的故障诊断办法研讨[A];第十二届全国设备故障诊断学术会议论文集[C];2010年
5 李涛;费树岷;;具有变时滞Cohen-Grossberg神经网络的指数安稳性原则[A];第二十六届我国操控会议论文集[C];2007年
6 汪灵枝;秦发金;;具有变时滞和脉冲的离散Cohen-Grossberg神经网络的周期解[A];我国自动化学会操控理论专业委员会D卷[C];2011年
7 韩正之;林家骏;;用神经网络求解非线性相容方程[A];1993年操控理论及其运用年会论文集[C];1993年
8 林家骏;王赞基;;求解不行微优化问题的接连极大熵神经网络[A];1998年我国智能自动化学术会议论文集(上册)[C];1998年
9 姜德宏;徐德民;任章;;依据神经网络的自校正操控器[A];1993我国操控与决议计划学术年会论文集[C];1993年
10 窦永丰;贝超;;含糊与神经网络结合办法及在操控中的运用[A];1997年我国操控会议论文集[C];1997年
我国重要报纸全文数据库 前10条
1 记者 刘霞;忆阻器制成神经网络更高效[N];科技日报;2017年
2 收拾 本报记者 诸玲珍 顾鸿儒;微软神经网络切割法可使加快效果超线性[N];我国电子报;2018年
3 ;神经网络小史[N];电子报;2018年
4 张敏;人机大战,究竟谁会赢?[N];北京日报;2017年
5 ;人工智能将获得大面积打破[N];我国企业报;2017年
6 本报记者 龚丹韵;人机大战:人类还有优势吗[N];解放日报;2017年
7 ;人类正迎来云端机器人年代[N];我国企业报;2017年
8 张斌;谁还需要“同传”[N];文汇报;2017年
9 科大讯飞董事长 刘庆峰;高考机器人考入一流大学不再是梦[N];我国教育报;2017年
10 邓洲 我国社会科学院工业经济研讨所;深度学习:人工智能进入运用阶段[N];上海证券报;2017年
我国博士188bet全文数据库 前10条
1 李一鸣;结合常识和神经网络的文本表明办法的研讨[D];浙江大学;2018年
2 LYDIA LAZIB;文本否定规模辨认技能研讨及其运用[D];哈尔滨工业大学;2018年
3 周小强;依据深度学习的交互式问答技能研讨[D];哈尔滨工业大学;2017年
4 刘梅;网络体系的安稳和同步行为研讨[D];新疆大学;2017年
5 李若霞;依据忆阻的神经网络的动力学剖析及运用[D];东南大学;2017年
6 项延德;依据卷积神经网络的心电信号检测和分类研讨[D];浙江大学;2018年
7 孔颖;终态神经网络及其相关运用[D];浙江工业大学;2017年
8 谈宏莹;依据太赫兹时域谱物质检测技能及试验研讨[D];燕山大学;2016年
9 吴森森;地舆时空神经网络加权回归理论与办法研讨[D];浙江大学;2018年
10 张振敏;依据脉冲神经网络的纹路图画辨认研讨[D];福建师范大学;2016年
我国硕士188bet全文数据库 前10条
1 谢良才;依据BP神经网络的煤热解特性及煤灰熔融特性研讨[D];西北大学;2018年
2 张旭;依据VMD-神经网络输气管道的工况分类研讨[D];东北石油大学;2018年
3 孙昊;粒子群神经网络在供水管线腐蚀猜测中的运用研讨[D];东北石油大学;2018年
4 酷寒;依据卷积神经网络的图画分类算法研讨[D];西北大学;2018年
5 季静;交融多重语义对齐表明的机器阅览了解研讨[D];南京师范大学;2018年
6 尹化荣;依据卷积神经网络的情感分类算法研讨[D];西北大学;2018年
7 邹鑫;依据卷积神经网络的图画分类算法研讨[D];西北师范大学;2018年
8 李婷玉;依据神经网络的输油管道腐蚀猜测研讨与完成[D];华北理工大学;2018年
9 赵士超;依据神经网络的LIBS钢水成分在线检测[D];华北理工大学;2018年
10 曹雲梦;依据BP神经网络的轨道电路故障诊断[D];华北理工大学;2018年
 方便付款办法  订货知网充值卡  订货热线  协助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026