从语言学到深度学习NLP，一文概述自然语言处理 - 第2页 - 创业 - 智学网
当前位置：
从语言学到深度学习NLP，一文概述自然语言处理
编辑：琳达
浏览数：45
作者：李亚洲本文从两篇论文出发先简要介绍了自然语言处理的基本分类和基本概念，再向读者展示了深度学习中的 NLP。这两篇论文都是很好的综述性入门论文，希望详细了解自然语言处理的读者可以进一步阅读这两篇论文。首先第一部分介绍...“”
在 2011 年，Collobert 等人的论文证明简单的深度学习框架能够在多种 NLP 任务上超越最顶尖的方法，比如在实体命名识别（NER）任务、语义角色标注 (SRL）任务、词性标注（POS tagging）任务上。从此，各种基于深度学习的复杂算法被提出，来解决 NLP 难题。这篇论文回顾了与深度学习相关的重要模型与方法，比如卷积神经网络、循环神经网络、递归神经网络。此外，论文中还讨论了记忆增强策略、注意机制以及无监督模型、强化学习模型、深度生成模型在语言相关任务上的应用。在 2016 年，Goldberg 也以教程方式介绍过 NLP 领域的深度学习，主要对分布式语义（word2vec、CNN）进行了技术概述，但没有讨论深度学习的各种架构。这篇论文能提供更综合的思考。摘要：深度学习方法利用多个处理层来学习数据的层级表征，在许多领域获得了顶级结果。近期，在自然语言处理领域出现了大量的模型设计和方法。在此论文中，我们回顾了应用于 NLP 任务中，与深度学习相关的重要模型、方法，同时概览了这种进展。我们也总结、对比了各种模型，对 NLP 中深度学习的过去、现在与未来提供了详细理解。论文地址：https://arxiv.org/abs/图 2：一个 D 维向量的分布式向量表达，其中 D && V，V 是词汇的大小。图 3：Bengio 等人 2003 年提出的神经语言模型，C(i) 是第 i 个词嵌入。图 4：CBOW（continuous bag-of-words）的模型表 1：框架提供嵌入工具和方法图 5：Collobert 等人使用的 CNN 框架，来做词级别的类别预测图 6：在文本上的 CNN 建模 (Zhang and Wallace, 2015）图 7：4 个 7-gram 核的 Top7 -grams，每个核对一种特定类型的 7-gram 敏感 (Kim, 2014)图 8：DCNN 子图。有了动态池化，一顶层只需要小宽度的过滤层能够关联输入语句中离得很远的短语 (Kalchbrenner et al., 2014)。图 9：简单的 RNN 网络图 10：LSTM 和 GRU 的示图 (Chung et al., 2014)图 11：不同单元类型关于迭代数量（上幅图）和时钟时间（下幅图）的训练、验证集学习曲线。其中 y 轴为对数尺度描述的模型负对数似然度。图 12：LSTM 解码器结合 CNN 图像嵌入器生成图像描述 (Vinyals et al., 2015a)图 13：神经图像 QA (Malinowski et al., 2015)图 14：词校准矩阵 (Bahdanau et al., 2014)图 15：使用注意力进行区域分级 (Wang et al., 2016)图 16：特定区域语句上的注意模块专注点 (Wang et al., 2016)图 17：应用于含有「but」语句的递归神经网络 (Socher et al., 2013)图 18：基于 RNN 的 AVE 进行语句生成（Bowman et al., 2015）End.转载请注明来自36大数据（)：36大数据 & 从语言学到深度学习NLP，一文概述自然语言处理
版权与免责声明：
凡未注明"稿件来源"的内容均为转载稿，本网转载出于传递更多信息的目的；如转载稿涉及版权问题，请作者联系我们，同时对于用户评论等信息，本网并不意味着赞同其观点或证实其内容的真实性；
本文地址：
转载本站原创文章请注明来源：
相关阅读：
大家喜欢看的
　　【手机中国 新闻】本周五（10月27日）iPhone X将在苹果官网迎来首发预售，不知道诸君你们都准备好没有，总之小编已经上了三十几个闹铃，准备了五、六台设...
昨天iOS版微信发布更新。更新版本为6.5.19，其中包括收藏笔记可以添加项目符号，可以在聊天中置顶；以生成自己的赞赏码，接受打赏；优化搜索聊天记录的体验；优化...
　　【手机中国 导购】智能手机产业的迅速发展让国内市场诞生出了许多颇具实力的国产厂商，以华为、小米、vivo等为代表的国产品牌已经在全球各地开枝散叶，越来越多的...
说到羊毛党，人们的印象里还是在每天在淘宝京东找优惠券，没事就往家里成箱囤积牙膏的网络小贩。其实不然，国内的羊毛党已经形成了利润丰厚、组织严密、组织化程度极高的灰...
　　【手机中国 新闻】随着10月27日的临近，iPhone X手机的抢购大战一触即发，很多网友表示，准备在第一批货中拔得头筹，主要目的并不是自己用，而是高价转手...
先附总结，实操案例请直接拉到最后。一、WHY：组建社群的目的是什么?这在组建社群前，需要运营人员明确，建立社群的目的或“...
今年，在最热“吃鸡”游戏《绝地求生：大逃杀》的影响下，一大批国内游戏厂商也在自己的游戏中加入了各种各样的“吃鸡模式”。不...
IDC评述网（）10月19日报道：Mozilla、微软、谷歌、三星、W3C达成协议，准备将它们的所有文...
　　【手机中国 新闻】智能手机已经成为现代人生活中不可或缺的一部分，堪称本世纪影响力最大的消费电子产品，深刻地改变了我们...
　随着都市生活节奏的加快，现代人在繁忙的工作之余，也在寻求各种娱乐方式放松自己，这时一款兼顾工作与娱乐的智能设备无疑是必...又忙又累，身体如何吃得消？学教练式管理，老板解放，业绩暴涨！
这是个培养“能力”的课程，戴志强老师带你，从大量个案练习中，掌握...
课程由国际知名NLP导师苏茜老师和国内NLP泰斗张国维博士主讲，...
课程结合萨提亚和团体动力，通过大量的萨提亚技巧，团体技巧训练……...
团队中你扮演的角色
作者：佚名|文章出处：网络|更新时间：
　　测试导语
　　家庭、学校、公司以及其它组织都可以说是一个团队，而你是团队中的一分子，那你在团队中扮演什么角色呢？是举足轻重，还是微不足道？你的存在使团队更有生机吗？
　　测试开始
　　天气不错，你走到体育中心里，发现有一个可爱的小女孩手里拿着一个气球，你感到眼前一切都非常美好，突然女孩子手一松，气球从她手中飞走了，你觉得气球最后会怎样？
　　A、会有一位大人帮她把气球追回来
　　B、被鸟啄破
　　C、挂在树枝上
　　D、飞到高空里不见了
　　测试结果
　　选A：选会有一位大人帮她把气球追回来的人常会扮演弟弟妹妹般的角色，在集体里很受众人疼爱。你可以继续发挥你的长处，让更多人喜欢你。
　　选B：选被鸟啄破的人平常虽不多话，但心思缜密，你只要一开口，你的意见就会很受重视。建议你继续保持优势，少说无谓的话，让自己显得更有权威感。
　　选C：选挂在树枝上的人是领导者，你的高瞻远瞩颇得众人信赖。相信我，你应该继续引领大家走下去，因为很多人都把你当作是一种依靠。
　　选D：选飞到高空里不见了的人很有创意与灵感。在团队中，你最好去负责企划方面的事务，你的想象力和创造力，将会让别人大吃一惊。
　　心理评析
　　通过这个测试你也知道自己在团队中扮演的角色了，不管怎样，最重要的是你要好好发挥自己的优势，对团队负责，相信你在团队中会实现你的人生价值，团队也将因为你的存在而更加和谐与进步。
上一篇：下一篇：
编辑推荐：
心理新闻阅读排行
11741人阅读
推荐心理导师
推荐心理测试
推荐心理游戏休闲娱乐生活服务其他类别
2017年ACL的四个NLP深度学习趋势（一）：语言结构和词汇嵌入介绍在本月初我在温哥华出席的ACL（国际计算语言学协会 (ACL，The Association for Computational Linguistics) ）时Joakim Nivre宣布：“NLP正在蓬勃发展”。参加人数众多的人士认为，学术界对NLP的兴趣已经处于历史最高点，主要是因为深度学习的成功。然而，我参加ACL时注意到的一个研究人员的焦虑，因为一个领域正在快速发展转型。研究人员对是否将旧的NLP算法遗留下来还是抛弃，他们产生了焦虑！神经网络是我们需要的唯一技术吗？我们如何做好科学，论文发表在arXiv上算是真的成功吗？虽然这些问题在ACL上不时出现，但研究人员整体的状态仍然是积极的。在2017年的ACL，NLP社区继续热情地接受深度学习。在这篇文章中，我将就NLP研究发展的趋势发表自己的看法。关于这篇文章在接下来的两篇文章中，我会阐述在会议（及其共同的活动）中，我通过论文，演讲和讨论上观察到的四个NLP的研究趋势。它主要集中在深度学习，序列模型，序列到序列框架。第一部分将探讨两个相互关联的趋势：语言结构和词语表达。趋势1：语言结构回归（Linguistic Structure）最近深度学习的复兴已经强调了NLP的简单统一范式：语句只是单词序列（language is just sequences of words）。根据这个逻辑，任何更深的网络结构都是不必要的，只需训练一个RNN的 end-to-end，随机梯度下降就能找出答案！虽然这种方法已经迅速地获得了巨大的成功，但其局限性正变得越来越明显。在2017年的ACL，几位著名研究人员反对“语句只是单词序列”的逻辑，并提出了理论，既实用又有原则。那么为什么NLP应该重新回到语言结构呢？原因1：减少搜索空间米雷拉·拉帕拉（Mirella Lapata）质疑了RNN序列到序列框架的霸权地位。在她非常有趣的主题演讲中，认为所有的语言特征都应该被丢弃。相反，她得出结论：语言结构正在归来，并通过示例提供了一个例子来解释。她认为语言结构可以减少输出的搜索空间，从而更容易地生成良好的输出。例如，代码生成涉及“生成前10个平方数的列表”的自然语言语句映射到相应的代码片段，例如Python中的“[x ** 2 for x in range（10）]”。已经尝试使用标准序列到序列方法完成这个任务，该方法将代码简单地称为标记序列，而不是其底层树结构。这使得生成任务在所有标记序列的整个输出空间上是无约束的搜索。搜索任务容易产生不正确的输出（例如，解码器可能生成不匹配括号的代码）。在ACL论文中，Yin和Neubig和Rabinovich等人 采取结构化预测方法，直接生成底层的抽象语法树。这种方法将搜索空间限制在格局良好的底层树上，消除了不合格的输出。语言结构不仅对于具有代码生成和语义解析等高度形式化的输出任务具有明显的帮助，而且它也可以帮助减少不太明显的任务的搜索空间，如cloze式阅读理解。Xie和Xing构造了一个只探索这些节点的系统,他们认为这比浏览文档中探索所有可能的节点要容易得多。原因2：语言支架（Linguistic scaffolding）
上一页&1共3页热门新闻更多
实时热点榜单热门视频发现好货
阅读下一篇视频推荐词嵌入 | 我爱自然语言处理