分享
自然语言处理
输入“/”快速插入内容
自然语言处理
自然语言处理
(
Natural Language Processing
,
NLP
)是研究人与计算机之间,使用自然语言进行有效通信。就是希望机器能像人一样,具备正常人的语言理解能力。
有别于计算机语言,“自然语言”是人类发展过程中形成的一种信息交流方式,包括汉语、英语、法语等世界上所有的语种语言。“处理”包含理解、转化、生成等过程。“
自然语言处理
”就是指用计算机对自然语言的形、音、义等信息进行处理,即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流,
用途
如文字校对、
信息检索
、
机器翻译
、问答系统、
聊天机器人
、文章摘要、舆情监测、
情绪分析
等都涉及到
NLP
相关技术。
技术原理
按照内容构成的层次,
NLP
的基本技术原理可以分成5个层次:
1.
词法分析
。找到词汇的各个词素,从中获得语言学信息;
2.
句法分析
。对句子和短语的结构进行分析,目的是要找出词、短语等的相互关系以及各自在句中的作用;
3.
语义分析。找出词义、结构意义及其结合意义,从而确定语言所表达的真正含义或概念;
4.
篇章分析。分析篇章结构,识别不同部分之间的语义联系,结合内外部信息,在整体上理解篇章;
5.
内容生成
参考资料
《数学之美》, 吴军
《
自然语言处理
综论》, Daniel Jurafsky
《统计
自然语言处理
》, 宗成庆
自然语言处理综述-飞桨
CS224n: Natural Language Processing with Deep Learning,Stanford Winter 2019
NLP Progress
网站收录了几乎所有的 NLP 研究分支,并且跟踪 NLP 在这些任务上的进展