百香果NLP 人工智能（AI）中文NLP自然语言处理基础字词库

百香果NLP是谁

        人工智能（Artificial Intelligence），英文缩写为AI。主要包含自动推理-计算语言学-计算机视觉-进化计算-专家系统-自然语言处理-机器人学-智能增强。而计算机/人工智能机器人“理解”人类语言中的种种信息，还要会听、说、读、写、问、译，甚至像人类一样做出反应，这些是NLP自然语言处理的主要内容。

        字是汉语最基本的单元，字可以组成词，词语能组成句子，几句话又能组成精彩的段落，段落又能组成有中心思想的文章，文章又能编织成系统又全面的书。百香果NLP就是以不同的维度、方式、方法将收集、分类、标注、归类、存档、陈列展示汉字、词汇、句子等。以自己的方式为标注语料库、数据集、知识图谱、知识工程等中文NPL自然语言处理增砖添瓦。

最新文章

       自动纠错
       情感识别
       中台
       搜索推荐中台
       内容中台
       用户中台
       数据中台
       业务中台
       人工智能文物导游
       文物三维数字化项目经理
       儿科
       标签
       科普
       平状
       本文
       交直
       近年
       高级
       呈现
       交知
       刊章
       过采
       交政
       接受
       电源
       工艺
       接收
       分开
       不过
       出血
       不育
       爱着
       经月

什么是NLP自然语言处理

        NLP技术诞生于1950年代，其分支也枝繁叶茂。有基于语法和规则的方法，也有基于统计学习的方法，从 21世纪初以来蓬勃发展的深度学习、深度强化学习和迁移学习的方法在 NLP 领域也被广泛地使用。微观层面，在学术界一般将 NLP 划分为四个层级：即词法（Lexicon）、句法（Syntax）、语义（Semantics）和语用（Pragmatics）。面向普通大众，也通常使用偏向应用层面的直接的划分方法，即字词级、  句段级和篇章级。

NLP技术的分类

        NLP技术在宏观层面通常又划分为划分为自然语言理解（NLU）和自然语言生成（NLG）两部分。通俗的讲，自然语言理解就是我们常说的“阅读”，即让计算机读懂语言文字的技术。而自然语言生成则是“写作”，即让计算机能够像人类一样写句子和文章的技术。除此之外，光学字符识别（OCR）和语音技术（包括识别与合成），也会在某些场景下被归为自然语言处理的一部分。

NLP 是实现认知智能的关键

        人工智能（AI）通常被分为三大块：计算智能，感知智能和认知智能。计算智能方面，以 AlphaGo 打败了人类围棋最顶尖选手李世石和柯洁为标志，已将人类远远抛在后面。感知智能则以语音和图像技术为代表，对应于人类的视觉和听觉，经过近十几年深度学习、迁移学习等技术的发展，也在非常多领域超越了人类。人工智能在近些年不断的在计算智能和感知智能上发展，一方面是技术迅猛发展的原因，另外一方面也是人类并不擅长这两种。然而，在认知智能上，目前还有待技术层面的进一步突破，而这里面的关键就是NLP技术。

        百香果nlp认为，认知智能是以语言为基础，实现推理、思考、决策和想象。语言，是人类区别于动物的标志性能力，而让机器拥有语言能力的关键技术就是自然语言处理技术。当前计算机在认知智能上还处于非常初级的阶段，特别是在中文上。今年遍地开花的各类智能音箱，随便与之对话几句便能够感受到强烈的“智障”气息。因此，为了达到更强的认知智能，急需NLP技术的进一步发展。当前学术界的热点也在往 NLP 领域迁徙，投向NLP方面的资本也在增加。

        自然语言处理是计算机以一种聪明而有用的方式分析，理解和从人类语言中获取意义的一种方式。通过利用NLP，开发者可以组织和构建知识来执行自动摘要，翻译，命名实体识别，关系提取，情感分析，语音识别和话题分割等任务。

        NLP的常见领域：分词，词性标注，命名实体识别，句法分析，语义识别，垃圾邮件识别，拼写纠错，词义消歧，中文输入法，语音识别，音字转换，机器翻译，自动问答……

NLP处理的主要范畴

        NLP的应用无处不在，因为人们用语言进行大部分沟通：网络搜索，广告，电子邮件，客户服务，语言翻译，发布学报告等等。NLP应用背后有大量的基础任务和机器学习模型。

        文本朗读（Text to speech）/语音合成（Speech synthesis）语音识别（Speech recognition）中文自动分词（Chinese word segmentation）词性标注（Part-of-speech tagging）句法分析（Parsing） 自然语言生成（Natural language generation）文本分类（Text categorization）信息检索（Information retrieval）信息抽取（Information extraction）文字校对（Text-proofing）问答系统（Question answering）机器翻译（Machine translation）自动摘要（Automatic summarization）文字蕴涵（Textual entailment）

NLP的目前发展现状

基本解决，如：词性标注、命名实体识别、垃圾邮件识别。

长足进展，如：情感分析、共指消解、词义消歧、句法分析、机器翻译、信息抽取。

充满挑战，如：自动问答、复述、文摘提取、会话机器人等。

       近几年，BERT和Transformer的出现和运用推动NLP 迎来了历史上的黄金时代。机器翻译、机器阅读、人机对话、机器写作等领域进步喜人。与此同时， 在工业界的落地与应用也呈现百花齐放之态，在搜索、推荐、信息流、互联网金融、社交网络等领域都有其足迹。