nlp自然语言处理开发语言,自然语言 nlp

　　1.文字处理流程文字清理：必要时删除html标签、转义字符、多余空格、邮箱、账号、网址、手机号、操作信息等信息。

　　预处理：删除停用词、加载自定义词典(实体词典、垂直领域词典)、分词。

　　特征提取：关键词，实词

　　建模：文本分类、文本聚类、情感分析、标签提取

　　优化：禁用字典和自定义字典的清理和丰富，文本标签的清理，模型的调整。

　　评价：满足在线使用，准确度和速度的要求。

　　在线部署：api接口部署

　　二、自然语言处理中NLP算法的深度学习，在分类问题上能够取得较好效果除外，如单选问题：情感分类、文本分类、正确答案分类问题等。尤其是信息抽取的群抽取各种评测集，多为手工制作，省略了实际制作中的很多环节。很多国家级的方法，在工业场景下很难达到实用水准，在测评过程中达到的，往往只是为了打印排行榜而打印排行榜。目前干净环境下的较为规范的文本中，大部分数据来自结构化数据，其次是半结构化信息抽取和非结构化数据抽取。半结构化信息抽取，也就是表格信息抽取，是最危险的。如果一个单元出了问题，很可能所有的数据都是错误的。在非结构化抽取中，在真实应用场景下泛化能力很差工业场景中的知识图谱的构建环节，实体识别和实体关系识别难度相当大标准设备中的命名实体识别，其实都是辅助手段。因此，http://www.Sina.com尤为重要。目前BILSTM+CRF的问题严格意义上不属于推理范畴，最多只相当于工业界还是以领域实体字典匹配为主。和评价中的知识推理任务一样，是一个三补问题。目前生产环节中的实体识别工作中，基础性词性的构建和扩展工作还在起步阶段。舆情分析还处于初级阶段知识图谱推理深层次事件演变和对象层面情感分析。3358www.Sina.com/本质上只是一个编码器，只有知识补全问题。不是说它什么都不会。只是它编码能力强，向量表达意义丰富，但很多人都很困惑。学术界和业界最大的区别在于，学术界是以探索前沿为目的提出新的概念，画完草图就没眼光了。这场战斗结束后，我们不知道下一场战斗该做什么，去哪里，什么时候打，或者换个位置，自己再打。行业往往面临生存问题，需要考虑实际问题，或者说主要是解决实际问题。所以使用舆情分析结构化数据，尤其是百科infobox数据进行采集，Neo4j的妈妈基于这个知识图谱做一个简单的问答系统，标榜自己是基于知识图谱的智能问答系统，其实是很肤浅的。知识图谱不是结构化知识的可视化那么简单(不是两点的边)。这叫知识可视化，不是知识图谱。知识地图的核心在于知识的映射，以知识表示和地图存储结构为特征。前者决定了知识的抽象表示维度，后者决定了知识和地图算法(地图扫描、联动地图、最短路径)的可行性。基于图像存储结构进行知识行走，预测知识特征和未知知识。新鲜感，每个人都能获得的知识，往往价值不高。知识图谱也是如此。只有建立有专业数据壁垒的知识图谱，才能带来商业价值。目前3358www.Sina.com/的问题大部分是人工智能障碍，一般聊天式的问答多是智力障碍。以表层计量为主，配以浅层句子级情感分析和主题挖掘技术的分析、Bert等问题的答案才是出路，但真正需要注意的东西很少，一般都在演示层面。看大部分微信自然语言处理软件都是浪费时间。尤其是内容分析，重点是词汇、数字、关键词、情感分析、绘制条形图、折线图、关键词云，分析方法都是一样的。要从根本上创新方法，才能有营养，从根本上有营养。文本分析应该从浅层分析走向深层分析，从而更好地挖掘文本的语义信息。目前百科知识图谱的构建工作非常多，也有很多重复性的工作。

　　基于开放百科知识图谱的数据获取接口在复旦等地已经公开，可以应用于基本概念中的实体检索和实体属性检索，但目前只能做一次。目前基于知识图谱的答题有两个难点：1)多度也叫多跳题。比如你可以回答14个hxdx的老婆是谁，但是你不能回答hxdx的老婆是谁，本质上是实体和属性，实体和实体。2)可以多次回答问题。分成多个圈。一指互补问答。就像上一个关于北京天气的问题，后者省略了“好天气”这个词，只说了“北京”。这需要意图确定。

　　并准确加载相应的问答槽。另一种是多轮问答，通常用于天气查询或酒店预订等垂直问答任务。大家要抓住这两个方面去做。关系挖掘是信息抽取的一个重要里程碑。理解实体与实体、实体与属性、属性与属性、实体与事件、事件与事件之间的关系，是解决真正语义理解的基础。但目前在行业实际应用中，模板在特定领域的表现远多于深度学习，学术界大多采用端到端的模型进行实验。在这方面，模板的性能很难超越。1.TF-IDF 1)原理：词频-逆文档频；信息检索和文本挖掘的常用加权技术：一种统计方法，用于评估一个词对文档集或语料库中某个文档的重要性。单词的重要性与它在文档中出现的次数成正比增加，但与它在语料库中的频率成反比减少。

　　2)主旨：如果一个词在一篇文章中出现的频率TF很高，在其他文章中很少出现，则认为这个词或短语分类能力较好，适合分类。

　　3)公式：

　　TF=单词w在某个文本中出现的次数/该文本中所有单词的个数。

　　IDF=log(语料库中的文档总数/(包含条目W的文档数为1))，分母避免为0。

　　TF-IDF=TF*IDF

　　4)优缺点：实现简单，容易理解，但是没有考虑到词的语义信息，无法处理一词多义现象。

　　5)应用：搜索引擎、关键词提取、文本相似度计算、文本摘要。

　　6)python调优：

　　提取关键词

　　keywords=jieba . analyze . extract _ tags(sentence，topk=10，with weight=false，allowpos=()) #主要指有指定词性的词。

　　提取特征向量

　　tfidf=tfidf vectorizer(ngram _ range=(1，2)，min_df=1，max_df=0.9，token_pattern=r (？u)\b\w \b ，stop_words=stopwords，max_features=1000)

　　Ngram_range=(1，2):短语长度为1和2。

　　Min_df:忽略频率小于1的单词

　　Max_df:忽略出现在90%以上文本中的单词。

　　token_pattern=r (？U)\b\w \b :包含单个单词。

　　Stop_words:停止词汇。

　　Max_features=1000:最大的特征向量维数

　　2.Textrank 1)原理：每个句子都被视为一个节点。如果两个句子之间存在相似性，则认为对应的两个节点之间存在一条无向加权边，权值就是相似度。通过pagerank算法(两个假设：数量假设，页面A被其他网页链接越多，页面A越重要；假设质量越高，页面链接指向a页越重要，计算出的一些重要性最高的句子可以作为摘要。PageRank是word2vec的升级版.

　　PageRank的核心公式是PageRank值的计算公式。公式如下：

　　其中PR(Vi)表示节点Vi的秩值，In(Vi)表示节点Vi的前趋节点集，Out(Vj)表示节点Vj的后继节点集。

　　这个公式来自《统计学习方法》，等号右边的主要用于对在线搜索结果中的网页进行排序(通过一些处理，避免一些突变的异常值，尽可能接近实际情况)不是(1-d)，而是(1-d)/n。

　　是正在学习的页面，链接的页面数，链接的页面数，n是所有页面数。

　　在自动文本摘要的情况下，TextRank和PageRank之间的相似之处是：

　　用句子代替网页。

　　任意两个句子的相似度相当于转换概率o

　　但公式中有一些小的区别，即平滑项与句子的相似度相比，PageRank中的等价转移概率被归一化的句子相似度代替，这意味着TextRank中所有节点的转移概率不会完全相等。

　　TextRank算法是一种抽取式无监督文本摘要方法。让我们来看看我们将遵循的TextRank算法的流程：

　　3.知识库建设：停用词库语料库、自定义分词词库、字符词库、垂直领域词库、4。知识图谱三联体NEO4教程：Neo4j是世界领先的开源图形数据库。完全是Neo技术用Java语言开发的。CQ代表密码查询语言。Oracle数据库使用SQL作为查询语言，Secondary使用CQL作为查询语言。

　　网页转移概率

　　它是Neo4j图形数据库的查询语言。

　　它是一种声明式模式匹配语言。

　　它遵循SQL语法。

　　它的语法是一种非常简单、人性化和易读的格式。

　　5.预培训型号Neo4j CQL：

　　语言模型

　　在深度学习时代，对于预训练模型(Pre-trained Models,PTMs)和充分训练深层模型参数，通常需要更多的标签数据来喂养。在自然语言处理领域，标记数据是一种昂贵的资源。基于大量未标记数据的PTMs预训练显著提高了许多NLP任务的性能。总体而言，PTMs这种预培训模式的优势包括：

　　在庞大的未标记数据上进行预训练，可以获得更通用的语言表示，有利于下游任务。它为模型提供了更好的初始化参数，对目标任务具有更好的泛化性能，加速了收敛；避免在小数据集上过拟合是一种有效的正则化方法(随机初始化的深度模型容易在小数据集上过拟合)；防止过拟合是自然语言处理(NLP)中语言模型和表征学习技术的总称。概念上是指词嵌入，这也是一种分布式的表示：向量的每一维都没有实际意义，整体则代表一个特定的概念。

　　把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量比传统的一热编码有更强的表现力，但是一热编码存在分布式表示(相似度无法计算)等问题。传统的分布式表示方法，如矩阵分解(SVD/LSA)和LDA，都是根据全球语料库进行训练的，是机器学习时代的产物。维度灾难和语义鸿沟也属于分布式表示的范畴。

　　PTMs的两种范式：“浅字嵌入”和“预训练编码器”。

　　PTMs非上下文嵌入S浅层词嵌入（是词向量。它的主要特点是学习具有独立上下文的静态单词嵌入。其主要代表如下。这种单词嵌入通常是通过浅层网络进行训练，但是应用到下游任务时，整个模型的其余部分仍然需要从头学习。所以这种范式的PTMs不需要采用深度神经网络训练，采用浅层网络加速训练也能产生很好的词嵌入。

　　NNLMword2vec(CBOW、Skip-Gram)手套

　　浅字嵌入的主要缺陷是：

　　嵌入单词）：，每个单词的嵌入向量总是一样的，所以与上下文无关的问题。OOV(词汇量不足)问题经常发生。为了解决这个问题，相关文献提出了字符级表示或子词表示，如CharCNN、FastText和字节对编码。不能解决一词多义上下文嵌入S预训练编码器（:主要目的是通过预先训练好的编码器输出上下文相关的词向量，解决一词多义的问题。这种预训练编码器输出的矢量称为“上下文相关词嵌入”。这种“预训练编码器”范式的PTMs主要包括）、ELMO、GPT-1、BERT等。

　　XLNet(序列模型):TEXTCNN，设置一个窗口，然后在窗口中卷积一些单词，得到单词在这个窗口中的嵌入表示CNN(序列模型):基于RNN，单向(从左到右)或双向RNN模型，对整个序列建模，得到每个单词在自连接自注意模型(self-LSTM/GRU，非序列化模型)上下文中的嵌入表示：用全连通图来通常，两个词之间的“连接权重”是由自我注意机制动态计算的。典型的例子是多头自关注网络结构attentionTransformerELMOBERTGPT。

　　在上图中，可以认为(a)中的卷积网络的窗口为3，例如h2由x1、x2和x3决定。(b)其中h2由h1、h3和x2决定。具体来说，可以使用LSTM、GRU和其他网络结构。(c)有点复杂，结合变压器网络结构可以理解。

　　分析：

　　序列模型：局部偏向，难以捕捉远距离交互；但是很容易训练，在一些NLP任务中取得了很好的效果。

　　非顺序模型：(代表是Transformer)功能更强大，使用的参数更多，能更好的覆盖长距离依赖的问题；但是需要大规模的训练语料库(可以是unlabel的！)，在中小型数据上容易过拟合。

　　当然，Transformer这几年一直是研究热点，不仅在NLP领域，在CV领域和语音领域也是如此，而且成为了“中流砥柱”！

　　上图显示了各种NLP编码器之间的比较。PTMs预训练编码器通常采用LSTM和Transformer（Transformer-XL），其中Transformer根据其注意力屏蔽模式分为Transformer-Encoder和Transformer-Decoder。另外，Transformer也可以看作是一个图形神经网络GNN。

　　第三，用参考文献讲真话：汉语自然语言处理的N种真实情况

　　NLP预训练模型I概述

　　PTMS:NLP预训练模式的全面总结

　　2020年3月18日，邱希鹏老师发表了NLP预训练模型《Pre-trained Models for Natural Language Processing: A Survey》综合复习，对PTM进行了系统的分类。

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。