自然语言处理之命名实体识别

本文将介绍命名实体识别的一些方法，在自然语言中使用十分广泛。条件随机场(CRF)首先我们就介绍CRF的方式进行命名实体识别，CRF与HMM模型十分相似，如果不了解HMM模型的可以看自然语言处理之分词看我之前的一个讲分词的文章。

Thu Jun 18

自然语言处理

自然语言处理之Seq2Seq模型

Seq2Seq模型对于一些自然语言处理任务，比如聊天机器人，机器翻译，自动文摘等，传统的方法都是从候选集中选出答案，这对素材的完善程度要求很高，随着最近几年深度学习的兴起，国外学者将深度学习技术应用与自然语言的生成和自然语言的理解的方面的研究，并取得了一些突破性的成果，比如，Sequence-to-

Thu Jun 18

自然语言处理

自然语言处理之seq2seq+attention

seq2seq处理人工翻译的时候会有一个问题，就是当句子特别长的时候问你会发现翻译的效果并不是特别好，至于原因呢就是seq2seq学习的时候对信息遗忘严重，为了解决这个问题，就有研究者提出了加入Attention的机制来解决这个问题，核心就是我们在解决一个问题的时候只关注某些关键信息就够了，并不要全

Thu Jun 18

自然语言处理

自然语言处理之NGram模型

NativeBayes我们首先考虑在原始的数学模型中，我们怎么分析一句话的语义信息呢？我们来举个例子澳门赌场日赚百万这是垃圾短信的其中一句话，如果我们想训练一个模型来识别所有的垃圾短信，会是怎么样的抽象呢？由条件独立性假设：$$p(澳门赌场日赚百万∣J)=p(澳,门,赌,场,日,赚,百,万∣J)=p

Thu Jun 18

自然语言处理

自然语言处理之关键字提取

关键字提取对于关键字提取算法最经典的就是[TF-IDF]算法，这个我们已经有文章来讲解这个知识，我们来介绍一点不太一样的知识。textRankTF-IDF算法就是统计某个词在某些文档中的出现频率，这远远是不够的，而主体模型的关键字提取则是通过大量的文档学习发现主题的文档的隐含主题。textRank最

Wed Jun 17

自然语言处理

自然语言处理之短文本分类工具

tgrocery本文会介绍几个短文本分类工具，主要做问答意图解析的场景下对意图进行解析。TextGrocery是一个基于LibLinear和结巴分词的短文本分类工具，特点是高效易用，同时支持中文和英文语料。>>>fromtgroceryimportGrocery>>&g

自然语言处理之命名实体识别

自然语言处理之Seq2Seq模型

自然语言处理之seq2seq+attention

自然语言处理之NGram模型

自然语言处理之关键字提取

自然语言处理之短文本分类工具

分类

标签云

最新文章

标签

最新文章

Your browser is out-of-date!