水熊虫
水熊虫
不认命,就拼命!
265文章 53分类

自然语言处理之doc2vec和str2vec

本节我们还来讲nlp的相关的东西,我们刚刚讲解了如何将word转化为一个vector,其实我们还是没有对语序做一个很好的应用,例如 我给你一个苹果和你给我一个苹果,意义上完全不同,但是识别的时候可能关键词十分相似。所以我们正好讲讲doc2vec的算法,如何充分利用语序信息的。谷歌的工程师提出了DM模型和DBOW模型,其实就是对应咱们word2vec中的CBOW和Skip-gram模型DM(Dist

自然语言处理之TF-IDF算法

TF-IDF对于文档搜索中tf-idf应用非常广泛,甚至在es数据库中作为默认的检索方式,这里就简单介绍一个tf-idf算法。首先思考一个问题,假如我们对一系列文章进行分词统计等操作,如果某个词出现的特别多,那么它是不是很重要呢?于是,我们进行"词频"(TermFrequency

自然语言处理之短文本分类工具

tgrocery本文会介绍几个短文本分类工具,主要做问答意图解析的场景下对意图进行解析。TextGrocery是一个基于LibLinear和结巴分词的短文本分类工具,特点是高效易用,同时支持中文和英文语料。>>>fromtgroceryimportGrocery>>&g
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×