本文将介绍命名实体识别的一些方法，在自然语言中使用十分广泛。条件随机场(CRF)首先我们就介绍CRF的方式进行命名实体识别，CRF与HMM模型十分相似，如果不了解HMM模型的可以看自然语言处理之分词看我之前的一个讲分词的文章。

NativeBayes我们首先考虑在原始的数学模型中，我们怎么分析一句话的语义信息呢？我们来举个例子澳门赌场日赚百万这是垃圾短信的其中一句话，如果我们想训练一个模型来识别所有的垃圾短信，会是怎么样的抽象呢？由条件独立性假设：$$p(澳门赌场日赚百万∣J)=p(澳,门,赌,场,日,赚,百,万∣J)=p

分词自然语言处理是机器学习领域比较通用的方向，可以和推荐、图像相提并论啦，本系列的博客就就围绕自然语言处理介绍一些相关概念，可以给初学者提供一个学习的地方。中文分词和英文分词有着极大的不同，英文会有空格进行分开，但是中文不仅没有相应的分隔符，甚至歧义也是常有的事情，就如下面这个例子。南京市长江大桥这

TF-IDF对于文档搜索中tf-idf应用非常广泛，甚至在es数据库中作为默认的检索方式，这里就简单介绍一个tf-idf算法。首先思考一个问题，假如我们对一系列文章进行分词统计等操作，如果某个词出现的特别多，那么它是不是很重要呢？于是，我们进行"词频"（TermFrequency

tgrocery本文会介绍几个短文本分类工具，主要做问答意图解析的场景下对意图进行解析。TextGrocery是一个基于LibLinear和结巴分词的短文本分类工具，特点是高效易用，同时支持中文和英文语料。>>>fromtgroceryimportGrocery>>&g