轨迹挖掘(零)--基于HMM的地图匹配算法(map match)

背景地图匹配算法,在地图领域还是十分重要的算法,那么我们先来普及一下地图匹配算法究竟是做一个什么样的事情呢?看上面这个图,我们看到三个黑的gps点,和地图一些路网,那么mapmatch解决的就是这三个点究竟在哪条路上?至于为什么我们要知道这三个点在哪条路上呢?我们可以这样理解一种业务场景,在轨迹挖掘

linux下升级python版本

大家可能都会遇到这样的问题,python版本升级的问题,这个问题也是比较头疼,对于我这种深度强迫症患者,在不知情的情况下安装了n多版本,也不知道怎么清理,简直让人不能容忍。下面我们来介绍如何升级你服务器上的python呢?下载相应版本的pythonwgethttps://www.python.org

自然语言处理之word2vec

Word2vec将文本转化成向量是nlp中一个比较重要的任务,也是链接nlp和机器学习和深度学习的桥梁,单纯的中文文字,我们是无法直接放到模型中训练的,所以将文本转化为一个向量是我们必须要过的一关。词袋模型(bagofword)词袋模型的思路十分简单,是文本向量化的最简单方法。我们直接举一个例子来了

自然语言处理之Seq2Seq模型

Seq2Seq模型对于一些自然语言处理任务,比如聊天机器人,机器翻译,自动文摘等,传统的方法都是从候选集中选出答案,这对素材的完善程度要求很高,随着最近几年深度学习的兴起,国外学者将深度学习技术应用与自然语言的生成和自然语言的理解的方面的研究,并取得了一些突破性的成果,比如,Sequence-to-

自然语言处理之seq2seq+attention

seq2seq处理人工翻译的时候会有一个问题,就是当句子特别长的时候问你会发现翻译的效果并不是特别好,至于原因呢就是seq2seq学习的时候对信息遗忘严重,为了解决这个问题,就有研究者提出了加入Attention的机制来解决这个问题,核心就是我们在解决一个问题的时候只关注某些关键信息就够了,并不要全

RNN代码拆解

rnn对于一些初学者来说被当成直接跳过的内容,因为如果需要使用RNN,那还不如直接用LSTM,好吧这个思路貌似也没什么问题,但是对于学习这件事情来讲的话,其实RNN是一个新型的网络结构,跳出神经网络的那个固定模式的开始,对大家学习还是有百利而无一害的。拆了的RNN[RNN]的经典过程本站也做过讲解,可以跳转过去看看完全的RNN样子,本节就是要将这一结构拆开来看的。上图就是其中一个RNN结构,初始化

自然语言处理之NGram模型

NativeBayes我们首先考虑在原始的数学模型中,我们怎么分析一句话的语义信息呢?我们来举个例子澳门赌场日赚百万这是垃圾短信的其中一句话,如果我们想训练一个模型来识别所有的垃圾短信,会是怎么样的抽象呢?由条件独立性假设:$$p(澳门赌场日赚百万∣J)=p(澳,门,赌,场,日,赚,百,万∣J)=p

自然语言处理之doc2vec和str2vec

本节我们还来讲nlp的相关的东西,我们刚刚讲解了如何将word转化为一个vector,其实我们还是没有对语序做一个很好的应用,例如 我给你一个苹果和你给我一个苹果,意义上完全不同,但是识别的时候可能关键词十分相似。所以我们正好讲讲doc2vec的算法,如何充分利用语序信息的。谷歌的工程师提出了DM模型和DBOW模型,其实就是对应咱们word2vec中的CBOW和Skip-gram模型DM(Dist

自然语言处理之关键字提取

关键字提取对于关键字提取算法最经典的就是[TF-IDF]算法,这个我们已经有文章来讲解这个知识,我们来介绍一点不太一样的知识。textRankTF-IDF算法就是统计某个词在某些文档中的出现频率,这远远是不够的,而主体模型的关键字提取则是通过大量的文档学习发现主题的文档的隐含主题。textRank最

自然语言处理之分词

分词自然语言处理是机器学习领域比较通用的方向,可以和推荐、图像相提并论啦,本系列的博客就就围绕自然语言处理介绍一些相关概念,可以给初学者提供一个学习的地方。中文分词和英文分词有着极大的不同,英文会有空格进行分开,但是中文不仅没有相应的分隔符,甚至歧义也是常有的事情,就如下面这个例子。南京市长江大桥这

图像算法--目标检测

目标检测基础目标检测算法主要分为两种,一种是one-stage检测算法,一种是two-stage检测算法。而对于two-stage检测算法来讲第一步是进行区域分割,然后第二步才是分类,代表方法有RCNN算法。而one-stage检测算法一般有YOLO和SSD算法。Selectivesearch和RC

图像算法--图像分割(Otsu算法)

Otsu算法图像分割是一个经典的图像任务,Otsu算法是借用图像的灰度值,计算几个阈值,然后起到分割图像的作用。本文介绍的Otsu算法常用于基于图像分割的聚类。该算法的理论依据是:假定图像包含两类像素(前景像素和背景像素),直方图为双峰直方图,然后计算使得两类像素能分开的最佳阈值(类内方差),或等价
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×