Wed Jun 29

搜索推荐

优化中的梯度

对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

Wed Jun 22

线性代数

有时我们需要衡量一个矢量的大小。在机器学习中，我们经常使用称为 (norm)的函数来衡量矢量大小。形式上范数的定义如下。$$||x||_{p}=(\sum |x_{i}|^{p})^{\frac{1}{p}}$$

Mon Jun 6

机器学习

机器学习之L1正则化

本文咱们来看下L1正则化的深入分析。L1正则化的表达形式如下$$||w||_{1}=\sum_{i} |w_{i}|$$通过上面的计算方式能够看出L1正则化的计算方式是将所有权重的绝对值求和。接下来还是从线性回归中看L1正则化的影响。$$\bar{J}(w;X;y)=\alpha ||w||_{1} + J(w; X;y)$$对应的梯度为$$\triangledown_{w} \bar{J}(w;

Sun Jun 5

机器学习

机器学习之L2正则化

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

Sun Jun 5

机器学习

机器学习之损失函数&评估函数

对数损失对数损失是对预测概率的似然估计，标准形式如下$$logloss=-log\ P(Y|X)$$对数损失最小化的本质是利用样本的已知分布，求解导致这种分布的最佳模型参数，使得这种分布出现的概率最大。它的二分类形式为$$logloss=-\frac{1}{N} \sum_{i=1}^{N} (y*log^{p_{i}}+(1-y)*log^{p_{i}})$$logloss衡量的是预测概率分布和

Mon May 16

搜索推荐

异常检测算法之孤立森林(isolation forest)

异常检测是一个比较经典的方向，这类算法目的是识别出系统的异常数据点，其细分还有一些子方向，变点监测用于识别序列中的突变点，异常序列监测，这类算法经常在轨迹中使用比较广泛，如何快速发现轨迹中的飘逸轨迹点序列。本文介绍的一个比较经典用于找到数据中的孤立点的算法，你可以直接用来识别训练数据中的孤立点和噪声点，也可以使用这个算法作为前置算法帮助过滤数据。废话不多说，现在就马上介绍一些这个算法。下面咱们单独

Sun Apr 10

搜索推荐

推荐搜索之PNN模型

推荐搜索之Deep Crossing

推荐搜索之AutoRec模型

优化中的梯度

线性代数

机器学习之L1正则化

机器学习之L2正则化

机器学习之损失函数&评估函数

推荐搜索之Bandit算法

推荐搜索之矩阵分解(MF)

异常检测算法之孤立森林(isolation forest)

推荐搜索之计算广告

最新文章

分类

标签云

最新文章

标签

Your browser is out-of-date!