Fri Jan 19

人工智能深度学习自然语言处理

自然语言处理之预训练模型(二)

之前咱们介绍的都是单一模型的预训练方法，这里介绍一个特殊一点的思路，且不说应用程度怎么样，先看看这个模型的设计思路。ELECTRAELECTRA是使用对抗网路的思路进行预训练的方式。其中生成器，一个小的MLM，就是在[MASK]的位置预测原来的词。判别器判断的是输入句子中的每个词是否被替换，需要注意的是这里没有下一句的预测任务。接下来我们来看每个模块。生成器对于生成器来说，其目的是将带有掩码的输入

Thu Jan 18

感悟哲学

求胜(二)

先来抛一个观点，崎岖的路通往皇宫，平坦的路通往村庄，这句话想表达的就是一个事情越难其实竞争越少，综合难度未必一定比通往村庄的路代价大。那这里的难又是什么具体含义的。难度简单的事情往往是开头简单，但是你越是想把这个事情做精通，其实难度是陡然攀升的。所以简单的事情其实拼的是后期。上图列举了一个高考的例子，如果你想上大学，考个400分，其实也没有那么难，反而是简单的，但是你想上清华北大，那就要拼的是后

Wed Jan 17

感悟哲学

求胜(一)

最近看了可以一本挺有趣的书，里面一些经典的语句十分喜欢，这里准备摘抄一些，等以后有机会还能深入阅读，道理愈多，迷茫愈多。

Thu Oct 19

因果推断

因果框架--结构因果框架(三)

本章主要讲解一下在连续特征值的情况下如何进行因果图的挖掘。之前的介绍中节点的属性大部分以是否值为主。之前讲的优化的框架是如下的公式表达。max F(A)s.t.G(A)∈DAGs(1.1)max\ F(A) \\s.t.G(A) \in DAGs \tag{1.1}max F(A)s.t.G(A)∈DAGs(1.1)A 为因果结构的邻接矩阵,G(A)为A 所对应的有向无环图，DAGS 是所有可能的

Wed Sep 20

人工智能深度学习自然语言处理

自然语言处理之Transformer精讲(二)

本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

Sun Sep 17

定价策略

定价补贴(一)--价格歧视

接下来这个问题就是要聊一下一个敏感的话题（价格歧视）。在垄断市场的环境下，卖家能够根据需求的异质性进行区分定价，其目的是让价格尽可能靠近用于的预期支付价格，当然这个几个本身不重要，例如一个很富有的人，你可以把价格定个离谱的高，他也不会感觉到问题，这个时候的成交是能够准换成利润的，反之对于一个穷人来说，定价尽可能低，尽量促成交易，产生利润。在生活中也经常会遇到类似的事情，例如爬山的时候，越到山顶水

Fri Sep 15

人工智能定价策略

定价补贴(零)--新的开始

本章讲开启一个新的系列，并不是真的进入了一个新的行业，只是不满足原地踏步的自己。开始系列中，仍然会以介绍一些简单框架和入门知识为主，后续再进一步的介绍相关的算法。需要说明的是定价策略是一门综合科学，包含了经济学、数学、博弈等多方面的知识。交易模式说到定价就不得说一下交易模式，其实从日常的生活中就能感受到，交易模式是越来越丰富的，在不同的交易模式下，对于定价的考量也是不太一样的。先来看看都有啥交易

Thu Aug 10

图神经网络

图神经网络(二)--图表示学习

图表示学习图结构是一个高维稀疏的数据表示，那么图表示学习是将这个高维稀疏的数据映射成低维度稠密的数据，这就是图表示学习的要解决的核心问题。图表示学习一般有两种方式，一种是顶点嵌入，另一种是整图学习。顶点嵌入一般是针对顶点维度，将每个订单映射成一个低维的向量表达，这种方式表达的粒度比较细，一般用于节点层面的预测或者节点分类。整图的表示学习则是针对全图生成一个向量，这种图表示学习方式粒度较粗，一般用于

Sun Jul 30

强化学习深度强化学习

深度强化学习(五)-- RDPG

基于策略的深度强化学习循环确定性策略梯度(RDPG)RDPG属于策略梯度算法。和前面讲到的基于值函数的训练方法不同，策略通过计算梯度更新策略网络中的参数，使得整个策略朝着奖励增高的方向更新。

Sun Jul 30

强化学习深度强化学习

深度强化学习(三)-- 平均值DQN

平均值DQN是基于传统的DQN的一个简单但是非常有效的一个改进，它基于对先前学习过程中的Q值估计进行平均，通过减少目标价值函数中的近似误差方差，使得训练过程更加稳定，并提高性能。至于网络结构上是完全一致的。算法分析平均值DQN主要关注传统DQN学习过程中存在的误差，并想办法减少这些误差。Q(s,a;θi)Q(s,a;\theta_{i})Q(s,a;θi)表示第i次迭代的值函数，Δi=Q(s,a

Sat Jul 8

感悟哲学

战略思维之四种思维方式

今天来看看战略思维的东西，工作的时候我们经常被困到一个事情的细节中，缺乏宏观的思考，当然这也是缺乏战略思维的表现，经常会限制个人的发展，永远以细节思考，永远不会在更宏观的视角看待事情，也永远不能上帝视角思考问题，也找不到正确的路径。接下来就来了解一下战略思维的四种思维方式。

Mon Jul 3

因果推断

因果推断(∞)--因果推断框架总结

之前写了那么多因果推断的博客，这篇博客做一个大的总结。以前写了好多散点的知识，这篇文章就要将这些散点的知识进行一次汇总。宏观上看因果框架分为两个部分，一个是结构因果框架，一个是潜因果框架。本文主要讲解潜因果框架的内容。之前介绍了很多散点的知识，这一节中会逐渐找到这些知识的归属地。结构因果框架结构因果框架主要包含因果图和结构方程的内容。之前介绍了很多相关的内容，这里就不会一一介绍了。结构因果框架中的

自然语言处理之预训练模型(二)

求胜(二)

求胜(一)

因果框架--结构因果框架(三)

自然语言处理之Transformer精讲(二)

定价补贴(一)--价格歧视

定价补贴(零)--新的开始

图神经网络(二)--图表示学习

深度强化学习(五)-- RDPG

深度强化学习(三)-- 平均值DQN

战略思维之四种思维方式

因果推断(∞)--因果推断框架总结

最新文章

分类

标签云

最新文章

标签

Your browser is out-of-date!