什么是表示学习呢？说白了就是特征，机器学习算法的性能严重依赖特征。如果存在一种可以从数据中的到和判别特征的方法们就会减少机器学习对特征工程的依赖，这就是表示学习。离散表示这里虽然咱们单独拿出来讨论，但是其实特征的离散表示十分简单，就是独热编码，但是独热编码的缺点也是十分明显的。在向量空间中，所有的对

熵熵的计算公式为:$$H(x)=-\sump(x)log^{p(x)}$$这个公司我们并不陌生，在决策树切割的时候会记住熵增益，逻辑回归的损失函数交叉熵函数等，那我们今天就来认识不用的熵有何种物理意义。若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小条件熵假设随机变量(X,Y