降噪自动编码器:DAEs
什么是自动降噪编码器?
就是我们使用无监督的方式:完成自动降低数据中的无关紧要信息的方法:
理解一下这个东西
- 1.这里的dropout到底是做什么的?
我们想这样的一个问题,如果我们不使用dropout,那么训练出来的东西,很有可能只是将原来的内容直接拷贝一份,显然和我们的初衷不一样,所以我们需要丢到一部分,让模型学会从其他剩下的信息当中恢复这个。而不是直接得到这个。 - 2.这里其实我们不难证明这个东西的结果(a1,a2。。。an)当中的aj是一定不来自aj(或者描述为很少来自aj)的,
因为如果输出当中的aj很大程度来自原来的ak的时候,这时候aj在dropout随机丢弃这个和随机不丢弃这个的时候,输出结果将会有很大差异。所以说这个dropout还是十分有用的。 - 3.我们注意这里其实不难发现这里的的其实就是从a到a的一个过程,最后的损失函数就是判断两个像不像。
降噪自动编码器:DAEs
什么是自动降噪编码器?
就是我们使用无监督的方式:完成自动降低数据中的无关紧要信息的方法:
理解一下这个东西
- 1.这里的dropout到底是做什么的?
我们想这样的一个问题,如果我们不使用dropout,那么训练出来的东西,很有可能只是将原来的内容直接拷贝一份,显然和我们的初衷不一样,所以我们需要丢到一部分,让模型学会从其他剩下的信息当中恢复这个。而不是直接得到这个。 - 2.这里其实我们不难证明这个东西的结果(a1,a2。。。an)当中的aj是一定不来自aj(或者描述为很少来自aj)的,
因为如果输出当中的aj很大程度来自原来的ak的时候,这时候aj在dropout随机丢弃这个和随机不丢弃这个的时候,输出结果将会有很大差异。所以说这个dropout还是十分有用的。 - 3.我们注意这里其实不难发现这里的的其实就是从a到a的一个过程,最后的损失函数就是判断两个像不像。