XR_Wang

对于图片来说，N是很大的，所以计算量会很大 下面这种方式是关注临近的 下面这个是关注的稍微远一点，中间跨几个： 下面的是设置几个special的token，让这几个token去收集global的information。 小孩子才做选择，上面三种一起上（多头注意力） 下面这种方法先把相近的query和key归到同一类里面： 上面这些方式都是人为设计的，下面是机器自己决定到底关注哪些重要部分，蓝色是1，灰色是0，通过另一个网络先得到一个N*N的矩阵，但是这个矩阵里面的值都是连续的，需要经过一系列操作之后才能变成binary的mask。 有的研究发现，attention的矩阵是low rank的，它的column有很多重复的，所以attention的matrix可以不那么大，如右图所示 下面的做法是减少key的数目，选出代表性的key 下面这个图是原始的注意力计算过程： 虽然两者的结果相同，但是先计算K和Q，再乘以V；与V先与K相乘，再乘以Q这两个不同的计算顺序是计算量不同的： 上面的操作是把softmax省略了，下面加上softmax： ...

视频讲解视频1(DDPM) https://www.bilibili.com/video/BV1ne411u7J6/?spm_id_from=333.337.search-card.all.click&vd_source=909d7728ce838d2b9656fb13a31483ca 视频2(DDPM)https://www.bilibili.com/video/BV1b541197HX/?spm_id_from=333.337.search-card.all.click&vd_source=909d7728ce838d2b9656fb13a31483ca 苏剑林DDPMhttps://spaces.ac.cn/archives/9119 https://spaces.ac.cn/archives/9152 DDIMhttps://www.bilibili.com/video/BV1JY4y1N7dn/?spm_id_from=333.788&vd_source=909d7728ce838d2b9656fb13a31483ca DDPM损失函 ...

本博客对VAE及其部分派生技术进行总结回顾：

本文针对GAN模型，用PPT进行了一下简单的归纳总结

Flow-based Generative Model视频讲解https://www.bilibili.com/video/BV1Wv411h7kN?p=67&vd_source=909d7728ce838d2b9656fb13a31483ca Jacobian Matrix Determinant change of variable theorem 所以经过上面的推导后得到： flow based generative model下面是正式关于flow based generative model的介绍： 整体推导 因为计算雅克比行列式很贵，所以往往想让矩阵是一个三角阵，这样就只用考虑对角线上的元素： 例如NICE： Pixel RNNhttps://www.youtube.com/watch?v=-FFveGrG46w&t=1003s

Unsupervised Learning - Deep Generative Model参考链接： https://www.bilibili.com/video/BV1Wv411h7kN?p=65&vd_source=909d7728ce838d2b9656fb13a31483ca https://www.bilibili.com/video/BV1Wv411h7kN?p=66&spm_id_from=pageDriver&vd_source=909d7728ce838d2b9656fb13a31483ca Theory behind VAE 提出VAE的直觉： 若使$\sum_{i=1}^3{\left( e^{\sigma _i}-\left( 1+\sigma _i \right) +\left( m_i \right) ^2 \right)}$最小化，则$\sigma _i$应该趋近于0，则方差$e^{\sigma _i}$趋近于1。$m_i$为均值，$m_i$趋近于0，故q(z|x)趋近于均值为0，方差为1的分布。由于对于任一个X，所有的 p( ...

参考链接：https://www.bilibili.com/video/BV1vS4y1q7uw/?spm_id_from=333.337.search-card.all.click&vd_source=909d7728ce838d2b9656fb13a31483ca 收集题录 管理题录移动分类 查重 关联 标签 笔记 RSS订阅 快捷键 在论文中插入引文添加引文 同一位置添加多篇引文 编辑引文 编辑引文目录 引文样式 移除域代码 数据同步zotero数据服务器同步 文件同步：WebDAV之坚果云 文件同步：软链接之坚果云 插件与常见问题茉莉花插件 PDFTranslate插件 文献类型“J/OL”修改为“J” 团队成员共享文献