超分扩散模型 SR3 可以做图像去雨、去雾等恢复任务吗？
创始人
2024-05-31 19:35:15
0次

文章目录

      • 前言
      • 代码及原文链接
      • 主要的点
      • 如何进行图像恢复

前言

关于扩散模型以及条件扩散模型的介绍，大家可以前往我的上一篇博客：扩散模型diffusion model用于图像恢复任务详细原理 (去雨，去雾等皆可)，附实现代码。

SR3是利用扩散模型进行图像超分辨率研究的，它在使用低分辨率图像作为条件来进行反向采样时先将低分辨率图像直接上采样到高分辨率图像。因此，它通过一些改进可以作为图像恢复这种输入与输出图像大小相等的任务。

代码及原文链接

在这里插入图片描述
原文：https://arxiv.org/abs/2104.07636
源代码：https://github.com/Janspiry/Image-Super-Resolution-via-Iterative-Refinement
我用它来做图像恢复的代码：图像去雨、去雾等恢复任务：代码简化的SR3扩散模型，有注释及实验流程

主要的点

SR3模型将DDPM中的残差块替换为BigGAN的残差块，并将跳跃连接重新缩放 12\frac{1}{\sqrt{2}}2​1​。
增加了剩余块的数量，以及不同分辨率下的通道乘法器。
还有一个拼接操作，就是将低分辨图像直接上采样后的图像与噪声图像进行拼接，从而实现条件噪声估计。

如何进行图像恢复

  1. 源代码中包括大量的小文件，不适合初学者调试和使用。
  2. 我根据其核心代码进行简化，将一些不必要的代码文件和代码块删除，并在Rain13K (就是MPRNet、Restormer等方法使用的去雨数据集) 上进行了实验，目前取得不错的表现。可以参考下边的对比。
    在这里插入图片描述在这里插入图片描述
  3. 其他的任务应该也是可以直接使用的，只需要修改一下配置文件中的数据集路径即可。
  4. 需要使用SR3扩散模型做图像去雨、去雾等恢复任务的可以前往：图像去雨、去雾等恢复任务：代码简化的SR3扩散模型，有注释及实验流程。
  5. 附上一组在Rain13K训练集上训练，在Rain100H上测试的结果。源代码中的迭代次数为1, 000, 000，我这里是只迭代了 180, 000次后进行测试的结果。
    在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：python 命令行参数模块argparse

下一篇：2019年最新适合年轻人的10个小本创业好项目推荐！ 2022年最适合年轻人的创业项目 2023适合年轻人的小本创业项目

相关内容

热门资讯

曾经的爱 曾经的爱我自己来回答我可能是真的喜欢她但是,每次不知道为什么看到她就一中伤心的感觉不知道谁能告诉我这...
小公鸡不见偷偷的跟在小鸭子后面... 小公鸡不见偷偷的跟在小鸭子后面也下了水偷偷地这个词加上这个词的好处是小公鸡不见偷偷的跟在小鸭子后面也...
开紫钻一年多少钱？ 开紫钻一年多少钱？我卖180 ,一年大概120 玩旋舞特适合用财富通开8.8折一共是211
关于韩剧 关于韩剧灰姑娘的姐姐吧，不错。还有一枝梅。狗与狼的时间，都好看。
谁小泰罗的电影？ 谁小泰罗的电影？小泰罗奥特曼的电影？ 你说的这个是奥特曼剧场版《奥特物语》网上搜一下就能找到
电纸书和mp4功能一样吗，买电... 电纸书和mp4功能一样吗，买电子书好还是mp4好啊？推荐一款吧？谢谢看你具体干什么了，如果喜欢看电子...
关于ff14的装备出售问题！ ... 关于ff14的装备出售问题！ 为什么好多装备无法在市场出售？紫装绿装不说，为什么普通白装也不能关于f...
为什么佛法的争论那么激烈？ 为什么佛法的争论那么激烈？因为他们没有一个统一的经典,来指导他们,告诉他们真理. 不然他们就不会拜那...
为什么有的调皮美女不喜欢调皮男... 为什么有的调皮美女不喜欢调皮男人，不稳重没有安全感。她喜欢成熟有男人味安全感男人？大部分女人都喜欢成...
哪些男明星男人味儿彰显，成熟的... 哪些男明星男人味儿彰显，成熟的魅力撩动心弦让你沦陷？朱一龙，张若昀，李钟硕，李承铉，靳东等，这些男明...
天书奇谈里皇城里的盘龙石柱在哪... 天书奇谈里皇城里的盘龙石柱在哪阿、？点左上角的【寻】会出来一个框，里面有蟠龙石柱，点击左键会自动寻找...
50年前，长沙镖子岭。老烟头把... 50年前，长沙镖子岭。老烟头把他的旱烟在地上敲了敲：“下不下去喃？”独眼的小伙子说：“不去，电视剧5...
如何评价演员袁姗姗，她是不是真... 如何评价演员袁姗姗，她是不是真的不适合娱乐圈？因人而异吧，我个人还是比较喜欢她的，虽然长得确实不漂亮...
各路大神？ 各路大神？既然可以发送、接受文件，可以确认电脑蓝牙驱动正常，可以连接手机蓝牙。接下来要确认手机有蓝牙...
三国演义诸葛亮的资料 三国演义诸葛亮的资料三国演义诸葛亮的资料去看史书就知道了诸葛亮子孔明，号卧龙，南阳人，著作出师表，隆...
如何隐藏一个硬盘分区，只能我自... 如何隐藏一个硬盘分区，只能我自己能进，别人都看不到。用patition magic 隐藏分区
韩剧名字其中两个字是爱情 韩剧名字其中两个字是爱情没关系，是爱情啊--赵寅成，孔孝真最佳爱情--车胜元，孔孝真爱情能用钱买吗-...
谁炒股一年能挣百万 谁炒股一年能挣百万规定时间 数量 你以为在算加减法 能有正解答案 股市是有时长时短 时多时少 这是没...
一个你不爱的人 一个你不爱的人面拒绝 呵呵，女的都出来了，这问题到是比较符合你们！其他的怎么女的回答的那么少？？
有人有曲的成语 有人有曲的成语曲尽人情【读音】qū jìn rén qíng【释义】委婉周到地把人之常情或世态充分体...