多模太大模型清单收集
创始人
2024-05-14 20:33:56
  1. AI大一统:阿里达摩院发布多任务、多模态统一模型OFA

功能:包括3类跨模态、单模态和zero-shot。具有文本到图像生成、图像描述生成(标题生成)、视觉问答、图像查找、图像分类等

源码地址:https://github.com/OFA-Sys/OFA

论文地址:https://arxiv.org/pdf/2202.03052.pdf

开源时间:22.03

阿里大模型网址:https://modelscope.cn/home

文本到图片生成演示:https://decoder.modelscope.cn/pcIndex

  1. dall-e2 文本到图片生成

说明:商品化

厂家: OpenAI

  1. 谷歌的 Imagen 和 Midjourney产品

说明:商品化,使用的diffuser 模型

  1. Stable diffusion 模型:Hugging Face发布diffuser模型AI绘画库

功能:文本生成图像

开源地址:

Hugging Face 网址:https://huggingface.co/yulet1de/stablediffusion2

开源时间:22.08

说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型

5.oneflow 中文版和中英文版“太乙Stable diffusion” 模型

功能:文本生成图像

开源地址:https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker

Hugging Face 网址-纯中文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

Hugging Face 网址-中英文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1

开源时间:22.11

说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型

5.英伟达Magic3d

功能:文本生成3d

是否开源:未发布代码

开源地址:

论文地址:https://arxiv.org/pdf/2211.10440.pdf

资料网址:https://deepimagination.cc/Magic3D/

开源时间:

发布时间:22.11

说明:3d 模型生成3d一般需要时间较长,资源较多

6.谷歌文本提示生成3D模型的DreamFusion

功能:文本生成3d

是否开源:

开源地址:

论文地址:

模型资料网址:https://dreamfusion3d.github.io/

开源时间:

发布时间:22.11

说明:声称不需要 3D 训练数据,也不需要修改图像扩散模型,证明了预训练图像扩散模型作为先验模型的有效性。

7.文本提示生成图片 disco-diffusion *****

功能:文本提示生成图

是否开源:是

开源地址:https://github.com/alembics/disco-diffusion

论文地址:

模型资料网址:https://dreamfusion3d.github.io/

开源时间:21.10

发布时间:21.10

说明:在github 找到的disco-diffusion,网上说google 要翻墙的免费的文本生成模型,这个不清楚是与google 的disco-diffusion 有没有关系,更新也比较快。

7.百度文本提示生成图片 文心一格 ERNIE-ViLG 2.0 模型 *****

功能:文本提示生成图

是否开源:是

开源地址:https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image/ernie_vilg

模型参数量:120亿

Hugging Face 网址: https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

模型参数说明:https://www.datalearner.com/ai-resources/pretrained-models/ernie-vilg2

论文地址:https://arxiv.org/abs/2210.15257

开源时间:22.10

发布时间:22.10

说明:具有文本生成图像和图像生成文本两种功能。效果远超 OpenAI 发布的 DALL-E 等模型。它是百度的方式,不是github 方式上面有模型的地址,目前不大明白???,使用需要请前往 文心旸谷社区 申请使用本模型所需的 API key 和 Secret Key,网址https://wenxin.baidu.com/user/key 这里申请。

相关内容

热门资讯

中衡设计(603017.SH)... 格隆汇4月22日丨中衡设计(603017.SH)发布2025年年报显示,公司全年实现营业收入11.7...
海港人寿总经理变更:齐美祝任临...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   每经记者|涂颖浩...
出息了!德国市长试乘贵州造无人...   2026年4月21日,德国东部城市开姆尼茨。市政厅门前,一辆圆润的胶囊状小巴缓缓驶出。车内坐着三...
谷歌推出AI训练与推理专用芯片...   核心要点谷歌将推出一款专门运行人工智能模型的芯片,同时推出另一款独立处理器用于模型训练。亚马逊也...
龙腾光电修订公司章程及多项治理... 4月23日,龙腾光电(证券代码:688055)发布公告称,公司于2026年4月22日召开第三届董事会...