多模太大模型清单收集
创始人
2024-05-14 20:33:56
  1. AI大一统:阿里达摩院发布多任务、多模态统一模型OFA

功能:包括3类跨模态、单模态和zero-shot。具有文本到图像生成、图像描述生成(标题生成)、视觉问答、图像查找、图像分类等

源码地址:https://github.com/OFA-Sys/OFA

论文地址:https://arxiv.org/pdf/2202.03052.pdf

开源时间:22.03

阿里大模型网址:https://modelscope.cn/home

文本到图片生成演示:https://decoder.modelscope.cn/pcIndex

  1. dall-e2 文本到图片生成

说明:商品化

厂家: OpenAI

  1. 谷歌的 Imagen 和 Midjourney产品

说明:商品化,使用的diffuser 模型

  1. Stable diffusion 模型:Hugging Face发布diffuser模型AI绘画库

功能:文本生成图像

开源地址:

Hugging Face 网址:https://huggingface.co/yulet1de/stablediffusion2

开源时间:22.08

说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型

5.oneflow 中文版和中英文版“太乙Stable diffusion” 模型

功能:文本生成图像

开源地址:https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker

Hugging Face 网址-纯中文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

Hugging Face 网址-中英文:https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1

开源时间:22.11

说明:上面是普通的模型,里面还有很多其他类型 diffusion 模型

5.英伟达Magic3d

功能:文本生成3d

是否开源:未发布代码

开源地址:

论文地址:https://arxiv.org/pdf/2211.10440.pdf

资料网址:https://deepimagination.cc/Magic3D/

开源时间:

发布时间:22.11

说明:3d 模型生成3d一般需要时间较长,资源较多

6.谷歌文本提示生成3D模型的DreamFusion

功能:文本生成3d

是否开源:

开源地址:

论文地址:

模型资料网址:https://dreamfusion3d.github.io/

开源时间:

发布时间:22.11

说明:声称不需要 3D 训练数据,也不需要修改图像扩散模型,证明了预训练图像扩散模型作为先验模型的有效性。

7.文本提示生成图片 disco-diffusion *****

功能:文本提示生成图

是否开源:是

开源地址:https://github.com/alembics/disco-diffusion

论文地址:

模型资料网址:https://dreamfusion3d.github.io/

开源时间:21.10

发布时间:21.10

说明:在github 找到的disco-diffusion,网上说google 要翻墙的免费的文本生成模型,这个不清楚是与google 的disco-diffusion 有没有关系,更新也比较快。

7.百度文本提示生成图片 文心一格 ERNIE-ViLG 2.0 模型 *****

功能:文本提示生成图

是否开源:是

开源地址:https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image/ernie_vilg

模型参数量:120亿

Hugging Face 网址: https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

模型参数说明:https://www.datalearner.com/ai-resources/pretrained-models/ernie-vilg2

论文地址:https://arxiv.org/abs/2210.15257

开源时间:22.10

发布时间:22.10

说明:具有文本生成图像和图像生成文本两种功能。效果远超 OpenAI 发布的 DALL-E 等模型。它是百度的方式,不是github 方式上面有模型的地址,目前不大明白???,使用需要请前往 文心旸谷社区 申请使用本模型所需的 API key 和 Secret Key,网址https://wenxin.baidu.com/user/key 这里申请。

相关内容

热门资讯

鼓励放宽儿童免票身高年龄限制 转自:成都日报锦观鼓励放宽儿童免票身高年龄限制两部门联合印发意见 推进儿童友好建设 17日,国...
北京28项举措打造伙伴式营商环... (来源:千龙网)昨天(17日),深化“北京服务”赋能企业高质量发展新闻发布会举行。记者从会上获悉,本...
警惕盲盒消费的概率陷阱   柳婉婷  中国消费者协会近日发布消费提示,直指盲盒消费领域的重重陷阱。数据显示,2025年“全国...
北京四环主路健康工程17日晚全... (来源:千龙网)记者昨(17)日从市交通委获悉,3月17日晚,北京市四环主路(健翔桥东-四元桥南、十...
感受国医魅力 (来源:中国妇女报)转自:中国妇女报  3月17日,在山东省青岛市市北区桦川路幼儿园开展的“神奇中草...