ChatGPT概述:从模型训练到基本应用的介绍
创始人
2024-05-29 03:10:49
0

ChatGPT概述:从模型训练到基本应用的介绍


目录

本文是对ChatGPT的由来、训练过程以及实际落地场景的解释,主要内容包括如下三个方面:

1、ChatGPT是什么
2、ChatGPT的原理
3、ChatGPT的思考
4、ChatGPT的应用

在这里插入图片描述

ChatGPT是什么

ChatGPT可能是近期深度学习领域,讨论非常频繁的一个概念。但ChatGPT到底是一个什么,怎么给出一个定义呢。可以看下ChatGPT对自己的定义,如下图:

img1

从定义以及我们使用过程中的感受,可以得到如下的结论:

  • ChatGPT是一个语言模型
    • 了解人类偏好的语言模型
    • 是一个大规模预训练的模型
    • 表现形式是具备高智能的对话能力

对此,新华社也给出了“新一代操作系统平台的雏形的”评价,可见ChatGPT的横空出世确实带来了一些改变。

模型具有对话能力不是很新奇的事,之前腾讯的混元、百度的ERNIE等大模型都具备对话能力,让ChatGPT出圈并持续火爆的是ChatGPT在如下的测试中也取得了让人惊讶的成绩:

img2

上述的测试不是简单的对话能够解决的,但ChatGPT同样表现得非常出彩,那为什么ChatGPT能够这么优秀?

ChatGPT的原理

过往大模型的发展方向,不外乎:更多的数据、更大的模型结构、更精细的处理方式以及更统一的输入输出等等。但这样训练的大模型,更像是一个图书馆,或者搜索引擎,只具备知识的储存能力和简单的检索能力。

我们以“女朋友生气了怎么办”这个问题为例,过往大模型从网络数据中经过预训练,得到许许多多的答案:你也生气;讲道理;沉默是金;快速认错……但具体哪个答案更符合人类的偏好和认知,模型是不知道的,模型只能根据网络上答案给出反馈。

但可能上述的答案上下文是故意作答、心理测试题、乱写等等情况下的答案,但这些过往的大模型是不知道的。

所以历史的大模型,在训练和使用阶段是没有人工参与的,没有学习到人类的认知和偏好:仅仅是历史数据(网络数据)是存储和检索。

img3

ChatGPT出世前,OpenAI已经进行了一系列的探索,包括生成代码的codex系列和text-davinci系列。这一系列模型的探索过程,构成了指示学习,和RLHF学习方式叠加后,ChatGPT模型才终于横空出世。

监督学习+人工反馈+强化学习 -> ChatGPT

img4

从OpenAI的官方博客,可以看出InstrctGPT和ChatGPT的训练过程如下,存在的差异非常细微:

  • 训练数据上的差异
  • base模型的差异

img5

整体的训练思路,InstrctGPT和ChatGPT是相同的,均包括三个步骤:

  1. 微调模型:监督学习下的微调,通过收集问题后,进行人工答案的书写,来微调GPT基模型,得到SFT模型
  2. 模型模型:在微调的基础上,通过模型对同一个问题产出不同答案,人工标注答案之间的优劣排序,得到RM模型
  3. RLHF:在SFT模型和RM模型的辅助下,通过强化学习的PPO策略,最终得到终极模型ChatGPT/InstrctGPT

微调

在这里插入图片描述

训练过程的第一步:微调。问题来源于早起的Platground的API,人工对问题进行答案的生成。和其他大模型的微调过程是一样的。

这一步的目的是得到后续优化的基模型,以及在强化学习过程中,提供损失函数的约束。

img6

反馈模型

在这里插入图片描述

训练过程第二步:RM模型。在已经微调的SFT模型上,通过同一个问题的不同输出,进行人工优劣得分的标注,生成对应的序列。

例如对于问题P,得到的答案为A、B、C和D,人工对答案进行排序为:D>C>B=A,通过模型学习人工排序的结果。也就是让模型模仿人类排序的过程:对SFT模型的输出能够给出优劣的判断。

GPT是字粒度的输出,输出过程的每一步都是在概率分布上的采样,因此,同一个问题多次输入后,会得到不同的输出

img7

RLHF

在这里插入图片描述

训练过程第三部:PPO策略的强化学习。在已有的SFT模型和RM模型上,结合PPO策略的强化学习,获得最终的ChatGPT/InstrctGPT。该步的大概流程如下:

  1. 输入问题后,目标模型(以SFT模型初始化获取)得到答案
  2. 将问题和答案输入RM模型中,得到该答案的得分
  3. 将该答案通过PPO策略,反馈给目标模型
  4. 进行模型的更新

通过损失函数可以看出,在实际的训练过程中,RM模型和最终的目标模型,均存在参数的更新

img8

上面的三个步骤,就是InstrctGPT/ChatGPT的大概训练流程。总结起来就是下图:

img9

ChatGPT的思考

在这里插入图片描述

将人类的偏好和认知引入模型训练,并不是ChatGPT或者OpenAI的首创,在2020年一篇做摘要的论文就提出了该思想。只能说是OpenAI的“钞能力”将该方法发扬光大了。

针对ChatGPT,目前其在聊天、翻译、脚本、代码、文案……等诸多领域已经崭露头角了,在ChatGPT表现其“无所不能”的同时,我们也可以考虑下其目前存在的问题有哪些呢。

img10

目前来说,

  • ChatGPT的准确性已经非常高,但对于特定问题可能在一本正经的胡说八道,当然目前其不具备联网更新能力,训练语料为2021年之前的,最新的知识可能更新是一方面的问题;
  • 关于逻辑性和数据的偏见,是目前大模型普遍存在的问题,期待后续模型能够在这方面带来惊艳的表现
  • 资源是限制ChatGPT普适性推广的核心关键,其训练数据规模、推理依赖的资源,都是海量的,在这些成本没有降低前,大模型应该还仅仅是固定厂商的利器。
    在这里插入图片描述

ChatGPT的应用

随着ChatGPT的爆火,也带来了一些实际的落地应用,例如下面的几个应用,都是非常有意思的:

  • 对话式PDF阅读助手:通过上传文档,然后对话沟通的方式,获取论文、文献的内容要点
  • AI PPT生成:ChatGPT和AIGC结合产生的质变
  • 写作:写故事、写文案、写小说、写PPT,只要是文字范围的,一切皆有可能
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

总的来说,期待ChatGPT后续的表现。

上一篇:C++—输入输出流

下一篇:【Java】JVM

相关内容

热门资讯

生日party玩什么游戏 生日party玩什么游戏我马上就要过生日了,准备在家过,人很少,5、6个左右,大多是女孩,都在上小学...
朗姿股份(002612.SZ)... 朗姿股份(002612.SZ)发布2024年年度报告,该公司营业收入为56.91亿元,同比减少0.2...
股价大涨近13%,零跑汽车一天... 每经编辑 张锦河     4月2日,港股汽车股多数上涨。吉利汽车涨超4%,理想汽车...
狮子男是不是超级小气? 狮子男是不是超级小气?狮子男是否非常超级小气爱面子!应该是很大方的不是,应该是大方的,如果他跟你称兄...
新华联:朱长军、石岩辞去公司董... 新华联(维权)4月2日晚间发布公告称,近日,公司董事会分别收到公司董事朱长军先生、石岩先生提交的书面...
哈密市回王府景区萌宠踏春季受热... 3月31日,阳光明媚,哈密市回王府景区内人头攒动,一场持续至4月6日的初春迎春嘉年华活动——萌宠嘉年...
春立医疗(01858)3月末累... 春立医疗(01858)发布公告,截至2025年3月31日,公司通过上海证券交易所交易系统以集中竞价交...
“东数”如何实现“西算”?上海... 转自:上观新闻上架产品2701个、交易总量5091笔、累计交易额超过85亿元……贵阳大数据交易所的交...
江苏省送变电公司:今年省内首个... 转自:扬子晚报4月1日,江苏盐城滨海港(月亮湾)电厂扩建机组500千伏送出工程正式投运,成为江苏省2...
武汉体育中考引入AI智能判定系... 转自:财联社【武汉体育中考引入AI智能判定系统】财联社4月2日电,据湖北日报报道,4月1日至18日,...
比亚迪:破除公众狭隘认知,全面... 投资者提问:关于智驾宣传的建议:在友商长期的营销宣传下,目前公众狭隘地把智驾等同于信号、道路、行人、...
悦读北外滩 转自:上观新闻悦读+志愿者服务队招募中,点击报名突然想吃油焖笋,是在休息天下午。春雨绵绵,却无法阻挡...
金融监管总局:截至2月末全国普... 国务院新闻办公室今日举行新闻发布会,介绍健全社会信用体系有关情况。金融监管总局普惠金融司司长蒋平在会...
“李鬼”现形记:云南中药Vs云... 转自:扬子晚报“云南白药”牙膏作为牙膏界的“金字招牌”,凭借独特的包装和卓越的品质,早已成为家喻户晓...
山东移动滨州分公司走进老年大学... 滨州日报/滨州网讯 科技飞速发展的时代浪潮下,老年群体却常常面临着数字技术带来的困扰。为切实解决老年...
对卡罗拉的评价 对卡罗拉的评价近期有买车意向,觉得卡罗拉不错,希望大家给个意见。我就是家庭用车。我家去年9月买的卡罗...
急救知识进校园 筑牢安全防护线 校园是孩子们学习和成长的摇篮,安全则是这一切的基石。近日,麦盖提县人民医院联合县教育局积极开展“急救...
博世科联合中标1.17亿元废水... 4月2日,博世科(维权)(300422)发布公告,近日公司与湖南博世科组成联合体成功中标“湛江中纸纸...
神火股份:薪酬管理优化,建立企... 投资者提问:公司2024年煤炭业务的人工成本大幅增长,请详细说明一下原因董秘回答(神火股份SZ000...
海南临高警方通报车主碾压他人致... 转自:九派新闻 【#海南临高警方通报车主碾压他人致死#】...