ChatGPT概述:从模型训练到基本应用的介绍
创始人
2024-05-29 03:10:49
0

ChatGPT概述:从模型训练到基本应用的介绍


目录

本文是对ChatGPT的由来、训练过程以及实际落地场景的解释,主要内容包括如下三个方面:

1、ChatGPT是什么
2、ChatGPT的原理
3、ChatGPT的思考
4、ChatGPT的应用

在这里插入图片描述

ChatGPT是什么

ChatGPT可能是近期深度学习领域,讨论非常频繁的一个概念。但ChatGPT到底是一个什么,怎么给出一个定义呢。可以看下ChatGPT对自己的定义,如下图:

img1

从定义以及我们使用过程中的感受,可以得到如下的结论:

  • ChatGPT是一个语言模型
    • 了解人类偏好的语言模型
    • 是一个大规模预训练的模型
    • 表现形式是具备高智能的对话能力

对此,新华社也给出了“新一代操作系统平台的雏形的”评价,可见ChatGPT的横空出世确实带来了一些改变。

模型具有对话能力不是很新奇的事,之前腾讯的混元、百度的ERNIE等大模型都具备对话能力,让ChatGPT出圈并持续火爆的是ChatGPT在如下的测试中也取得了让人惊讶的成绩:

img2

上述的测试不是简单的对话能够解决的,但ChatGPT同样表现得非常出彩,那为什么ChatGPT能够这么优秀?

ChatGPT的原理

过往大模型的发展方向,不外乎:更多的数据、更大的模型结构、更精细的处理方式以及更统一的输入输出等等。但这样训练的大模型,更像是一个图书馆,或者搜索引擎,只具备知识的储存能力和简单的检索能力。

我们以“女朋友生气了怎么办”这个问题为例,过往大模型从网络数据中经过预训练,得到许许多多的答案:你也生气;讲道理;沉默是金;快速认错……但具体哪个答案更符合人类的偏好和认知,模型是不知道的,模型只能根据网络上答案给出反馈。

但可能上述的答案上下文是故意作答、心理测试题、乱写等等情况下的答案,但这些过往的大模型是不知道的。

所以历史的大模型,在训练和使用阶段是没有人工参与的,没有学习到人类的认知和偏好:仅仅是历史数据(网络数据)是存储和检索。

img3

ChatGPT出世前,OpenAI已经进行了一系列的探索,包括生成代码的codex系列和text-davinci系列。这一系列模型的探索过程,构成了指示学习,和RLHF学习方式叠加后,ChatGPT模型才终于横空出世。

监督学习+人工反馈+强化学习 -> ChatGPT

img4

从OpenAI的官方博客,可以看出InstrctGPT和ChatGPT的训练过程如下,存在的差异非常细微:

  • 训练数据上的差异
  • base模型的差异

img5

整体的训练思路,InstrctGPT和ChatGPT是相同的,均包括三个步骤:

  1. 微调模型:监督学习下的微调,通过收集问题后,进行人工答案的书写,来微调GPT基模型,得到SFT模型
  2. 模型模型:在微调的基础上,通过模型对同一个问题产出不同答案,人工标注答案之间的优劣排序,得到RM模型
  3. RLHF:在SFT模型和RM模型的辅助下,通过强化学习的PPO策略,最终得到终极模型ChatGPT/InstrctGPT

微调

在这里插入图片描述

训练过程的第一步:微调。问题来源于早起的Platground的API,人工对问题进行答案的生成。和其他大模型的微调过程是一样的。

这一步的目的是得到后续优化的基模型,以及在强化学习过程中,提供损失函数的约束。

img6

反馈模型

在这里插入图片描述

训练过程第二步:RM模型。在已经微调的SFT模型上,通过同一个问题的不同输出,进行人工优劣得分的标注,生成对应的序列。

例如对于问题P,得到的答案为A、B、C和D,人工对答案进行排序为:D>C>B=A,通过模型学习人工排序的结果。也就是让模型模仿人类排序的过程:对SFT模型的输出能够给出优劣的判断。

GPT是字粒度的输出,输出过程的每一步都是在概率分布上的采样,因此,同一个问题多次输入后,会得到不同的输出

img7

RLHF

在这里插入图片描述

训练过程第三部:PPO策略的强化学习。在已有的SFT模型和RM模型上,结合PPO策略的强化学习,获得最终的ChatGPT/InstrctGPT。该步的大概流程如下:

  1. 输入问题后,目标模型(以SFT模型初始化获取)得到答案
  2. 将问题和答案输入RM模型中,得到该答案的得分
  3. 将该答案通过PPO策略,反馈给目标模型
  4. 进行模型的更新

通过损失函数可以看出,在实际的训练过程中,RM模型和最终的目标模型,均存在参数的更新

img8

上面的三个步骤,就是InstrctGPT/ChatGPT的大概训练流程。总结起来就是下图:

img9

ChatGPT的思考

在这里插入图片描述

将人类的偏好和认知引入模型训练,并不是ChatGPT或者OpenAI的首创,在2020年一篇做摘要的论文就提出了该思想。只能说是OpenAI的“钞能力”将该方法发扬光大了。

针对ChatGPT,目前其在聊天、翻译、脚本、代码、文案……等诸多领域已经崭露头角了,在ChatGPT表现其“无所不能”的同时,我们也可以考虑下其目前存在的问题有哪些呢。

img10

目前来说,

  • ChatGPT的准确性已经非常高,但对于特定问题可能在一本正经的胡说八道,当然目前其不具备联网更新能力,训练语料为2021年之前的,最新的知识可能更新是一方面的问题;
  • 关于逻辑性和数据的偏见,是目前大模型普遍存在的问题,期待后续模型能够在这方面带来惊艳的表现
  • 资源是限制ChatGPT普适性推广的核心关键,其训练数据规模、推理依赖的资源,都是海量的,在这些成本没有降低前,大模型应该还仅仅是固定厂商的利器。
    在这里插入图片描述

ChatGPT的应用

随着ChatGPT的爆火,也带来了一些实际的落地应用,例如下面的几个应用,都是非常有意思的:

  • 对话式PDF阅读助手:通过上传文档,然后对话沟通的方式,获取论文、文献的内容要点
  • AI PPT生成:ChatGPT和AIGC结合产生的质变
  • 写作:写故事、写文案、写小说、写PPT,只要是文字范围的,一切皆有可能
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

总的来说,期待ChatGPT后续的表现。

上一篇:C++—输入输出流

下一篇:【Java】JVM

相关内容

热门资讯

美参议院通过法案 拟终止特朗普... 格隆汇4月3日|美国参议院以51票对48票通过了一项法案,该法案将终止美国总统特朗普对加拿大进口商品...
日股日经指数跌破35000点 ... 日经225指数跌破35000点,为2024年8月9日以来首次,日内跌3.43%。日本东证指数下跌3%...
中国金融发展与银柘科技签订战略... .ct_hqimg {margin: 10px 0;} .hqimg_wrapper {text-a...
外滩社区长者食堂春日焕新,菜品... 转自:上观新闻在这个生机勃勃的春日,外滩社区长者食堂迎来了令人欣喜的菜品升级,为社区居民们带来了全新...
新车密集上市,终端继续降价!3... 本报(chinatimes.net.cn)记者刘凯 北京报道4月初,国内新能源汽车品牌陆续公布了3月...
哈尔滨至新疆旅游专列 计划5月...   本报讯(记者 刘希阳)旅游专列又要出发了。继3月份哈尔滨至港澳旅游专列开通后,计划5月21日由哈...
中国将多措并举减轻企业负担 来源:人民日报海外版 新华社北京4月2日电(记者周圆、张辛欣)记者从2日召开的国务院减轻企业负担部际...
美财政部长称乌克兰代表团最早或... 据央视新闻消息,当地时间4月2日,美国财政部长贝森特在采访中表示,乌克兰团队可能最早在本周抵达美国。...
冰火淬炼30年 窗花“烧入”冰...     “以前是柴窑,就是通过柴火烧窑,燃料的成本特别高,而且温度不好把控,投入特别大。”王昌利说,...
像“搭积木”一样盖房子!河北省... 转自:河北新闻网像“搭积木”一样盖房子我省装配式农房建设试点基本实现县级全覆盖石家庄市藁城区南墩村的...
夯实基础 拓宽经营服务领域   村民在王家河供销社购买农资  无限春光里,王益大地上春耕春播火热进行,该区供销系统在农资供应、农...
100个AI岗位面试题目,分享... 去年开了一期 AI 产品经理课程,发现大家是为了找工作来“补课”的,所以增加了一些针对求职转岗的内容...
“清明”假期交通安全出行提示请... 转自:上观新闻市公安局交通管理总队介绍,结合近期道路交通事故情况,经研判分析,今年“清明”假期部分郊...
投资日历:周四资本市场大事提醒 转自:财联社【投资日历:周四资本市场大事提醒】 ①今日暂无新股申购。 ②商务部定于4月3日举行新闻发...
库克减持苹果套现1.75亿 据报道苹果公司首席执行官蒂姆・库克近日通过出售公司股票,获利超 2400 万美元(现汇率约合 1.7...
国际协同,驶向汽车安全创新未来 来源:人民日报海外版 本报重庆电(记者陈静文)近日,2025中国汽研汽车指数国际交流会暨Euro N...
AI复活逝者,风口上的情感牢笼 本文来自微信公众号:三联电子厂Pro,作者:哈尼,题图来自:AI生成在人工智能技术蓬勃发展的现在,清...
谷歌调整Gemini领导层:实... 据Semafor报道,负责谷歌 AI 聊天机器人发布的谷歌高管 Sissie Hsaio 将辞去 G...
发挥政协履职优势 助推哈市“冰...   本报讯(记者 李玥)4月2日,市政协党组理论学习中心组召开集体学习会议,进一步深入学习贯彻习近平...
给学生放春假,也要让家长休“陪... 转自:北京青年报汪昌莲连续三天的清明节假期即将开启,多地发文放春假,一些大中小学学生在清明假期或稍晚...