Mostra solo
0:00
S… Speaker 2 (大è¯_言模å_‹)
今天 来 挑 战 用 白 话 讲 明白 LL M 大 语 言 模
0:04
S… Speaker 2 (大è¯_言模å_‹)
型 的 工作 原 理 我觉得 很多 人 会 被 人 工 智 能 这 四 个 字
0:08
S… Speaker 2 (大è¯_言模å_‹)
误 导 误 认 为 大 语 言 模 型 是 有 意 识 的 确 实 你在
0:12
S… Speaker 2 (大è¯_言模å_‹)
跟 大 语 言 模 型 对 话 的时候 他 给 你的 回 答 你是 我 每 天 最 期 待 的 那
0:16
S… Speaker 2 (大è¯_言模å_‹)
道 阳 光 像 模 像 样 的 还 挺 像 个 人 的 会 让 你 有一
0:20
S… Speaker 2 (大è¯_言模å_‹)
种 错 觉 认 为 他 比 人 类 还 聪 明 但是 你 真的 认 为 他 在
0:24
S… Speaker 2 (大è¯_言模å_‹)
懂 你说 什么 吗 这 期 视 频 给 你 答 案
0:27
S… Speaker 2 (大è¯_言模å_‹)
LL M 是 L ar ge Language Model 首 字 母 的 缩 写 直 译 过 来 就是
0:31
S… Speaker 2 (大è¯_言模å_‹)
大 语 言 模 型 那 像 我们 熟 知 的 Ch ai GP 3 啊 Ch ai GP 4 啊 De ep Se ek
0:35
S… Speaker 2 (大è¯_言模å_‹)
这 些 都是 大 语 言 模 型 可以 用 三 个 关 键 词 来 概 括 大 语 言 模 型 的 工作 原
0:39
S… Speaker 2 (大è¯_言模å_‹)
理 数 据 架 构 训 练 白 话 解 释 就是 把 这 些 海 量 的 数 据
0:43
S… Speaker 2 (大è¯_言模å_‹)
输 入 到 神 经 网 络 里 面 去 训 练 它 就 练 成 了 大 语 言 模
0:47
S… Speaker 2 (大è¯_言模å_‹)
型 大 语 言 模 型 的 训 练 大 致 分 为 三 个 阶 段 我 会 分 阶 段 说 清楚 每 个 阶
0:51
S… Speaker 2 (大è¯_言模å_‹)
段 训 练 的 数 据 类 型 和 怎么 训 练 去 帮 助 了 解 它 背 后 的
0:55
S… Speaker 1 (大è¯_言模å_‹)
原 理
0:56
S… Speaker 2 (大è¯_言模å_‹)
没 准 听 完 你 自己 也 能 练 一个 这个 阶 段 的 数 据 非常 庞 大 来
1:00
S… Speaker 2 (大è¯_言模å_‹)
自 互 联 网 大 规 模 的 文 本 书 籍 新 闻 论 坛 帖 子 像
1:05
S… Speaker 2 (大è¯_言模å_‹)
G P T 3 它 这个 阶 段 拥 有
1:07
S… Speaker 2 (大è¯_言模å_‹)
17 50 亿 个 机 器 学 习 的 参 数 这个 参 数 有 多 大 呢 如果你 不 吃
1:11
S… Speaker 2 (大è¯_言模å_‹)
不 喝 24 小 时 的 阅 读 这 些 资 料 那就 算 你 每 天 读 36
1:15
S… Speaker 2 (大è¯_言模å_‹)
万 个 词 你要 读 62,
1:17
S… Speaker 2 (大è¯_言模å_‹)
37 9 年 把 这 些 大 量 的 数 据 输 入 到 这个 神 经
1:21
S… Speaker 2 (大è¯_言模å_‹)
网 络 里 面 去 训 练 它 这个 架 构 就是 一个 神 经 网 络 你可以 先 把它
1:25
S… Speaker 2 (大è¯_言模å_‹)
想 象 成 一个 复 杂 的 函 数 我们 一 会 儿 再 详 细 说 这么 大的 数 据 量 需要 大 量
1:29
S… Speaker 2 (大è¯_言模å_‹)
的 计 算 需要 大 量 的 G PU 集 群 这 也是 我们 熟 知 的 为什么 前 几 年 英 伟
1:33
S… Speaker 2 (大è¯_言模å_‹)
达 的 股 票 飙 升 那 它 是 怎么 训 练 的 呢
1:36
S… Speaker 2 (大è¯_言模å_‹)
每 次 训 练 的时候 就是 你 数 一 句 话 把 最 后 一个 词 藏 起 来 比如 说
1:40
S… Speaker 2 (大è¯_言模å_‹)
树 叶 的 颜 色 是 隐 藏 起 来 最 后 一个 词 然后 它 会 随 机 找
1:44
S… Speaker 2 (大è¯_言模å_‹)
一些 词 在 这 儿 再 给 出 一 系 列 的 预 测 算 出 哪 一个 词 的 概 率 更 高
1:48
S… Speaker 2 (大è¯_言模å_‹)
再 去 把 真 实 结 果 和 预 测 的 答 案 做 比 较 选 择 这个 答 案 最 准 确 的
1:52
S… Speaker 2 (大è¯_言模å_‹)
再 去 调 整 参 数 这个 就是 P ray Training 了 那 一 开始 它 肯 定 只是
1:56
S… Speaker 2 (大è¯_言模å_‹)
胡 言 乱 语 那 通 过 不 断 的 输 入 大 量 的 示 例 文 本 不 断 不 断 不 断 的 调 整 然后
2:00
S… Speaker 2 (大è¯_言模å_‹)
最 后 它 才 变 得 有 用 了 目 标 是 要 得 到 一个 基 础 模 型 base model
2:04
S… Speaker 2 (大è¯_言模å_‹)
那 这个 阶 段 它 已经 能 够 生 成 连 贯 的 文 本 了 但是 它 还 不 太 擅 长
2:08
S… Speaker 2 (大è¯_言模å_‹)
回 答 问题 就是 要 进 入 到 下 一个 阶 段 微 调 阶 段
2:12
S… Speaker 2 (大è¯_言模å_‹)
微 调 阶 段 的 目 的 就是 能 得 到 一个 按 人 类 期 望 值 去 回 答 问题
2:16
S… Speaker 2 (大è¯_言模å_‹)
的 一个 模 型 他们 管 这个 模 型 叫 ass istant model 助 手 模 型 这个 阶 段
2:20
S… Speaker 2 (大è¯_言模å_‹)
训 练 的 方 式 还是 一 样 的 但是 数 据 发 生 了 变 化 微 调 阶 段 是
2:24
S… Speaker 2 (大è¯_言模å_‹)
用 手 工 收 集 的 数 据 根 据 卡 巴 西 的 解 释 那 通 常 呢 这个 练 模 型 的
2:28
S… Speaker 2 (大è¯_言模å_‹)
公 司 会 雇 用 很多 人 让 他们 去 编 写 一 对 一 的 问题 数 据
2:32
S… Speaker 2 (大è¯_言模å_‹)
会 有 各 种 各 样 的 问题 然后 给 出 理 想 的 答 案 那 如果 预 训 练 阶
2:36
S… Speaker 2 (大è¯_言模å_‹)
段 的 数 据 集 我们 可以 说 是 多 然后 质 量 差 那 微 调 阶 段
2:40
S… Speaker 2 (大è¯_言模å_‹)
的 数 据 集 就是 不要 数 量 只 要 质 量 这个 时候 的 语 言 模 型 通 过
2:44
S… Speaker 2 (大è¯_言模å_‹)
这 两 步 的 训 练 已经 可以 预 测 出 下一 部分 的 内 容 回 答 人 类
2:48
S… Speaker 2 (大è¯_言模å_‹)
的 基本 问题 了 这 一 步 呢 它 叫 做 基 于 人 类 反 馈 的 强 化 学
2:52
S… Speaker 2 (大è¯_言模å_‹)
习 也 就是 说 它 生 成 的 答 案 会 有人 来 挑 选 这个 答 案 好 吗 这个
2:56
S… Speaker 2 (大è¯_言模å_‹)
答 案 好 吗 是 要 还是 不要 然后 选 择 最 好的 答 案 再 去 调 整
3:00
S… Speaker 1 (大è¯_言模å_‹)
参 数
3:01
S… Speaker 2 (大è¯_言模å_‹)
模 型 回 答 的 问题 更 加 符 合 人 类 的 预 期 那 它 是 可 选 项 并 不是
3:05
S… Speaker 2 (大è¯_言模å_‹)
所有 的 语 言 模 型 在 训 练 的时候 都 会 经 过 这 一 步 在 这个 阶 段 会 用 比 较 标 注 因为
3:10
S… Speaker 2 (大è¯_言模å_‹)
科 学 家 们 发 现 给 你 个 答 案 让 你 评 判 它 好不好 很 难 但是 如果 用 比 较
3:14
S… Speaker 2 (大è¯_言模å_‹)
的 方 法 就 很 容易 了 我们 平 时 在 用 OP I 的时候 你 会 发 现 有 的时候 它 会 生 成 两 个 答
3:18
S… Speaker 2 (大è¯_言模å_‹)
案 来 让 你 选 其实 我们 都 间 接 地 成 为 了 这个 模 型 公 司 的 牛 马 我们 再
3:22
S… Speaker 2 (大è¯_言模å_‹)
帮 他们 做 比 较 标 注 呢 我们 再 来 说 一下 架 构 刚 才 我们 说 架 构
3:26
S… Speaker 2 (大è¯_言模å_‹)
就是 神 经 网 络 2017 年 以前 大 部分 模 型 在 预 测 词 的时候 都是 一个
3:30
S… Speaker 1 (大è¯_言模å_‹)
词 一个 词 的 bo
3:31
S… Speaker 2 (大è¯_言模å_‹)
但是 2017 年 谷 歌 的 研 究 团 队 提 出 了 一 种 叫 做 Trans form er 的 模
3:35
S… Speaker 2 (大è¯_言模å_‹)
型 它 能 够 把 整 句 都 吸 收 进 来 同 时 处 理 谷 一 句 这 就是 你 常
3:39
S… Speaker 2 (大è¯_言模å_‹)
听 到 的 注意 力 机 制 Att ention is all you need 这 篇 画 时 代 的 论 文 我 每 次
3:43
S… Speaker 2 (大è¯_言模å_‹)
读 它 名 字 的时候 我 身 上 都 起 鸡 皮 疙 瘩 因为 它 奠 定 了 后 续 所有 大 模 型 的 基 础 那
3:47
S… Speaker 2 (大è¯_言模å_‹)
现在 大 元 模 型 的 架 构 通 常 都是 指 Trans form er 所以 看到 这 儿 你 还 认
3:51
S… Speaker 2 (大è¯_言模å_‹)
为 语 言 模 型 真的 能 看 懂 你在 说 什么 吗 它 只是 在 帮 你 预 测
3:55
S… Speaker 2 (大è¯_言模å_‹)
下 一个 词 的 可能 性 因为 我们 可以 非常 客 观 地 看到 大 元 模 型 并 没有
3:59
S… Speaker 1 (大è¯_言模å_‹)
人 类 的 意 识
4:00
S… Speaker 2 (大è¯_言模å_‹)
但是 它 也 确 实 压 缩 了 整 个 互 联 网 的 智 慧 那 所以 说 大 语 言 模 型
4:04
S… Speaker 2 (大è¯_言模å_‹)
它 是 智 能 的 吗 我觉得 在 搞 清楚 它 是不是 智 能 的 之前 我们 得
4:08
S… Speaker 2 (大è¯_言模å_‹)
先 去了 解 智 能 的 概 念 和 大 语 言 模 型 和 人 工 智 能 的 关
4:12
S… Speaker 2 (大è¯_言模å_‹)
系 人 工 智 能 的 概 念 很 大 大 语 言 模 型 只是 里 面 的 一个 分 支 大家 看 这
4:16
S… Speaker 2 (大è¯_言模å_‹)
张 图 这是 整 个 人 工 智 能 的 盘 子 里 面 包括 计 算 机 视 觉 自 动
4:20
S… Speaker 2 (大è¯_言模å_‹)
驾 驶 机 器 人 控 制 AL P 语 言 模 型 就 在 这
4:24
S… Speaker 2 (大è¯_言模å_‹)
主 要 负 责 处 理 文 字 那 些 事 我们 再 来 看看 智 能 的 概 念 那 智 能
4:28
S… Speaker 2 (大è¯_言模å_‹)
在 不同 的 领 域 里 面 定 位 也是 不 一 样 的 在 心 理 学 里 面 智 能 是 个 理 解
4:32
S… Speaker 2 (大è¯_言模å_‹)
世界 学 习 知 识 和 解 决 问题 适 应 新 环 境 的 能 力 在 人 工 智 能 领 域 呢
4:36
S… Speaker 2 (大è¯_言模å_‹)
智 能 是 通 过 感 知 决 策 行 动 然后 不 断 优 化 资 深 表 现 的 能
4:40
S… Speaker 2 (大è¯_言模å_‹)
力 著 名 的 图 灵 曾 经 说 过 如果 机 器 的 行 为 和 人 类 的 行 为 已经 让 你
4:44
S… Speaker 2 (大è¯_言模å_‹)
区 分 不 开 了 就是 你 不知道 这个 背 后 和 你说 话 的是 个 机 器 还是 个 人 那就
4:48
S… Speaker 2 (大è¯_言模å_‹)
说 明 它 是 有 智 能 的 我们 来 问 一下 宇 颜 柏 星 的 自己 看 他 自己
4:52
S… Speaker 1 (大è¯_言模å_‹)
觉 不 觉得 自己
4:53
S… Speaker 2 (大è¯_言模å_‹)
是 智 能 的 他 说 语 言 模 型 表 现 出 了 一些 智 能 的 特 征 但
4:57
S… Speaker 2 (大è¯_言模å_‹)
本 身 并 不是 真 正 的 智 能
5:20
S… Speaker 2 (大è¯_言模å_‹)
这个 内 核 用 来 负 责 协 调 各 种 资 源 比如 说 计 算 内 存 啊 调 用
5:24
S… Speaker 2 (大è¯_言模å_‹)
各 种 工 具 啊 来 解 决 问题 其实 现在 我们 已经 看到 了 各 种 各 样 的 工 具 都 在 陆
5:28
S… Speaker 2 (大è¯_言模å_‹)
陆 续 续 的 接 上 大 语 言 模 型 这 也是 为什么 m c p 产 生 的 原因 就是
5:32
S… Speaker 2 (大è¯_言模å_‹)
为 了 让 这个 大 语 言 模 型 能 够 更 加 强 大 它 能 调 配 各 种 各 样 的 工 具
5:36
S… Speaker 2 (大è¯_言模å_‹)
去 流 来 网 页 去 计 算 你 计 算 机 里 的 内 存 去 调 用 你 这 些 应 用 大
5:40
S… Speaker 2 (大è¯_言模å_‹)
语 言 模 型 是 一 向 非常 非常 非常 非常 非常 非常 了 不起 的 技 术 突 破 希望
5:45
S… Speaker 2 (大è¯_言模å_‹)
这 期 视 频 能 够 帮 助 你 更 好的 理 解 大 语 言 模 型 背 后 的 工作 原 理 更 多
5:49
S… Speaker 1 (大è¯_言模å_‹)
科 技
5:49
S… Speaker 2 (大è¯_言模å_‹)
人 工 智 能 的 内 容 别 忘 了 关 注 我 哦 我的 名 字 叫 做 Super Win
5:53
S… Speaker 2 (大è¯_言模å_‹)
ning 这个 资 料 是 这个 视 频 的 re ference

Questa trascrizione è stata generata dall'AI (riconoscimento vocale automatico). Può contenere errori di verifica dell'audio originale per uso critico. Politica dell'IA

❤️ Ti piace STT.ai? Diccelo ai tuoi amici!
Sommario
Fare clic su Summarize per generare un riepilogo AI di questa trascrizione.
Riepilogando...
Chiedi all'AI Informazioni su questo trascrizione
Chiedere qualsiasi cosa su questa trascrizione L'AI troverà sezioni pertinenti e la risposta.