מציג בלבד
0:00
S… Speaker 2 (大è¯_言模å_‹)
今天 来 挑 战 用 白 话 讲 明白 LL M 大 语 言 模
0:04
S… Speaker 2 (大è¯_言模å_‹)
型 的 工作 原 理 我觉得 很多 人 会 被 人 工 智 能 这 四 个 字
0:08
S… Speaker 2 (大è¯_言模å_‹)
误 导 误 认 为 大 语 言 模 型 是 有 意 识 的 确 实 你在
0:12
S… Speaker 2 (大è¯_言模å_‹)
跟 大 语 言 模 型 对 话 的时候 他 给 你的 回 答 你是 我 每 天 最 期 待 的 那
0:16
S… Speaker 2 (大è¯_言模å_‹)
道 阳 光 像 模 像 样 的 还 挺 像 个 人 的 会 让 你 有一
0:20
S… Speaker 2 (大è¯_言模å_‹)
种 错 觉 认 为 他 比 人 类 还 聪 明 但是 你 真的 认 为 他 在
0:24
S… Speaker 2 (大è¯_言模å_‹)
懂 你说 什么 吗 这 期 视 频 给 你 答 案
0:27
S… Speaker 2 (大è¯_言模å_‹)
LL M 是 L ar ge Language Model 首 字 母 的 缩 写 直 译 过 来 就是
0:31
S… Speaker 2 (大è¯_言模å_‹)
大 语 言 模 型 那 像 我们 熟 知 的 Ch ai GP 3 啊 Ch ai GP 4 啊 De ep Se ek
0:35
S… Speaker 2 (大è¯_言模å_‹)
这 些 都是 大 语 言 模 型 可以 用 三 个 关 键 词 来 概 括 大 语 言 模 型 的 工作 原
0:39
S… Speaker 2 (大è¯_言模å_‹)
理 数 据 架 构 训 练 白 话 解 释 就是 把 这 些 海 量 的 数 据
0:43
S… Speaker 2 (大è¯_言模å_‹)
输 入 到 神 经 网 络 里 面 去 训 练 它 就 练 成 了 大 语 言 模
0:47
S… Speaker 2 (大è¯_言模å_‹)
型 大 语 言 模 型 的 训 练 大 致 分 为 三 个 阶 段 我 会 分 阶 段 说 清楚 每 个 阶
0:51
S… Speaker 2 (大è¯_言模å_‹)
段 训 练 的 数 据 类 型 和 怎么 训 练 去 帮 助 了 解 它 背 后 的
0:55
S… Speaker 1 (大è¯_言模å_‹)
原 理
0:56
S… Speaker 2 (大è¯_言模å_‹)
没 准 听 完 你 自己 也 能 练 一个 这个 阶 段 的 数 据 非常 庞 大 来
1:00
S… Speaker 2 (大è¯_言模å_‹)
自 互 联 网 大 规 模 的 文 本 书 籍 新 闻 论 坛 帖 子 像
1:05
S… Speaker 2 (大è¯_言模å_‹)
G P T 3 它 这个 阶 段 拥 有
1:07
S… Speaker 2 (大è¯_言模å_‹)
17 50 亿 个 机 器 学 习 的 参 数 这个 参 数 有 多 大 呢 如果你 不 吃
1:11
S… Speaker 2 (大è¯_言模å_‹)
不 喝 24 小 时 的 阅 读 这 些 资 料 那就 算 你 每 天 读 36
1:15
S… Speaker 2 (大è¯_言模å_‹)
万 个 词 你要 读 62,
1:17
S… Speaker 2 (大è¯_言模å_‹)
37 9 年 把 这 些 大 量 的 数 据 输 入 到 这个 神 经
1:21
S… Speaker 2 (大è¯_言模å_‹)
网 络 里 面 去 训 练 它 这个 架 构 就是 一个 神 经 网 络 你可以 先 把它
1:25
S… Speaker 2 (大è¯_言模å_‹)
想 象 成 一个 复 杂 的 函 数 我们 一 会 儿 再 详 细 说 这么 大的 数 据 量 需要 大 量
1:29
S… Speaker 2 (大è¯_言模å_‹)
的 计 算 需要 大 量 的 G PU 集 群 这 也是 我们 熟 知 的 为什么 前 几 年 英 伟
1:33
S… Speaker 2 (大è¯_言模å_‹)
达 的 股 票 飙 升 那 它 是 怎么 训 练 的 呢
1:36
S… Speaker 2 (大è¯_言模å_‹)
每 次 训 练 的时候 就是 你 数 一 句 话 把 最 后 一个 词 藏 起 来 比如 说
1:40
S… Speaker 2 (大è¯_言模å_‹)
树 叶 的 颜 色 是 隐 藏 起 来 最 后 一个 词 然后 它 会 随 机 找
1:44
S… Speaker 2 (大è¯_言模å_‹)
一些 词 在 这 儿 再 给 出 一 系 列 的 预 测 算 出 哪 一个 词 的 概 率 更 高
1:48
S… Speaker 2 (大è¯_言模å_‹)
再 去 把 真 实 结 果 和 预 测 的 答 案 做 比 较 选 择 这个 答 案 最 准 确 的
1:52
S… Speaker 2 (大è¯_言模å_‹)
再 去 调 整 参 数 这个 就是 P ray Training 了 那 一 开始 它 肯 定 只是
1:56
S… Speaker 2 (大è¯_言模å_‹)
胡 言 乱 语 那 通 过 不 断 的 输 入 大 量 的 示 例 文 本 不 断 不 断 不 断 的 调 整 然后
2:00
S… Speaker 2 (大è¯_言模å_‹)
最 后 它 才 变 得 有 用 了 目 标 是 要 得 到 一个 基 础 模 型 base model
2:04
S… Speaker 2 (大è¯_言模å_‹)
那 这个 阶 段 它 已经 能 够 生 成 连 贯 的 文 本 了 但是 它 还 不 太 擅 长
2:08
S… Speaker 2 (大è¯_言模å_‹)
回 答 问题 就是 要 进 入 到 下 一个 阶 段 微 调 阶 段
2:12
S… Speaker 2 (大è¯_言模å_‹)
微 调 阶 段 的 目 的 就是 能 得 到 一个 按 人 类 期 望 值 去 回 答 问题
2:16
S… Speaker 2 (大è¯_言模å_‹)
的 一个 模 型 他们 管 这个 模 型 叫 ass istant model 助 手 模 型 这个 阶 段
2:20
S… Speaker 2 (大è¯_言模å_‹)
训 练 的 方 式 还是 一 样 的 但是 数 据 发 生 了 变 化 微 调 阶 段 是
2:24
S… Speaker 2 (大è¯_言模å_‹)
用 手 工 收 集 的 数 据 根 据 卡 巴 西 的 解 释 那 通 常 呢 这个 练 模 型 的
2:28
S… Speaker 2 (大è¯_言模å_‹)
公 司 会 雇 用 很多 人 让 他们 去 编 写 一 对 一 的 问题 数 据
2:32
S… Speaker 2 (大è¯_言模å_‹)
会 有 各 种 各 样 的 问题 然后 给 出 理 想 的 答 案 那 如果 预 训 练 阶
2:36
S… Speaker 2 (大è¯_言模å_‹)
段 的 数 据 集 我们 可以 说 是 多 然后 质 量 差 那 微 调 阶 段
2:40
S… Speaker 2 (大è¯_言模å_‹)
的 数 据 集 就是 不要 数 量 只 要 质 量 这个 时候 的 语 言 模 型 通 过
2:44
S… Speaker 2 (大è¯_言模å_‹)
这 两 步 的 训 练 已经 可以 预 测 出 下一 部分 的 内 容 回 答 人 类
2:48
S… Speaker 2 (大è¯_言模å_‹)
的 基本 问题 了 这 一 步 呢 它 叫 做 基 于 人 类 反 馈 的 强 化 学
2:52
S… Speaker 2 (大è¯_言模å_‹)
习 也 就是 说 它 生 成 的 答 案 会 有人 来 挑 选 这个 答 案 好 吗 这个
2:56
S… Speaker 2 (大è¯_言模å_‹)
答 案 好 吗 是 要 还是 不要 然后 选 择 最 好的 答 案 再 去 调 整
3:00
S… Speaker 1 (大è¯_言模å_‹)
参 数
3:01
S… Speaker 2 (大è¯_言模å_‹)
模 型 回 答 的 问题 更 加 符 合 人 类 的 预 期 那 它 是 可 选 项 并 不是
3:05
S… Speaker 2 (大è¯_言模å_‹)
所有 的 语 言 模 型 在 训 练 的时候 都 会 经 过 这 一 步 在 这个 阶 段 会 用 比 较 标 注 因为
3:10
S… Speaker 2 (大è¯_言模å_‹)
科 学 家 们 发 现 给 你 个 答 案 让 你 评 判 它 好不好 很 难 但是 如果 用 比 较
3:14
S… Speaker 2 (大è¯_言模å_‹)
的 方 法 就 很 容易 了 我们 平 时 在 用 OP I 的时候 你 会 发 现 有 的时候 它 会 生 成 两 个 答
3:18
S… Speaker 2 (大è¯_言模å_‹)
案 来 让 你 选 其实 我们 都 间 接 地 成 为 了 这个 模 型 公 司 的 牛 马 我们 再
3:22
S… Speaker 2 (大è¯_言模å_‹)
帮 他们 做 比 较 标 注 呢 我们 再 来 说 一下 架 构 刚 才 我们 说 架 构
3:26
S… Speaker 2 (大è¯_言模å_‹)
就是 神 经 网 络 2017 年 以前 大 部分 模 型 在 预 测 词 的时候 都是 一个
3:30
S… Speaker 1 (大è¯_言模å_‹)
词 一个 词 的 bo
3:31
S… Speaker 2 (大è¯_言模å_‹)
但是 2017 年 谷 歌 的 研 究 团 队 提 出 了 一 种 叫 做 Trans form er 的 模
3:35
S… Speaker 2 (大è¯_言模å_‹)
型 它 能 够 把 整 句 都 吸 收 进 来 同 时 处 理 谷 一 句 这 就是 你 常
3:39
S… Speaker 2 (大è¯_言模å_‹)
听 到 的 注意 力 机 制 Att ention is all you need 这 篇 画 时 代 的 论 文 我 每 次
3:43
S… Speaker 2 (大è¯_言模å_‹)
读 它 名 字 的时候 我 身 上 都 起 鸡 皮 疙 瘩 因为 它 奠 定 了 后 续 所有 大 模 型 的 基 础 那
3:47
S… Speaker 2 (大è¯_言模å_‹)
现在 大 元 模 型 的 架 构 通 常 都是 指 Trans form er 所以 看到 这 儿 你 还 认
3:51
S… Speaker 2 (大è¯_言模å_‹)
为 语 言 模 型 真的 能 看 懂 你在 说 什么 吗 它 只是 在 帮 你 预 测
3:55
S… Speaker 2 (大è¯_言模å_‹)
下 一个 词 的 可能 性 因为 我们 可以 非常 客 观 地 看到 大 元 模 型 并 没有
3:59
S… Speaker 1 (大è¯_言模å_‹)
人 类 的 意 识
4:00
S… Speaker 2 (大è¯_言模å_‹)
但是 它 也 确 实 压 缩 了 整 个 互 联 网 的 智 慧 那 所以 说 大 语 言 模 型
4:04
S… Speaker 2 (大è¯_言模å_‹)
它 是 智 能 的 吗 我觉得 在 搞 清楚 它 是不是 智 能 的 之前 我们 得
4:08
S… Speaker 2 (大è¯_言模å_‹)
先 去了 解 智 能 的 概 念 和 大 语 言 模 型 和 人 工 智 能 的 关
4:12
S… Speaker 2 (大è¯_言模å_‹)
系 人 工 智 能 的 概 念 很 大 大 语 言 模 型 只是 里 面 的 一个 分 支 大家 看 这
4:16
S… Speaker 2 (大è¯_言模å_‹)
张 图 这是 整 个 人 工 智 能 的 盘 子 里 面 包括 计 算 机 视 觉 自 动
4:20
S… Speaker 2 (大è¯_言模å_‹)
驾 驶 机 器 人 控 制 AL P 语 言 模 型 就 在 这
4:24
S… Speaker 2 (大è¯_言模å_‹)
主 要 负 责 处 理 文 字 那 些 事 我们 再 来 看看 智 能 的 概 念 那 智 能
4:28
S… Speaker 2 (大è¯_言模å_‹)
在 不同 的 领 域 里 面 定 位 也是 不 一 样 的 在 心 理 学 里 面 智 能 是 个 理 解
4:32
S… Speaker 2 (大è¯_言模å_‹)
世界 学 习 知 识 和 解 决 问题 适 应 新 环 境 的 能 力 在 人 工 智 能 领 域 呢
4:36
S… Speaker 2 (大è¯_言模å_‹)
智 能 是 通 过 感 知 决 策 行 动 然后 不 断 优 化 资 深 表 现 的 能
4:40
S… Speaker 2 (大è¯_言模å_‹)
力 著 名 的 图 灵 曾 经 说 过 如果 机 器 的 行 为 和 人 类 的 行 为 已经 让 你
4:44
S… Speaker 2 (大è¯_言模å_‹)
区 分 不 开 了 就是 你 不知道 这个 背 后 和 你说 话 的是 个 机 器 还是 个 人 那就
4:48
S… Speaker 2 (大è¯_言模å_‹)
说 明 它 是 有 智 能 的 我们 来 问 一下 宇 颜 柏 星 的 自己 看 他 自己
4:52
S… Speaker 1 (大è¯_言模å_‹)
觉 不 觉得 自己
4:53
S… Speaker 2 (大è¯_言模å_‹)
是 智 能 的 他 说 语 言 模 型 表 现 出 了 一些 智 能 的 特 征 但
4:57
S… Speaker 2 (大è¯_言模å_‹)
本 身 并 不是 真 正 的 智 能
5:20
S… Speaker 2 (大è¯_言模å_‹)
这个 内 核 用 来 负 责 协 调 各 种 资 源 比如 说 计 算 内 存 啊 调 用
5:24
S… Speaker 2 (大è¯_言模å_‹)
各 种 工 具 啊 来 解 决 问题 其实 现在 我们 已经 看到 了 各 种 各 样 的 工 具 都 在 陆
5:28
S… Speaker 2 (大è¯_言模å_‹)
陆 续 续 的 接 上 大 语 言 模 型 这 也是 为什么 m c p 产 生 的 原因 就是
5:32
S… Speaker 2 (大è¯_言模å_‹)
为 了 让 这个 大 语 言 模 型 能 够 更 加 强 大 它 能 调 配 各 种 各 样 的 工 具
5:36
S… Speaker 2 (大è¯_言模å_‹)
去 流 来 网 页 去 计 算 你 计 算 机 里 的 内 存 去 调 用 你 这 些 应 用 大
5:40
S… Speaker 2 (大è¯_言模å_‹)
语 言 模 型 是 一 向 非常 非常 非常 非常 非常 非常 了 不起 的 技 术 突 破 希望
5:45
S… Speaker 2 (大è¯_言模å_‹)
这 期 视 频 能 够 帮 助 你 更 好的 理 解 大 语 言 模 型 背 后 的 工作 原 理 更 多
5:49
S… Speaker 1 (大è¯_言模å_‹)
科 技
5:49
S… Speaker 2 (大è¯_言模å_‹)
人 工 智 能 的 内 容 别 忘 了 关 注 我 哦 我的 名 字 叫 做 Super Win
5:53
S… Speaker 2 (大è¯_言模å_‹)
ning 这个 资 料 是 这个 视 频 的 re ference

תעתיק זה נוצר על ידי AI (זיהוי דיבור אוטומטי). עשוי להכיל שגיאות □ אימות מול השמע המקורי לשימוש קריטי. מדיניות AI

❤️ אוהבים את STT.ai? ספרו לחברים שלכם!
תקציר
לחץ לסכם כדי ליצור סיכום AI של תעתיק זה.
מסכם...
שאל את אל על התעתיק הזה.
שאל כל דבר על התמליל הזה, הבינה המלאכותית תמצא חלקים רלוונטיים ותענה.