صرف ڏيکارڻ
0:00
S… Speaker 2 (大è¯_言模å_‹)
今天 来 挑 战 用 白 话 讲 明白 LL M 大 语 言 模
0:04
S… Speaker 2 (大è¯_言模å_‹)
型 的 工作 原 理 我觉得 很多 人 会 被 人 工 智 能 这 四 个 字
0:08
S… Speaker 2 (大è¯_言模å_‹)
误 导 误 认 为 大 语 言 模 型 是 有 意 识 的 确 实 你在
0:12
S… Speaker 2 (大è¯_言模å_‹)
跟 大 语 言 模 型 对 话 的时候 他 给 你的 回 答 你是 我 每 天 最 期 待 的 那
0:16
S… Speaker 2 (大è¯_言模å_‹)
道 阳 光 像 模 像 样 的 还 挺 像 个 人 的 会 让 你 有一
0:20
S… Speaker 2 (大è¯_言模å_‹)
种 错 觉 认 为 他 比 人 类 还 聪 明 但是 你 真的 认 为 他 在
0:24
S… Speaker 2 (大è¯_言模å_‹)
懂 你说 什么 吗 这 期 视 频 给 你 答 案
0:27
S… Speaker 2 (大è¯_言模å_‹)
LL M 是 L ar ge Language Model 首 字 母 的 缩 写 直 译 过 来 就是
0:31
S… Speaker 2 (大è¯_言模å_‹)
大 语 言 模 型 那 像 我们 熟 知 的 Ch ai GP 3 啊 Ch ai GP 4 啊 De ep Se ek
0:35
S… Speaker 2 (大è¯_言模å_‹)
这 些 都是 大 语 言 模 型 可以 用 三 个 关 键 词 来 概 括 大 语 言 模 型 的 工作 原
0:39
S… Speaker 2 (大è¯_言模å_‹)
理 数 据 架 构 训 练 白 话 解 释 就是 把 这 些 海 量 的 数 据
0:43
S… Speaker 2 (大è¯_言模å_‹)
输 入 到 神 经 网 络 里 面 去 训 练 它 就 练 成 了 大 语 言 模
0:47
S… Speaker 2 (大è¯_言模å_‹)
型 大 语 言 模 型 的 训 练 大 致 分 为 三 个 阶 段 我 会 分 阶 段 说 清楚 每 个 阶
0:51
S… Speaker 2 (大è¯_言模å_‹)
段 训 练 的 数 据 类 型 和 怎么 训 练 去 帮 助 了 解 它 背 后 的
0:55
S… Speaker 1 (大è¯_言模å_‹)
原 理
0:56
S… Speaker 2 (大è¯_言模å_‹)
没 准 听 完 你 自己 也 能 练 一个 这个 阶 段 的 数 据 非常 庞 大 来
1:00
S… Speaker 2 (大è¯_言模å_‹)
自 互 联 网 大 规 模 的 文 本 书 籍 新 闻 论 坛 帖 子 像
1:05
S… Speaker 2 (大è¯_言模å_‹)
G P T 3 它 这个 阶 段 拥 有
1:07
S… Speaker 2 (大è¯_言模å_‹)
17 50 亿 个 机 器 学 习 的 参 数 这个 参 数 有 多 大 呢 如果你 不 吃
1:11
S… Speaker 2 (大è¯_言模å_‹)
不 喝 24 小 时 的 阅 读 这 些 资 料 那就 算 你 每 天 读 36
1:15
S… Speaker 2 (大è¯_言模å_‹)
万 个 词 你要 读 62,
1:17
S… Speaker 2 (大è¯_言模å_‹)
37 9 年 把 这 些 大 量 的 数 据 输 入 到 这个 神 经
1:21
S… Speaker 2 (大è¯_言模å_‹)
网 络 里 面 去 训 练 它 这个 架 构 就是 一个 神 经 网 络 你可以 先 把它
1:25
S… Speaker 2 (大è¯_言模å_‹)
想 象 成 一个 复 杂 的 函 数 我们 一 会 儿 再 详 细 说 这么 大的 数 据 量 需要 大 量
1:29
S… Speaker 2 (大è¯_言模å_‹)
的 计 算 需要 大 量 的 G PU 集 群 这 也是 我们 熟 知 的 为什么 前 几 年 英 伟
1:33
S… Speaker 2 (大è¯_言模å_‹)
达 的 股 票 飙 升 那 它 是 怎么 训 练 的 呢
1:36
S… Speaker 2 (大è¯_言模å_‹)
每 次 训 练 的时候 就是 你 数 一 句 话 把 最 后 一个 词 藏 起 来 比如 说
1:40
S… Speaker 2 (大è¯_言模å_‹)
树 叶 的 颜 色 是 隐 藏 起 来 最 后 一个 词 然后 它 会 随 机 找
1:44
S… Speaker 2 (大è¯_言模å_‹)
一些 词 在 这 儿 再 给 出 一 系 列 的 预 测 算 出 哪 一个 词 的 概 率 更 高
1:48
S… Speaker 2 (大è¯_言模å_‹)
再 去 把 真 实 结 果 和 预 测 的 答 案 做 比 较 选 择 这个 答 案 最 准 确 的
1:52
S… Speaker 2 (大è¯_言模å_‹)
再 去 调 整 参 数 这个 就是 P ray Training 了 那 一 开始 它 肯 定 只是
1:56
S… Speaker 2 (大è¯_言模å_‹)
胡 言 乱 语 那 通 过 不 断 的 输 入 大 量 的 示 例 文 本 不 断 不 断 不 断 的 调 整 然后
2:00
S… Speaker 2 (大è¯_言模å_‹)
最 后 它 才 变 得 有 用 了 目 标 是 要 得 到 一个 基 础 模 型 base model
2:04
S… Speaker 2 (大è¯_言模å_‹)
那 这个 阶 段 它 已经 能 够 生 成 连 贯 的 文 本 了 但是 它 还 不 太 擅 长
2:08
S… Speaker 2 (大è¯_言模å_‹)
回 答 问题 就是 要 进 入 到 下 一个 阶 段 微 调 阶 段
2:12
S… Speaker 2 (大è¯_言模å_‹)
微 调 阶 段 的 目 的 就是 能 得 到 一个 按 人 类 期 望 值 去 回 答 问题
2:16
S… Speaker 2 (大è¯_言模å_‹)
的 一个 模 型 他们 管 这个 模 型 叫 ass istant model 助 手 模 型 这个 阶 段
2:20
S… Speaker 2 (大è¯_言模å_‹)
训 练 的 方 式 还是 一 样 的 但是 数 据 发 生 了 变 化 微 调 阶 段 是
2:24
S… Speaker 2 (大è¯_言模å_‹)
用 手 工 收 集 的 数 据 根 据 卡 巴 西 的 解 释 那 通 常 呢 这个 练 模 型 的
2:28
S… Speaker 2 (大è¯_言模å_‹)
公 司 会 雇 用 很多 人 让 他们 去 编 写 一 对 一 的 问题 数 据
2:32
S… Speaker 2 (大è¯_言模å_‹)
会 有 各 种 各 样 的 问题 然后 给 出 理 想 的 答 案 那 如果 预 训 练 阶
2:36
S… Speaker 2 (大è¯_言模å_‹)
段 的 数 据 集 我们 可以 说 是 多 然后 质 量 差 那 微 调 阶 段
2:40
S… Speaker 2 (大è¯_言模å_‹)
的 数 据 集 就是 不要 数 量 只 要 质 量 这个 时候 的 语 言 模 型 通 过
2:44
S… Speaker 2 (大è¯_言模å_‹)
这 两 步 的 训 练 已经 可以 预 测 出 下一 部分 的 内 容 回 答 人 类
2:48
S… Speaker 2 (大è¯_言模å_‹)
的 基本 问题 了 这 一 步 呢 它 叫 做 基 于 人 类 反 馈 的 强 化 学
2:52
S… Speaker 2 (大è¯_言模å_‹)
习 也 就是 说 它 生 成 的 答 案 会 有人 来 挑 选 这个 答 案 好 吗 这个
2:56
S… Speaker 2 (大è¯_言模å_‹)
答 案 好 吗 是 要 还是 不要 然后 选 择 最 好的 答 案 再 去 调 整
3:00
S… Speaker 1 (大è¯_言模å_‹)
参 数
3:01
S… Speaker 2 (大è¯_言模å_‹)
模 型 回 答 的 问题 更 加 符 合 人 类 的 预 期 那 它 是 可 选 项 并 不是
3:05
S… Speaker 2 (大è¯_言模å_‹)
所有 的 语 言 模 型 在 训 练 的时候 都 会 经 过 这 一 步 在 这个 阶 段 会 用 比 较 标 注 因为
3:10
S… Speaker 2 (大è¯_言模å_‹)
科 学 家 们 发 现 给 你 个 答 案 让 你 评 判 它 好不好 很 难 但是 如果 用 比 较
3:14
S… Speaker 2 (大è¯_言模å_‹)
的 方 法 就 很 容易 了 我们 平 时 在 用 OP I 的时候 你 会 发 现 有 的时候 它 会 生 成 两 个 答
3:18
S… Speaker 2 (大è¯_言模å_‹)
案 来 让 你 选 其实 我们 都 间 接 地 成 为 了 这个 模 型 公 司 的 牛 马 我们 再
3:22
S… Speaker 2 (大è¯_言模å_‹)
帮 他们 做 比 较 标 注 呢 我们 再 来 说 一下 架 构 刚 才 我们 说 架 构
3:26
S… Speaker 2 (大è¯_言模å_‹)
就是 神 经 网 络 2017 年 以前 大 部分 模 型 在 预 测 词 的时候 都是 一个
3:30
S… Speaker 1 (大è¯_言模å_‹)
词 一个 词 的 bo
3:31
S… Speaker 2 (大è¯_言模å_‹)
但是 2017 年 谷 歌 的 研 究 团 队 提 出 了 一 种 叫 做 Trans form er 的 模
3:35
S… Speaker 2 (大è¯_言模å_‹)
型 它 能 够 把 整 句 都 吸 收 进 来 同 时 处 理 谷 一 句 这 就是 你 常
3:39
S… Speaker 2 (大è¯_言模å_‹)
听 到 的 注意 力 机 制 Att ention is all you need 这 篇 画 时 代 的 论 文 我 每 次
3:43
S… Speaker 2 (大è¯_言模å_‹)
读 它 名 字 的时候 我 身 上 都 起 鸡 皮 疙 瘩 因为 它 奠 定 了 后 续 所有 大 模 型 的 基 础 那
3:47
S… Speaker 2 (大è¯_言模å_‹)
现在 大 元 模 型 的 架 构 通 常 都是 指 Trans form er 所以 看到 这 儿 你 还 认
3:51
S… Speaker 2 (大è¯_言模å_‹)
为 语 言 模 型 真的 能 看 懂 你在 说 什么 吗 它 只是 在 帮 你 预 测
3:55
S… Speaker 2 (大è¯_言模å_‹)
下 一个 词 的 可能 性 因为 我们 可以 非常 客 观 地 看到 大 元 模 型 并 没有
3:59
S… Speaker 1 (大è¯_言模å_‹)
人 类 的 意 识
4:00
S… Speaker 2 (大è¯_言模å_‹)
但是 它 也 确 实 压 缩 了 整 个 互 联 网 的 智 慧 那 所以 说 大 语 言 模 型
4:04
S… Speaker 2 (大è¯_言模å_‹)
它 是 智 能 的 吗 我觉得 在 搞 清楚 它 是不是 智 能 的 之前 我们 得
4:08
S… Speaker 2 (大è¯_言模å_‹)
先 去了 解 智 能 的 概 念 和 大 语 言 模 型 和 人 工 智 能 的 关
4:12
S… Speaker 2 (大è¯_言模å_‹)
系 人 工 智 能 的 概 念 很 大 大 语 言 模 型 只是 里 面 的 一个 分 支 大家 看 这
4:16
S… Speaker 2 (大è¯_言模å_‹)
张 图 这是 整 个 人 工 智 能 的 盘 子 里 面 包括 计 算 机 视 觉 自 动
4:20
S… Speaker 2 (大è¯_言模å_‹)
驾 驶 机 器 人 控 制 AL P 语 言 模 型 就 在 这
4:24
S… Speaker 2 (大è¯_言模å_‹)
主 要 负 责 处 理 文 字 那 些 事 我们 再 来 看看 智 能 的 概 念 那 智 能
4:28
S… Speaker 2 (大è¯_言模å_‹)
在 不同 的 领 域 里 面 定 位 也是 不 一 样 的 在 心 理 学 里 面 智 能 是 个 理 解
4:32
S… Speaker 2 (大è¯_言模å_‹)
世界 学 习 知 识 和 解 决 问题 适 应 新 环 境 的 能 力 在 人 工 智 能 领 域 呢
4:36
S… Speaker 2 (大è¯_言模å_‹)
智 能 是 通 过 感 知 决 策 行 动 然后 不 断 优 化 资 深 表 现 的 能
4:40
S… Speaker 2 (大è¯_言模å_‹)
力 著 名 的 图 灵 曾 经 说 过 如果 机 器 的 行 为 和 人 类 的 行 为 已经 让 你
4:44
S… Speaker 2 (大è¯_言模å_‹)
区 分 不 开 了 就是 你 不知道 这个 背 后 和 你说 话 的是 个 机 器 还是 个 人 那就
4:48
S… Speaker 2 (大è¯_言模å_‹)
说 明 它 是 有 智 能 的 我们 来 问 一下 宇 颜 柏 星 的 自己 看 他 自己
4:52
S… Speaker 1 (大è¯_言模å_‹)
觉 不 觉得 自己
4:53
S… Speaker 2 (大è¯_言模å_‹)
是 智 能 的 他 说 语 言 模 型 表 现 出 了 一些 智 能 的 特 征 但
4:57
S… Speaker 2 (大è¯_言模å_‹)
本 身 并 不是 真 正 的 智 能
5:20
S… Speaker 2 (大è¯_言模å_‹)
这个 内 核 用 来 负 责 协 调 各 种 资 源 比如 说 计 算 内 存 啊 调 用
5:24
S… Speaker 2 (大è¯_言模å_‹)
各 种 工 具 啊 来 解 决 问题 其实 现在 我们 已经 看到 了 各 种 各 样 的 工 具 都 在 陆
5:28
S… Speaker 2 (大è¯_言模å_‹)
陆 续 续 的 接 上 大 语 言 模 型 这 也是 为什么 m c p 产 生 的 原因 就是
5:32
S… Speaker 2 (大è¯_言模å_‹)
为 了 让 这个 大 语 言 模 型 能 够 更 加 强 大 它 能 调 配 各 种 各 样 的 工 具
5:36
S… Speaker 2 (大è¯_言模å_‹)
去 流 来 网 页 去 计 算 你 计 算 机 里 的 内 存 去 调 用 你 这 些 应 用 大
5:40
S… Speaker 2 (大è¯_言模å_‹)
语 言 模 型 是 一 向 非常 非常 非常 非常 非常 非常 了 不起 的 技 术 突 破 希望
5:45
S… Speaker 2 (大è¯_言模å_‹)
这 期 视 频 能 够 帮 助 你 更 好的 理 解 大 语 言 模 型 背 后 的 工作 原 理 更 多
5:49
S… Speaker 1 (大è¯_言模å_‹)
科 技
5:49
S… Speaker 2 (大è¯_言模å_‹)
人 工 智 能 的 内 容 别 忘 了 关 注 我 哦 我的 名 字 叫 做 Super Win
5:53
S… Speaker 2 (大è¯_言模å_‹)
ning 这个 资 料 是 这个 视 频 的 re ference

هيءَ ترانسڪريٽ AI (آٽوميٽڪ سڏ سڃاڻپ) پاران تيار ڪئي وئي آھي. ان ۾ غلطيون ٿي سگھن ٿيون - اصل آڊيو سان چيڪ ڪريو ته جيئن خطرناڪ استعمال ڪري سگھجي. AI پاليسي

❤️ STT.ai کي پيارو آهي؟ پنھنجن دوستن کي چئو!
خلاصو
ھن ترانسڪريپٽ جي AI خلاصي پيدا ڪرڻ لاءِ خلاصو دٻايو.
خلاصو ڪيو وڃي ٿو...
AI کان ان ترانسڪريپٽ بابت پڇو
ھن ترانسڪريپشن بابت ڪابه سوال ڪريو - AI لاڳاپيل حصا ڳوليندو ۽ جواب ڏيندو.