ScreenRecording_10-24-2026 08-12-44_1

Oct 24, 2026 02:35 · 14:33 · Chinese · Whisper Turbo · 3 Mga Speaker
Ang transcript na ito ay magtatapos sa 13 Mga araw. Upgrade para sa permanenteng imbakan →
Talaan ng mga lektura
Pagsasama-sama lamang
0:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆
0:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立
0:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
联 系 呢
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 兄 弟,
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form
0:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天
0:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form
0:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的
0:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜
0:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的
0:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 只 这 时候 啊
0:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是
0:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更
0:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补
0:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢
0:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其
0:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我
1:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子
1:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛
1:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的
1:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们
1:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就
1:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较
1:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系
1:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重
1:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎
1:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15
1:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
% 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息
1:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息
1:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同
1:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要
1:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 哦
1:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量
2:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么
2:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前
2:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的
2:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽
2:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系
2:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken
2:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关
2:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强
2:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和
2:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中
2:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路
2:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是
2:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 的 最 核 心 的 思 想
2:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底
2:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面
3:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让
3:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢
3:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算
3:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚
3:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下
3:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指
3:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在
3:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索
3:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 啊
3:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索
3:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个
3:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概
3:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T
3:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一
3:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这
3:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q
4:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提
4:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份
4:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色
4:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向
4:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的
4:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接
4:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做
4:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比 较
4:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮
4:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那
4:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底
4:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后
4:48
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如
4:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它的 Q 和 轩 辕 的 K 算 出来 是 1.
4:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
2 它的 Q 和 绿 色 的 K 算 出来 是 0.
4:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 它的 Q 和
5:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 P 1 的 K 算 出来 是 6.
5:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So
5:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每
5:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会
5:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹
5:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配
5:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 随 着 训 练 的 进 行 相 关 的 参 数 不 断 调 整 Q 和 K 的 计 算 匹
5:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 就 越 来 越 接 近 语 言 中 的 规 律 了
5:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那么 接 下 来 呢 知道 了 该 关 注 谁 之 后 又 怎么 办 呢 真 正 有 用 的是
5:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 平 15 这个 t oken 携 带 的 具 体 信 息 这 份 信 息 既 不是 这个 t oken
5:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 Q 也 不是 它的 K 这 两 个 呢 是 用 来 做 查 询 和 被 查 询 的 所以
5:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 还 需要 再 准 备 第三 份 项 量 这 份 项 量 它 不 负 责 搜 索
5:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 不 负 责 匹 配 它 负 责 保 存 真 正 需要 被 别 人 读 取 的 信 息
5:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 份 项 量 就是 value 简 称 V 到 这里 为 止 啊 我们 就 凑 齐 了
5:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 中 关 键 的 Q K V 三 件 套
5:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
Q 表示 我想 找 什么 K 表示 我 这里 大概 有 什么 V
6:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
表示 我 真 正 携 带 了 什么 信 息 那 还是 要 强 调 一下 这里
6:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
只是 为 了 帮 助 理 解 的 一个 简 单 的 类 比 那 真 实 的 模 型 并 不会 真的 把 宠
6:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
物 颜 色 人 物 这 些 文 本 标 签 写 到 Q Q V 里 面 他们 的 本 质 依
6:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旧 是 一 组 高 位 数 字 那 上面 的 这 些 信 息 都是 藏 在 这 组 高 位 向
6:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 中 那 新 的 问题 又 来了 每 个 T oken 不是 只有 一个 持 向 量 吗 怎么
6:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 每 个 T oken 突 然 冒 出来 三 个 向 量 了
6:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 问题 很好 解 决 假 设 虎 皮 音 5 原 来 是 有 一个 几 百 维 的
6:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
持 向 量 我们 把 这个 持 向 量 交 给 一个 线 性 变 换 得 到 第一 组 新
6:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 数 字 Q 再 交 给 另外 一个 线 性 变 换 得 到 第二 组 数 字 K 然后
6:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
再 经 过 第三 个 线 性 变 换 得 到 第三 组 数 字 V 每 个 T oken 都 会 做
6:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
相 同 的 事情 渲 源 有 了 自己 的 Q K V 养 了 有 自己 的 Q
6:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 虎 皮 音 5 也 有 自己 的 Q K V 那 至 于 这 三 次 线 性 变 换
6:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
到底 是 怎么 进 行 的 变 换 所 采 用 的 参 数 是 什么
6:52
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 不 需要 程 序 员 手 工 设 计 模 型 会 在 训 练 过 程 中 通 过 一次 又
6:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一次 的 预 测 错 误 和 反 向 传 播 慢慢 把它 们 给 学 出来 有 了 Q
7:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 接 下 来 就 简 单 了 用 这 些 注意 力 的 权 重 乘 上 每 个 T oken 对
7:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
应 的 V 然后 把它 们 给 全部 加 起 来 权 重 高 的 T oken 就 多 贡 献
7:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 信 息 权 重 低 的 T oken 就 少 贡 献 一点 信 息 最 后 得 到
7:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 就是 当 前 T oken 融 合 上 下 文 之 后 的 全 新 的 销 量 在 Att ention
7:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
is all you need 那 篇 论 文 中 的 注意 力 故 事 它 干 的 核 心 事情 就是 这 些
7:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 这 篇 论 文 的 公 式 里 面 Q 和 K 点 击 以 后 还 会 除 以 一个 根
7:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
号 D 那 这样 做 主 要 是 因为 信 用 量 维 度 很 高 以 后 啊 点 击 结 果 很
7:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
容易 就 变 得 很 大 通 过 So ft max 以 后 就 可能 会 变 得 过 于 极 端 所以
7:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
先 把它 适 量 缩 小 一点 可以 让 训 练 更 加 稳 定 另外 还有 一个 细
7:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
节 我们 的 Q K V 呢 全部 来 自 于 同 一 句 话 里 的 T oken 一 句 话
7:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 自己 查 看 自己 这 种 情况 叫 做 S elf Alt ension 也 就是 自
7:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 那 与 之 对 应 的 一 句 话 跟 别 的话 做 注意 力 计 算
7:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那就 不是 自 助 盈 利 它 有 别 的 教 法 我们 等 会 儿 就 会 看到 不 过 只 有一
7:54
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
套 Q Q V 还是 不 够 我们
7:59
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
来 看 这样 一 句
8:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T
8:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明
8:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕
8:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 养 过 之 间 又 存 在 动 作 关 系
8:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同
8:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 句 话 里 面 可能 同 时 存 在 语 法 关 系 语 意 关 系 纸 带 关
8:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 等等 可 我们 刚 才 只 有一 套 Q Q V 很 难 同 时 兼 顾 多
8:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 关 系 既 然 一 套 不 够 那 我们 就 多 整 几 套 同 一 句 话 同 时
8:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
进 行 多 种 注意 力 计 算 第一 组 可能 主 要 关 注 纸 带 关 系 第二
8:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 呢 可能 重 点 关 注 附 近 的 词 第三 组 呢 可能 学 会 了 一些 长 距
8:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
离 的 关 系 第 四 组 啊 又 可能 学 到了 一些 其 他 完全 不同 的 模 式
8:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
当然 了 这 些 谁 负 责 指 代 谁 负 责 语 法 依 然 不是 程 序 员 提 前
8:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
安 排 好的 每 一 组 耳 腾 形 最 后 到底 学 到了 什么 都是 训 练 自己 决 定
8:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 我们 只 负 责 给 它 多 个 不同 的 观 察 空 间 最 后 再 把 这 些 不同
8:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 耳 腾 形 得 到 的 结 果 拼 起 来 形 成 更 丰 富 的 表示 刚 才
9:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 一次 从 多 个 角 度 同 时 做 耳 腾 形 的 方 法 就是 多 头 注意 力
9:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 一个 头 可以 暂 时 理 解 成 一 套 独 立 的 注意 力 计 算 一个
9:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
角 度 看 不 明白 那就 多 个 角 度 一起 看
9:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 看到 的 才 是 相 对 比 较 全 面 的 在 Att ention is all you need 的 这
9:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
篇 论 文 中 原 始 的 Trans form er 就 采 用 了 8 个 头 注意 力 的 这 种 计
9:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 方 式 把 L ST M 两 个 问题 都 解 决 了 不 需要 再 经 过 中
9:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 一 大 串 T oken 传 递 信 息 他们 可以 直接 建 立 联 系 而且 一 句 话
9:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 不 再 需要 像 R N N L ST M 那 样 一个 处 理 完 再 处 理 下
9:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 所有 T oken 的 Q K V 都 可以 一起 算 也可以 通 过 大 规
9:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
模 的 矩 阵 一 算 一起 完成 所以 Trans form er 相 比 R N N 和 L ST M
9:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
更 容易 利 用 G PU 进 行 大 规 模 的 并 行 训 练 这 也是 后 来 模 型
9:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 够 越 做 越 大的 一个 非常 重要 的 前 提 然 而 这 项 并 行 计 算 引 出
9:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 一个 非常 关 键 的 问题 T oken 之 间 的 先 后 顺 序 信 息 丢 失 了 原
9:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 R N N L ST M 因为 是 串 行 处 理 它 天 然 就是 有 序 的 计 算 但
9:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
并 行 是 把 所有 的 T oken 一起 进 行 计 算 模 型 怎么 知道 谁 在 前 谁 在 后
10:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
呢
10:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比如 下面 这 两 句 话 轩 原 养 了 鹦 鹉 和 鹦 鹉 养 了 轩 原 这
10:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 句 话 里 面 出 现 的 词 都是 三 个 一 样 的 t oken 只是 顺 序 不 一 样 也
10:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
正 是 因为 顺 序 变 了 表 达 出来 的 意思 完全 不同 注意 力 机 制 只是 计
10:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 t oken 之 间 的 相 关 性 它 并 没有 去 处 理 词 语 的 顺 序 那 怎么
10:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
办 呢 我们 可以 在 每 个 t oken 原 来 的 词 项 量 上 再 增 加 一 份 专
10:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
门 表示 位 置 的 信 息 第一 个 t oken 加 上 一 份 表示 位 置 1 的 信 息
10:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
第二 个 t oken 加 上 一 份 表示 位 置 2 的 信 息 以 此 类 推
10:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 模 型 收 到 的 就 不 再 是 这个 词 是 谁 他 同 时 还 知道 这个 词
10:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 什么 位 置 刚 才 这 份 额 外 加入 的 位 置 数 据 就是 P resent ion C oding
10:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
位 置 编 码
10:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 始 Trans form er 使 用 了 正 线 和 语 线 函 数 来 生 成 未 知 编 码 现在
10:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 大 语 言 模 型 又 发 展 出 了 一些 新 的 方 案 这 一 期 我们 先 不 展 开 这 些
10:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
细 节 当 下 你 只 需要 记 住 World Emb ed ding 告诉 模 型 T oken 的 语 意
10:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 未 知 编 码 则 告诉 模 型 T oken 的 顺 序 到 这里 每
10:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 就 已经 可以 带 着 自己 的 语 意 和 未 知 信 息 通 过 多 投 注 引
11:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
力 和 其 他 T oken 大 规 模 交 换 信 息 了 不知道 大家 看到 这里 能 听 懂
11:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
多少 可以 弹 幕 来 互 动 一下 到 现在 为 止 看 起 来 好像 还 不 错 的 样 子
11:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 这 距 离 我们 的 目 标 还 差 得 远 我们 是 要 完成 猜 词 游 戏 根
11:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
据 一 句 话 前 面 的 内 容 猜 出 后 面 的 内 容 而 腾 醒 很 擅 长 帮
11:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
T oken 到 处 寻 找 信 息 我们 的 猜 词 游 戏 要 怎么 继 续 下去 呢 咱
11:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
们 接 着 往 下 看 我们 来 看 下面 这 句 话 轩 原 买 了 个 黑 色 的 苹 果
11:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
花 了 一 万 多 块 钱 这里 的 苹 果 到底 是 水 果 还是 苹 果 公 司 的 产
11:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
品 呢 聪 明 的 你 啊 几 乎 一 瞬 间 就 能 察 觉 到 这 世界 上 哪 里 有
11:35
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可以 吃 的 苹 果 还 卖 一 万 多 块 钱 啊 而且 还是 黑 色 的
11:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 这里 一定 指 的是 苹 果 公 司 的 产 品 那 我们 来 看一下 计 算 机
11:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 是 如何 把 这 一点 给 分 析 出来 呢 为 了 方 便 理 解 我们 假 设 从 苹 果
11:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 来 几 百 维 的 像 量 里 面 只 挑 四 个 特 征 来 进 行 观 察 分 别 是
11:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
高 价 黑 色 外 观 水 果 属 性 科 技 属 性
11:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 需要 说 明 一下 实 际 上 的 像 量 语 义 是 非常 复 杂 的 几 乎
11:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
不会 单 独 存 在 某 些 维 度 刚 好 就 对 应 这 四 个 方面 这里 呢 只是 为 了 方 便
12:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
理 解 简 化 了 持 像 量 的 维 度 设 定 刚 开始 看到 苹 果 这个 词 的时候 它
12:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 是
12:08
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
0.1 0.1 0.6 0.6
12:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这
12:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果
12:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又
12:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就
12:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 变 成 了 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 0.
12:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 没 注意 哦 到 这里 Att ention 主 要 完成 了 一 件 事 把
12:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 本 散 落 在 其 他 T oken 里 的 线 索 拿 到了 苹 果 这里 现在 模 型
12:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 这个 苹 果
12:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 很 贵 它 也是 黑 色 的 但是 水 果 和 科 技 产 品 这 两
12:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 可能 性 还 没有 真 正 拉 开 差 距 那 接 下 来 怎么 办 呢 我们 需要
12:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 新 的 组 件 来 对 这 些 线 索 进 行 进 一 步 的 分 析 计 算 这个 时候
12:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
上 个 视 频 中 的 老 朋友 潜 贵 神 经 网 络 也 就是 FF N 登 场
12:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 FF N 不 再 去 看 其 他的 t oken 他 只 看 苹 果 现在 手
12:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 已经 拥 有 了 这 些 信 息 然后 去 学 习 这 些 特 征 之 间 的 组 合 关
13:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 比如 这里 这个 苹 果 价 格 非常 高 还是 黑 色 的
13:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 两 个 特 征 组 合 在 一起 就 非常 不 像 一 颗 水 果 反 而 非常 像
13:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
苹 果 公 司 的 某 种 电 子 产 品 于 是 经 过 FF N 之 后 这
13:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 项 量 可能 就 进 一 步 变 成 了 0.
13:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
1 0.
13:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
95 高 价 和 黑 色 这 些 线 索 还 在 但是 水 果 属
13:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
性 被 明 显 压 低 了 科 技 属 性 则 被 大 幅 增 强 所以 Att ention
13:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 FF N 做 的 事情 并 不 一 样
13:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 负 责 让 T oken 之 间 交 换 信 息 而 钱 贵 神 经 网 络 呢
13:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
则 负 责 把 每 个 T oken 的 这 些 信 息 给 组 合 起 来 进 行 分 析 研 判 一个
13:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
负 责 交 流 一个 负 责 思 考 到 这里 啊 这 两 个 零 件 就 能 拼 成 一个 小
13:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
单 元 了 先 经 过 多 头 注意 力 交 换 信 息 再 经 过 钱 贵 神
13:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
经 网 络 消 化 加 工 这 就是 Trans form er 的 基本 单 元 不 过 这
13:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 单 元 啊 处 理 还 不 够 实 际 上 的 Trans form er 会 多 累 几 层 一 层 比 一
13:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
层 理 解 的 更 深 在 Att ention is All You Need 的 这 篇 论 文 里 面 啊 它 累 了 六 层
13:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 现在 的 大 语 言 模 型 动 辄 几 十 层 上 百 层 大 语 言 模 型 的 知 识 和
14:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 力 都 蕴 藏 在 这 些 网 络 参 数 里 了 但是 网 络 一 升 新 的 问题
14:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 又 又 来了 我们 刚 才 说 了 为 了 理 解 复 杂 的 语 言 Trans form
14:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 会 把 注意 力 和 FF N 模 块 叠 很多 层 让 模 型 逐 渐 抽
14:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
取 更 加 抽 象 的 特 征 但是 网 络 一 升 训 练 就 容易 出 问题 模
14:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
型 训 练 靠 的是 反 向 传 播 预 测 产 生 误 差 之 后 梯 度 会
14:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 最 后 一 层 一 路 向 前 传 告诉 前 面 的 参 数 应 该 怎么 调 整
14:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 过 程 本 质 上 是 依 赖 念 式 求 导 如果 踢 路 经 过 一 层 又
14:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 层 的 计 算 不 断 变 形

Ang transcript na ito ay ginawa ng AI (automatic speech recognition). Maaaring may mga pagkakamali — suriin ang orihinal na audio para sa kritikal na paggamit. Patakaran ng AI

❤️ Pag-ibig STT.ai? Sabihin sa iyong mga kaibigan!
Buod
I-click ang Summarize upang makabuo ng isang AI buod ng transcript na ito.
Pagbubuod...
Magtanong sa AI Tungkol sa Transcript na Ito
Magtanong ng anumang bagay tungkol sa transcript na ito - ang AI ay makahanap ng mga kaugnay na mga seksyon at sagot.
Isalin ang isa pang