ScreenRecording_10-24-2026 08-12-44_1

Oct 24, 2026 02:35 · 14:33 · Chinese · Whisper Turbo · 3 المتكلمون
تنتهي مدة هذا النص في 13 أيام. تحسين التخزين الدائم →
فهرس المحاضرات
العرض فقط
0:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆
0:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立
0:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
联 系 呢
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 兄 弟,
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form
0:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天
0:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form
0:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的
0:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜
0:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的
0:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 只 这 时候 啊
0:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是
0:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更
0:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补
0:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢
0:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其
0:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我
1:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子
1:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛
1:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的
1:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们
1:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就
1:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较
1:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系
1:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重
1:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎
1:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15
1:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
% 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息
1:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息
1:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同
1:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要
1:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 哦
1:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量
2:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么
2:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前
2:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的
2:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽
2:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系
2:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken
2:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关
2:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强
2:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和
2:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中
2:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路
2:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是
2:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 的 最 核 心 的 思 想
2:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底
2:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面
3:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让
3:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢
3:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算
3:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚
3:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下
3:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指
3:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在
3:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索
3:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 啊
3:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索
3:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个
3:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概
3:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T
3:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一
3:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这
3:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q
4:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提
4:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份
4:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色
4:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向
4:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的
4:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接
4:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做
4:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比 较
4:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮
4:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那
4:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底
4:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后
4:48
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如
4:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它的 Q 和 轩 辕 的 K 算 出来 是 1.
4:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
2 它的 Q 和 绿 色 的 K 算 出来 是 0.
4:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 它的 Q 和
5:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 P 1 的 K 算 出来 是 6.
5:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So
5:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每
5:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会
5:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹
5:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配
5:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 随 着 训 练 的 进 行 相 关 的 参 数 不 断 调 整 Q 和 K 的 计 算 匹
5:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 就 越 来 越 接 近 语 言 中 的 规 律 了
5:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那么 接 下 来 呢 知道 了 该 关 注 谁 之 后 又 怎么 办 呢 真 正 有 用 的是
5:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 平 15 这个 t oken 携 带 的 具 体 信 息 这 份 信 息 既 不是 这个 t oken
5:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 Q 也 不是 它的 K 这 两 个 呢 是 用 来 做 查 询 和 被 查 询 的 所以
5:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 还 需要 再 准 备 第三 份 项 量 这 份 项 量 它 不 负 责 搜 索
5:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 不 负 责 匹 配 它 负 责 保 存 真 正 需要 被 别 人 读 取 的 信 息
5:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 份 项 量 就是 value 简 称 V 到 这里 为 止 啊 我们 就 凑 齐 了
5:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 中 关 键 的 Q K V 三 件 套
5:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
Q 表示 我想 找 什么 K 表示 我 这里 大概 有 什么 V
6:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
表示 我 真 正 携 带 了 什么 信 息 那 还是 要 强 调 一下 这里
6:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
只是 为 了 帮 助 理 解 的 一个 简 单 的 类 比 那 真 实 的 模 型 并 不会 真的 把 宠
6:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
物 颜 色 人 物 这 些 文 本 标 签 写 到 Q Q V 里 面 他们 的 本 质 依
6:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旧 是 一 组 高 位 数 字 那 上面 的 这 些 信 息 都是 藏 在 这 组 高 位 向
6:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 中 那 新 的 问题 又 来了 每 个 T oken 不是 只有 一个 持 向 量 吗 怎么
6:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 每 个 T oken 突 然 冒 出来 三 个 向 量 了
6:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 问题 很好 解 决 假 设 虎 皮 音 5 原 来 是 有 一个 几 百 维 的
6:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
持 向 量 我们 把 这个 持 向 量 交 给 一个 线 性 变 换 得 到 第一 组 新
6:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 数 字 Q 再 交 给 另外 一个 线 性 变 换 得 到 第二 组 数 字 K 然后
6:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
再 经 过 第三 个 线 性 变 换 得 到 第三 组 数 字 V 每 个 T oken 都 会 做
6:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
相 同 的 事情 渲 源 有 了 自己 的 Q K V 养 了 有 自己 的 Q
6:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 虎 皮 音 5 也 有 自己 的 Q K V 那 至 于 这 三 次 线 性 变 换
6:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
到底 是 怎么 进 行 的 变 换 所 采 用 的 参 数 是 什么
6:52
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 不 需要 程 序 员 手 工 设 计 模 型 会 在 训 练 过 程 中 通 过 一次 又
6:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一次 的 预 测 错 误 和 反 向 传 播 慢慢 把它 们 给 学 出来 有 了 Q
7:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 接 下 来 就 简 单 了 用 这 些 注意 力 的 权 重 乘 上 每 个 T oken 对
7:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
应 的 V 然后 把它 们 给 全部 加 起 来 权 重 高 的 T oken 就 多 贡 献
7:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 信 息 权 重 低 的 T oken 就 少 贡 献 一点 信 息 最 后 得 到
7:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 就是 当 前 T oken 融 合 上 下 文 之 后 的 全 新 的 销 量 在 Att ention
7:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
is all you need 那 篇 论 文 中 的 注意 力 故 事 它 干 的 核 心 事情 就是 这 些
7:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 这 篇 论 文 的 公 式 里 面 Q 和 K 点 击 以 后 还 会 除 以 一个 根
7:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
号 D 那 这样 做 主 要 是 因为 信 用 量 维 度 很 高 以 后 啊 点 击 结 果 很
7:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
容易 就 变 得 很 大 通 过 So ft max 以 后 就 可能 会 变 得 过 于 极 端 所以
7:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
先 把它 适 量 缩 小 一点 可以 让 训 练 更 加 稳 定 另外 还有 一个 细
7:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
节 我们 的 Q K V 呢 全部 来 自 于 同 一 句 话 里 的 T oken 一 句 话
7:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 自己 查 看 自己 这 种 情况 叫 做 S elf Alt ension 也 就是 自
7:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 那 与 之 对 应 的 一 句 话 跟 别 的话 做 注意 力 计 算
7:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那就 不是 自 助 盈 利 它 有 别 的 教 法 我们 等 会 儿 就 会 看到 不 过 只 有一
7:54
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
套 Q Q V 还是 不 够 我们
7:59
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
来 看 这样 一 句
8:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T
8:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明
8:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕
8:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 养 过 之 间 又 存 在 动 作 关 系
8:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同
8:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 句 话 里 面 可能 同 时 存 在 语 法 关 系 语 意 关 系 纸 带 关
8:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 等等 可 我们 刚 才 只 有一 套 Q Q V 很 难 同 时 兼 顾 多
8:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 关 系 既 然 一 套 不 够 那 我们 就 多 整 几 套 同 一 句 话 同 时
8:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
进 行 多 种 注意 力 计 算 第一 组 可能 主 要 关 注 纸 带 关 系 第二
8:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 呢 可能 重 点 关 注 附 近 的 词 第三 组 呢 可能 学 会 了 一些 长 距
8:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
离 的 关 系 第 四 组 啊 又 可能 学 到了 一些 其 他 完全 不同 的 模 式
8:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
当然 了 这 些 谁 负 责 指 代 谁 负 责 语 法 依 然 不是 程 序 员 提 前
8:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
安 排 好的 每 一 组 耳 腾 形 最 后 到底 学 到了 什么 都是 训 练 自己 决 定
8:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 我们 只 负 责 给 它 多 个 不同 的 观 察 空 间 最 后 再 把 这 些 不同
8:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 耳 腾 形 得 到 的 结 果 拼 起 来 形 成 更 丰 富 的 表示 刚 才
9:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 一次 从 多 个 角 度 同 时 做 耳 腾 形 的 方 法 就是 多 头 注意 力
9:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 一个 头 可以 暂 时 理 解 成 一 套 独 立 的 注意 力 计 算 一个
9:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
角 度 看 不 明白 那就 多 个 角 度 一起 看
9:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 看到 的 才 是 相 对 比 较 全 面 的 在 Att ention is all you need 的 这
9:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
篇 论 文 中 原 始 的 Trans form er 就 采 用 了 8 个 头 注意 力 的 这 种 计
9:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 方 式 把 L ST M 两 个 问题 都 解 决 了 不 需要 再 经 过 中
9:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 一 大 串 T oken 传 递 信 息 他们 可以 直接 建 立 联 系 而且 一 句 话
9:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 不 再 需要 像 R N N L ST M 那 样 一个 处 理 完 再 处 理 下
9:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 所有 T oken 的 Q K V 都 可以 一起 算 也可以 通 过 大 规
9:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
模 的 矩 阵 一 算 一起 完成 所以 Trans form er 相 比 R N N 和 L ST M
9:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
更 容易 利 用 G PU 进 行 大 规 模 的 并 行 训 练 这 也是 后 来 模 型
9:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 够 越 做 越 大的 一个 非常 重要 的 前 提 然 而 这 项 并 行 计 算 引 出
9:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 一个 非常 关 键 的 问题 T oken 之 间 的 先 后 顺 序 信 息 丢 失 了 原
9:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 R N N L ST M 因为 是 串 行 处 理 它 天 然 就是 有 序 的 计 算 但
9:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
并 行 是 把 所有 的 T oken 一起 进 行 计 算 模 型 怎么 知道 谁 在 前 谁 在 后
10:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
呢
10:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比如 下面 这 两 句 话 轩 原 养 了 鹦 鹉 和 鹦 鹉 养 了 轩 原 这
10:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 句 话 里 面 出 现 的 词 都是 三 个 一 样 的 t oken 只是 顺 序 不 一 样 也
10:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
正 是 因为 顺 序 变 了 表 达 出来 的 意思 完全 不同 注意 力 机 制 只是 计
10:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 t oken 之 间 的 相 关 性 它 并 没有 去 处 理 词 语 的 顺 序 那 怎么
10:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
办 呢 我们 可以 在 每 个 t oken 原 来 的 词 项 量 上 再 增 加 一 份 专
10:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
门 表示 位 置 的 信 息 第一 个 t oken 加 上 一 份 表示 位 置 1 的 信 息
10:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
第二 个 t oken 加 上 一 份 表示 位 置 2 的 信 息 以 此 类 推
10:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 模 型 收 到 的 就 不 再 是 这个 词 是 谁 他 同 时 还 知道 这个 词
10:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 什么 位 置 刚 才 这 份 额 外 加入 的 位 置 数 据 就是 P resent ion C oding
10:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
位 置 编 码
10:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 始 Trans form er 使 用 了 正 线 和 语 线 函 数 来 生 成 未 知 编 码 现在
10:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 大 语 言 模 型 又 发 展 出 了 一些 新 的 方 案 这 一 期 我们 先 不 展 开 这 些
10:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
细 节 当 下 你 只 需要 记 住 World Emb ed ding 告诉 模 型 T oken 的 语 意
10:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 未 知 编 码 则 告诉 模 型 T oken 的 顺 序 到 这里 每
10:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 就 已经 可以 带 着 自己 的 语 意 和 未 知 信 息 通 过 多 投 注 引
11:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
力 和 其 他 T oken 大 规 模 交 换 信 息 了 不知道 大家 看到 这里 能 听 懂
11:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
多少 可以 弹 幕 来 互 动 一下 到 现在 为 止 看 起 来 好像 还 不 错 的 样 子
11:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 这 距 离 我们 的 目 标 还 差 得 远 我们 是 要 完成 猜 词 游 戏 根
11:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
据 一 句 话 前 面 的 内 容 猜 出 后 面 的 内 容 而 腾 醒 很 擅 长 帮
11:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
T oken 到 处 寻 找 信 息 我们 的 猜 词 游 戏 要 怎么 继 续 下去 呢 咱
11:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
们 接 着 往 下 看 我们 来 看 下面 这 句 话 轩 原 买 了 个 黑 色 的 苹 果
11:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
花 了 一 万 多 块 钱 这里 的 苹 果 到底 是 水 果 还是 苹 果 公 司 的 产
11:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
品 呢 聪 明 的 你 啊 几 乎 一 瞬 间 就 能 察 觉 到 这 世界 上 哪 里 有
11:35
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可以 吃 的 苹 果 还 卖 一 万 多 块 钱 啊 而且 还是 黑 色 的
11:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 这里 一定 指 的是 苹 果 公 司 的 产 品 那 我们 来 看一下 计 算 机
11:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 是 如何 把 这 一点 给 分 析 出来 呢 为 了 方 便 理 解 我们 假 设 从 苹 果
11:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 来 几 百 维 的 像 量 里 面 只 挑 四 个 特 征 来 进 行 观 察 分 别 是
11:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
高 价 黑 色 外 观 水 果 属 性 科 技 属 性
11:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 需要 说 明 一下 实 际 上 的 像 量 语 义 是 非常 复 杂 的 几 乎
11:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
不会 单 独 存 在 某 些 维 度 刚 好 就 对 应 这 四 个 方面 这里 呢 只是 为 了 方 便
12:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
理 解 简 化 了 持 像 量 的 维 度 设 定 刚 开始 看到 苹 果 这个 词 的时候 它
12:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 是
12:08
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
0.1 0.1 0.6 0.6
12:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这
12:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果
12:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又
12:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就
12:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 变 成 了 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 0.
12:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 没 注意 哦 到 这里 Att ention 主 要 完成 了 一 件 事 把
12:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 本 散 落 在 其 他 T oken 里 的 线 索 拿 到了 苹 果 这里 现在 模 型
12:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 这个 苹 果
12:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 很 贵 它 也是 黑 色 的 但是 水 果 和 科 技 产 品 这 两
12:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 可能 性 还 没有 真 正 拉 开 差 距 那 接 下 来 怎么 办 呢 我们 需要
12:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 新 的 组 件 来 对 这 些 线 索 进 行 进 一 步 的 分 析 计 算 这个 时候
12:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
上 个 视 频 中 的 老 朋友 潜 贵 神 经 网 络 也 就是 FF N 登 场
12:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 FF N 不 再 去 看 其 他的 t oken 他 只 看 苹 果 现在 手
12:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 已经 拥 有 了 这 些 信 息 然后 去 学 习 这 些 特 征 之 间 的 组 合 关
13:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 比如 这里 这个 苹 果 价 格 非常 高 还是 黑 色 的
13:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 两 个 特 征 组 合 在 一起 就 非常 不 像 一 颗 水 果 反 而 非常 像
13:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
苹 果 公 司 的 某 种 电 子 产 品 于 是 经 过 FF N 之 后 这
13:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 项 量 可能 就 进 一 步 变 成 了 0.
13:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
1 0.
13:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
95 高 价 和 黑 色 这 些 线 索 还 在 但是 水 果 属
13:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
性 被 明 显 压 低 了 科 技 属 性 则 被 大 幅 增 强 所以 Att ention
13:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 FF N 做 的 事情 并 不 一 样
13:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 负 责 让 T oken 之 间 交 换 信 息 而 钱 贵 神 经 网 络 呢
13:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
则 负 责 把 每 个 T oken 的 这 些 信 息 给 组 合 起 来 进 行 分 析 研 判 一个
13:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
负 责 交 流 一个 负 责 思 考 到 这里 啊 这 两 个 零 件 就 能 拼 成 一个 小
13:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
单 元 了 先 经 过 多 头 注意 力 交 换 信 息 再 经 过 钱 贵 神
13:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
经 网 络 消 化 加 工 这 就是 Trans form er 的 基本 单 元 不 过 这
13:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 单 元 啊 处 理 还 不 够 实 际 上 的 Trans form er 会 多 累 几 层 一 层 比 一
13:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
层 理 解 的 更 深 在 Att ention is All You Need 的 这 篇 论 文 里 面 啊 它 累 了 六 层
13:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 现在 的 大 语 言 模 型 动 辄 几 十 层 上 百 层 大 语 言 模 型 的 知 识 和
14:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 力 都 蕴 藏 在 这 些 网 络 参 数 里 了 但是 网 络 一 升 新 的 问题
14:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 又 又 来了 我们 刚 才 说 了 为 了 理 解 复 杂 的 语 言 Trans form
14:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 会 把 注意 力 和 FF N 模 块 叠 很多 层 让 模 型 逐 渐 抽
14:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
取 更 加 抽 象 的 特 征 但是 网 络 一 升 训 练 就 容易 出 问题 模
14:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
型 训 练 靠 的是 反 向 传 播 预 测 产 生 误 差 之 后 梯 度 会
14:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 最 后 一 层 一 路 向 前 传 告诉 前 面 的 参 数 应 该 怎么 调 整
14:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 过 程 本 质 上 是 依 赖 念 式 求 导 如果 踢 路 经 过 一 层 又
14:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 层 的 计 算 不 断 变 形

هذا النص تم إنتاجه بواسطة AI (التعرف الآلي على الكلام). قد يحتوي على أخطاء - التحقق من الصوت الأصلي للاستخدام الحرج. سياسة الذكاء الاصطناعي

❤️ هل تحب STT.ai؟ أخبر أصدقاءك!
موجز تنفيذي
انقر على ملخص لإنشاء ملخص للذكاء الاصطناعي لهذا النص.
وباختصار...
اسأل AI عن هذا النص
وإذا سألت عن أي شيء في هذا النص، سيجد المحقق الخاص الأقسام ذات الصلة ويجيبك.
تفريغ آخر