ScreenRecording_10-24-2026 08-12-44_1

Oct 24, 2026 02:35 · 14:33 · Chinese · Whisper Turbo · 3 بلندگوها
این رونوشت در 13 روزها ارتقا برای ذخیره‌سازی دائمی →
نمایۀ سخنرانی
نمایش فقط
0:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆
0:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立
0:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
联 系 呢
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 兄 弟,
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form
0:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天
0:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form
0:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的
0:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜
0:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的
0:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 只 这 时候 啊
0:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是
0:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更
0:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补
0:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢
0:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其
0:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我
1:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子
1:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛
1:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的
1:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们
1:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就
1:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较
1:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系
1:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重
1:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎
1:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15
1:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
% 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息
1:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息
1:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同
1:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要
1:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 哦
1:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量
2:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么
2:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前
2:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的
2:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽
2:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系
2:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken
2:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关
2:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强
2:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和
2:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中
2:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路
2:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是
2:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 的 最 核 心 的 思 想
2:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底
2:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面
3:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让
3:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢
3:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算
3:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚
3:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下
3:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指
3:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在
3:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索
3:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 啊
3:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索
3:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个
3:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概
3:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T
3:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一
3:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这
3:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q
4:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提
4:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份
4:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色
4:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向
4:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的
4:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接
4:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做
4:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比 较
4:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮
4:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那
4:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底
4:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后
4:48
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如
4:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它的 Q 和 轩 辕 的 K 算 出来 是 1.
4:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
2 它的 Q 和 绿 色 的 K 算 出来 是 0.
4:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 它的 Q 和
5:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 P 1 的 K 算 出来 是 6.
5:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So
5:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每
5:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会
5:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹
5:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配
5:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 随 着 训 练 的 进 行 相 关 的 参 数 不 断 调 整 Q 和 K 的 计 算 匹
5:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 就 越 来 越 接 近 语 言 中 的 规 律 了
5:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那么 接 下 来 呢 知道 了 该 关 注 谁 之 后 又 怎么 办 呢 真 正 有 用 的是
5:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 平 15 这个 t oken 携 带 的 具 体 信 息 这 份 信 息 既 不是 这个 t oken
5:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 Q 也 不是 它的 K 这 两 个 呢 是 用 来 做 查 询 和 被 查 询 的 所以
5:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 还 需要 再 准 备 第三 份 项 量 这 份 项 量 它 不 负 责 搜 索
5:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 不 负 责 匹 配 它 负 责 保 存 真 正 需要 被 别 人 读 取 的 信 息
5:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 份 项 量 就是 value 简 称 V 到 这里 为 止 啊 我们 就 凑 齐 了
5:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 中 关 键 的 Q K V 三 件 套
5:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
Q 表示 我想 找 什么 K 表示 我 这里 大概 有 什么 V
6:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
表示 我 真 正 携 带 了 什么 信 息 那 还是 要 强 调 一下 这里
6:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
只是 为 了 帮 助 理 解 的 一个 简 单 的 类 比 那 真 实 的 模 型 并 不会 真的 把 宠
6:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
物 颜 色 人 物 这 些 文 本 标 签 写 到 Q Q V 里 面 他们 的 本 质 依
6:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旧 是 一 组 高 位 数 字 那 上面 的 这 些 信 息 都是 藏 在 这 组 高 位 向
6:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 中 那 新 的 问题 又 来了 每 个 T oken 不是 只有 一个 持 向 量 吗 怎么
6:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 每 个 T oken 突 然 冒 出来 三 个 向 量 了
6:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 问题 很好 解 决 假 设 虎 皮 音 5 原 来 是 有 一个 几 百 维 的
6:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
持 向 量 我们 把 这个 持 向 量 交 给 一个 线 性 变 换 得 到 第一 组 新
6:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 数 字 Q 再 交 给 另外 一个 线 性 变 换 得 到 第二 组 数 字 K 然后
6:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
再 经 过 第三 个 线 性 变 换 得 到 第三 组 数 字 V 每 个 T oken 都 会 做
6:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
相 同 的 事情 渲 源 有 了 自己 的 Q K V 养 了 有 自己 的 Q
6:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 虎 皮 音 5 也 有 自己 的 Q K V 那 至 于 这 三 次 线 性 变 换
6:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
到底 是 怎么 进 行 的 变 换 所 采 用 的 参 数 是 什么
6:52
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 不 需要 程 序 员 手 工 设 计 模 型 会 在 训 练 过 程 中 通 过 一次 又
6:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一次 的 预 测 错 误 和 反 向 传 播 慢慢 把它 们 给 学 出来 有 了 Q
7:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 接 下 来 就 简 单 了 用 这 些 注意 力 的 权 重 乘 上 每 个 T oken 对
7:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
应 的 V 然后 把它 们 给 全部 加 起 来 权 重 高 的 T oken 就 多 贡 献
7:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 信 息 权 重 低 的 T oken 就 少 贡 献 一点 信 息 最 后 得 到
7:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 就是 当 前 T oken 融 合 上 下 文 之 后 的 全 新 的 销 量 在 Att ention
7:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
is all you need 那 篇 论 文 中 的 注意 力 故 事 它 干 的 核 心 事情 就是 这 些
7:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 这 篇 论 文 的 公 式 里 面 Q 和 K 点 击 以 后 还 会 除 以 一个 根
7:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
号 D 那 这样 做 主 要 是 因为 信 用 量 维 度 很 高 以 后 啊 点 击 结 果 很
7:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
容易 就 变 得 很 大 通 过 So ft max 以 后 就 可能 会 变 得 过 于 极 端 所以
7:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
先 把它 适 量 缩 小 一点 可以 让 训 练 更 加 稳 定 另外 还有 一个 细
7:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
节 我们 的 Q K V 呢 全部 来 自 于 同 一 句 话 里 的 T oken 一 句 话
7:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 自己 查 看 自己 这 种 情况 叫 做 S elf Alt ension 也 就是 自
7:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 那 与 之 对 应 的 一 句 话 跟 别 的话 做 注意 力 计 算
7:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那就 不是 自 助 盈 利 它 有 别 的 教 法 我们 等 会 儿 就 会 看到 不 过 只 有一
7:54
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
套 Q Q V 还是 不 够 我们
7:59
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
来 看 这样 一 句
8:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T
8:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明
8:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕
8:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 养 过 之 间 又 存 在 动 作 关 系
8:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同
8:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 句 话 里 面 可能 同 时 存 在 语 法 关 系 语 意 关 系 纸 带 关
8:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 等等 可 我们 刚 才 只 有一 套 Q Q V 很 难 同 时 兼 顾 多
8:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 关 系 既 然 一 套 不 够 那 我们 就 多 整 几 套 同 一 句 话 同 时
8:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
进 行 多 种 注意 力 计 算 第一 组 可能 主 要 关 注 纸 带 关 系 第二
8:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 呢 可能 重 点 关 注 附 近 的 词 第三 组 呢 可能 学 会 了 一些 长 距
8:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
离 的 关 系 第 四 组 啊 又 可能 学 到了 一些 其 他 完全 不同 的 模 式
8:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
当然 了 这 些 谁 负 责 指 代 谁 负 责 语 法 依 然 不是 程 序 员 提 前
8:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
安 排 好的 每 一 组 耳 腾 形 最 后 到底 学 到了 什么 都是 训 练 自己 决 定
8:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 我们 只 负 责 给 它 多 个 不同 的 观 察 空 间 最 后 再 把 这 些 不同
8:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 耳 腾 形 得 到 的 结 果 拼 起 来 形 成 更 丰 富 的 表示 刚 才
9:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 一次 从 多 个 角 度 同 时 做 耳 腾 形 的 方 法 就是 多 头 注意 力
9:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 一个 头 可以 暂 时 理 解 成 一 套 独 立 的 注意 力 计 算 一个
9:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
角 度 看 不 明白 那就 多 个 角 度 一起 看
9:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 看到 的 才 是 相 对 比 较 全 面 的 在 Att ention is all you need 的 这
9:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
篇 论 文 中 原 始 的 Trans form er 就 采 用 了 8 个 头 注意 力 的 这 种 计
9:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 方 式 把 L ST M 两 个 问题 都 解 决 了 不 需要 再 经 过 中
9:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 一 大 串 T oken 传 递 信 息 他们 可以 直接 建 立 联 系 而且 一 句 话
9:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 不 再 需要 像 R N N L ST M 那 样 一个 处 理 完 再 处 理 下
9:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 所有 T oken 的 Q K V 都 可以 一起 算 也可以 通 过 大 规
9:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
模 的 矩 阵 一 算 一起 完成 所以 Trans form er 相 比 R N N 和 L ST M
9:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
更 容易 利 用 G PU 进 行 大 规 模 的 并 行 训 练 这 也是 后 来 模 型
9:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 够 越 做 越 大的 一个 非常 重要 的 前 提 然 而 这 项 并 行 计 算 引 出
9:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 一个 非常 关 键 的 问题 T oken 之 间 的 先 后 顺 序 信 息 丢 失 了 原
9:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 R N N L ST M 因为 是 串 行 处 理 它 天 然 就是 有 序 的 计 算 但
9:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
并 行 是 把 所有 的 T oken 一起 进 行 计 算 模 型 怎么 知道 谁 在 前 谁 在 后
10:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
呢
10:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比如 下面 这 两 句 话 轩 原 养 了 鹦 鹉 和 鹦 鹉 养 了 轩 原 这
10:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 句 话 里 面 出 现 的 词 都是 三 个 一 样 的 t oken 只是 顺 序 不 一 样 也
10:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
正 是 因为 顺 序 变 了 表 达 出来 的 意思 完全 不同 注意 力 机 制 只是 计
10:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 t oken 之 间 的 相 关 性 它 并 没有 去 处 理 词 语 的 顺 序 那 怎么
10:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
办 呢 我们 可以 在 每 个 t oken 原 来 的 词 项 量 上 再 增 加 一 份 专
10:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
门 表示 位 置 的 信 息 第一 个 t oken 加 上 一 份 表示 位 置 1 的 信 息
10:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
第二 个 t oken 加 上 一 份 表示 位 置 2 的 信 息 以 此 类 推
10:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 模 型 收 到 的 就 不 再 是 这个 词 是 谁 他 同 时 还 知道 这个 词
10:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 什么 位 置 刚 才 这 份 额 外 加入 的 位 置 数 据 就是 P resent ion C oding
10:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
位 置 编 码
10:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 始 Trans form er 使 用 了 正 线 和 语 线 函 数 来 生 成 未 知 编 码 现在
10:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 大 语 言 模 型 又 发 展 出 了 一些 新 的 方 案 这 一 期 我们 先 不 展 开 这 些
10:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
细 节 当 下 你 只 需要 记 住 World Emb ed ding 告诉 模 型 T oken 的 语 意
10:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 未 知 编 码 则 告诉 模 型 T oken 的 顺 序 到 这里 每
10:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 就 已经 可以 带 着 自己 的 语 意 和 未 知 信 息 通 过 多 投 注 引
11:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
力 和 其 他 T oken 大 规 模 交 换 信 息 了 不知道 大家 看到 这里 能 听 懂
11:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
多少 可以 弹 幕 来 互 动 一下 到 现在 为 止 看 起 来 好像 还 不 错 的 样 子
11:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 这 距 离 我们 的 目 标 还 差 得 远 我们 是 要 完成 猜 词 游 戏 根
11:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
据 一 句 话 前 面 的 内 容 猜 出 后 面 的 内 容 而 腾 醒 很 擅 长 帮
11:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
T oken 到 处 寻 找 信 息 我们 的 猜 词 游 戏 要 怎么 继 续 下去 呢 咱
11:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
们 接 着 往 下 看 我们 来 看 下面 这 句 话 轩 原 买 了 个 黑 色 的 苹 果
11:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
花 了 一 万 多 块 钱 这里 的 苹 果 到底 是 水 果 还是 苹 果 公 司 的 产
11:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
品 呢 聪 明 的 你 啊 几 乎 一 瞬 间 就 能 察 觉 到 这 世界 上 哪 里 有
11:35
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可以 吃 的 苹 果 还 卖 一 万 多 块 钱 啊 而且 还是 黑 色 的
11:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 这里 一定 指 的是 苹 果 公 司 的 产 品 那 我们 来 看一下 计 算 机
11:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 是 如何 把 这 一点 给 分 析 出来 呢 为 了 方 便 理 解 我们 假 设 从 苹 果
11:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 来 几 百 维 的 像 量 里 面 只 挑 四 个 特 征 来 进 行 观 察 分 别 是
11:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
高 价 黑 色 外 观 水 果 属 性 科 技 属 性
11:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 需要 说 明 一下 实 际 上 的 像 量 语 义 是 非常 复 杂 的 几 乎
11:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
不会 单 独 存 在 某 些 维 度 刚 好 就 对 应 这 四 个 方面 这里 呢 只是 为 了 方 便
12:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
理 解 简 化 了 持 像 量 的 维 度 设 定 刚 开始 看到 苹 果 这个 词 的时候 它
12:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 是
12:08
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
0.1 0.1 0.6 0.6
12:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这
12:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果
12:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又
12:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就
12:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 变 成 了 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 0.
12:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 没 注意 哦 到 这里 Att ention 主 要 完成 了 一 件 事 把
12:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 本 散 落 在 其 他 T oken 里 的 线 索 拿 到了 苹 果 这里 现在 模 型
12:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 这个 苹 果
12:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 很 贵 它 也是 黑 色 的 但是 水 果 和 科 技 产 品 这 两
12:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 可能 性 还 没有 真 正 拉 开 差 距 那 接 下 来 怎么 办 呢 我们 需要
12:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 新 的 组 件 来 对 这 些 线 索 进 行 进 一 步 的 分 析 计 算 这个 时候
12:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
上 个 视 频 中 的 老 朋友 潜 贵 神 经 网 络 也 就是 FF N 登 场
12:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 FF N 不 再 去 看 其 他的 t oken 他 只 看 苹 果 现在 手
12:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 已经 拥 有 了 这 些 信 息 然后 去 学 习 这 些 特 征 之 间 的 组 合 关
13:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 比如 这里 这个 苹 果 价 格 非常 高 还是 黑 色 的
13:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 两 个 特 征 组 合 在 一起 就 非常 不 像 一 颗 水 果 反 而 非常 像
13:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
苹 果 公 司 的 某 种 电 子 产 品 于 是 经 过 FF N 之 后 这
13:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 项 量 可能 就 进 一 步 变 成 了 0.
13:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
1 0.
13:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
95 高 价 和 黑 色 这 些 线 索 还 在 但是 水 果 属
13:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
性 被 明 显 压 低 了 科 技 属 性 则 被 大 幅 增 强 所以 Att ention
13:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 FF N 做 的 事情 并 不 一 样
13:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 负 责 让 T oken 之 间 交 换 信 息 而 钱 贵 神 经 网 络 呢
13:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
则 负 责 把 每 个 T oken 的 这 些 信 息 给 组 合 起 来 进 行 分 析 研 判 一个
13:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
负 责 交 流 一个 负 责 思 考 到 这里 啊 这 两 个 零 件 就 能 拼 成 一个 小
13:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
单 元 了 先 经 过 多 头 注意 力 交 换 信 息 再 经 过 钱 贵 神
13:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
经 网 络 消 化 加 工 这 就是 Trans form er 的 基本 单 元 不 过 这
13:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 单 元 啊 处 理 还 不 够 实 际 上 的 Trans form er 会 多 累 几 层 一 层 比 一
13:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
层 理 解 的 更 深 在 Att ention is All You Need 的 这 篇 论 文 里 面 啊 它 累 了 六 层
13:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 现在 的 大 语 言 模 型 动 辄 几 十 层 上 百 层 大 语 言 模 型 的 知 识 和
14:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 力 都 蕴 藏 在 这 些 网 络 参 数 里 了 但是 网 络 一 升 新 的 问题
14:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 又 又 来了 我们 刚 才 说 了 为 了 理 解 复 杂 的 语 言 Trans form
14:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 会 把 注意 力 和 FF N 模 块 叠 很多 层 让 模 型 逐 渐 抽
14:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
取 更 加 抽 象 的 特 征 但是 网 络 一 升 训 练 就 容易 出 问题 模
14:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
型 训 练 靠 的是 反 向 传 播 预 测 产 生 误 差 之 后 梯 度 会
14:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 最 后 一 层 一 路 向 前 传 告诉 前 面 的 参 数 应 该 怎么 调 整
14:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 过 程 本 质 上 是 依 赖 念 式 求 导 如果 踢 路 经 过 一 层 又
14:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 层 的 计 算 不 断 变 形

این رونوشت توسط AI (شناسایی خودکار گفتار) تولید شد. ممکن است حاوی خطا باشد — برای استفادهٔ حیاتی با صدای اصلی بررسی کنید. سیاست هوش مصنوعی

❤️ عاشق STT.ai هستي؟
خلاصه
برای تولید خلاصه‌ای از این رونوشت از هوش مصنوعی ، خلاصه را فشار دهید.
خلاصه کنم...
از هوش مصنوعی در مورد این رونوشت بپرسید
در این روش، هر سؤالی که در مورد این رونوشت پرسیده شود، هوش مصنوعی بخش‌های مربوطه را پیدا کرده و پاسخ می‌دهد.
رونوشت دیگری