ScreenRecording_10-24-2026 08-12-44_1
Oct 24, 2026 02:35
· 14:33
· Chinese
· Whisper Turbo
· 3 Qof-dheer
Qoraalkani wuxuu dhacayaa 13 maalmood.
Kordhinta kaydinta joogtada ah →
Soo bandhigida oo keliya
0:00
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆
0:04
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立
0:08
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
联 系 呢
0:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 兄 弟,
0:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form
0:13
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天
0:18
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form
0:22
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的
0:26
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜
0:30
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的
0:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 只 这 时候 啊
0:36
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是
0:40
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更
0:44
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补
0:49
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢
0:53
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其
0:57
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我
1:01
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子
1:04
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛
1:08
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的
1:12
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们
1:16
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就
1:20
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较
1:24
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系
1:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重
1:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎
1:36
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15
1:40
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
% 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息
1:45
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息
1:49
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同
1:53
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要
1:57
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 哦
1:58
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量
2:02
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么
2:06
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前
2:10
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的
2:14
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽
2:18
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系
2:22
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken
2:26
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关
2:30
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强
2:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和
2:38
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中
2:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路
2:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是
2:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 的 最 核 心 的 思 想
2:53
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底
2:57
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面
3:01
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让
3:05
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢
3:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算
3:13
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚
3:17
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下
3:21
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指
3:25
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在
3:29
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索
3:33
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 啊
3:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索
3:38
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个
3:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概
3:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T
3:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一
3:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这
3:59
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q
4:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提
4:07
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份
4:11
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色
4:15
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向
4:19
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的
4:23
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接
4:27
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做
4:31
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比 较
4:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮
4:36
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那
4:40
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底
4:44
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后
4:48
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如
4:53
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它的 Q 和 轩 辕 的 K 算 出来 是 1.
4:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
2 它的 Q 和 绿 色 的 K 算 出来 是 0.
4:58
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 它的 Q 和
5:00
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 P 1 的 K 算 出来 是 6.
5:01
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So
5:05
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每
5:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会
5:14
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹
5:18
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配
5:22
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 随 着 训 练 的 进 行 相 关 的 参 数 不 断 调 整 Q 和 K 的 计 算 匹
5:26
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 就 越 来 越 接 近 语 言 中 的 规 律 了
5:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那么 接 下 来 呢 知道 了 该 关 注 谁 之 后 又 怎么 办 呢 真 正 有 用 的是
5:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 平 15 这个 t oken 携 带 的 具 体 信 息 这 份 信 息 既 不是 这个 t oken
5:37
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 Q 也 不是 它的 K 这 两 个 呢 是 用 来 做 查 询 和 被 查 询 的 所以
5:41
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 还 需要 再 准 备 第三 份 项 量 这 份 项 量 它 不 负 责 搜 索
5:45
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 不 负 责 匹 配 它 负 责 保 存 真 正 需要 被 别 人 读 取 的 信 息
5:49
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 份 项 量 就是 value 简 称 V 到 这里 为 止 啊 我们 就 凑 齐 了
5:53
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 中 关 键 的 Q K V 三 件 套
5:56
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
Q 表示 我想 找 什么 K 表示 我 这里 大概 有 什么 V
6:01
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
表示 我 真 正 携 带 了 什么 信 息 那 还是 要 强 调 一下 这里
6:05
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
只是 为 了 帮 助 理 解 的 一个 简 单 的 类 比 那 真 实 的 模 型 并 不会 真的 把 宠
6:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
物 颜 色 人 物 这 些 文 本 标 签 写 到 Q Q V 里 面 他们 的 本 质 依
6:13
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旧 是 一 组 高 位 数 字 那 上面 的 这 些 信 息 都是 藏 在 这 组 高 位 向
6:17
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 中 那 新 的 问题 又 来了 每 个 T oken 不是 只有 一个 持 向 量 吗 怎么
6:22
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 每 个 T oken 突 然 冒 出来 三 个 向 量 了
6:24
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 问题 很好 解 决 假 设 虎 皮 音 5 原 来 是 有 一个 几 百 维 的
6:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
持 向 量 我们 把 这个 持 向 量 交 给 一个 线 性 变 换 得 到 第一 组 新
6:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 数 字 Q 再 交 给 另外 一个 线 性 变 换 得 到 第二 组 数 字 K 然后
6:37
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
再 经 过 第三 个 线 性 变 换 得 到 第三 组 数 字 V 每 个 T oken 都 会 做
6:41
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
相 同 的 事情 渲 源 有 了 自己 的 Q K V 养 了 有 自己 的 Q
6:45
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 虎 皮 音 5 也 有 自己 的 Q K V 那 至 于 这 三 次 线 性 变 换
6:49
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
到底 是 怎么 进 行 的 变 换 所 采 用 的 参 数 是 什么
6:52
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 不 需要 程 序 员 手 工 设 计 模 型 会 在 训 练 过 程 中 通 过 一次 又
6:56
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一次 的 预 测 错 误 和 反 向 传 播 慢慢 把它 们 给 学 出来 有 了 Q
7:00
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 接 下 来 就 简 单 了 用 这 些 注意 力 的 权 重 乘 上 每 个 T oken 对
7:05
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
应 的 V 然后 把它 们 给 全部 加 起 来 权 重 高 的 T oken 就 多 贡 献
7:09
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 信 息 权 重 低 的 T oken 就 少 贡 献 一点 信 息 最 后 得 到
7:13
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 就是 当 前 T oken 融 合 上 下 文 之 后 的 全 新 的 销 量 在 Att ention
7:17
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
is all you need 那 篇 论 文 中 的 注意 力 故 事 它 干 的 核 心 事情 就是 这 些
7:21
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 这 篇 论 文 的 公 式 里 面 Q 和 K 点 击 以 后 还 会 除 以 一个 根
7:25
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
号 D 那 这样 做 主 要 是 因为 信 用 量 维 度 很 高 以 后 啊 点 击 结 果 很
7:29
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
容易 就 变 得 很 大 通 过 So ft max 以 后 就 可能 会 变 得 过 于 极 端 所以
7:33
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
先 把它 适 量 缩 小 一点 可以 让 训 练 更 加 稳 定 另外 还有 一个 细
7:37
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
节 我们 的 Q K V 呢 全部 来 自 于 同 一 句 话 里 的 T oken 一 句 话
7:41
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 自己 查 看 自己 这 种 情况 叫 做 S elf Alt ension 也 就是 自
7:45
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 那 与 之 对 应 的 一 句 话 跟 别 的话 做 注意 力 计 算
7:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那就 不是 自 助 盈 利 它 有 别 的 教 法 我们 等 会 儿 就 会 看到 不 过 只 有一
7:54
S…
Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
套 Q Q V 还是 不 够 我们
7:59
S…
Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
来 看 这样 一 句
8:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T
8:07
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明
8:11
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕
8:15
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 养 过 之 间 又 存 在 动 作 关 系
8:17
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同
8:21
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 句 话 里 面 可能 同 时 存 在 语 法 关 系 语 意 关 系 纸 带 关
8:26
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 等等 可 我们 刚 才 只 有一 套 Q Q V 很 难 同 时 兼 顾 多
8:30
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 关 系 既 然 一 套 不 够 那 我们 就 多 整 几 套 同 一 句 话 同 时
8:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
进 行 多 种 注意 力 计 算 第一 组 可能 主 要 关 注 纸 带 关 系 第二
8:38
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 呢 可能 重 点 关 注 附 近 的 词 第三 组 呢 可能 学 会 了 一些 长 距
8:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
离 的 关 系 第 四 组 啊 又 可能 学 到了 一些 其 他 完全 不同 的 模 式
8:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
当然 了 这 些 谁 负 责 指 代 谁 负 责 语 法 依 然 不是 程 序 员 提 前
8:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
安 排 好的 每 一 组 耳 腾 形 最 后 到底 学 到了 什么 都是 训 练 自己 决 定
8:54
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 我们 只 负 责 给 它 多 个 不同 的 观 察 空 间 最 后 再 把 这 些 不同
8:58
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 耳 腾 形 得 到 的 结 果 拼 起 来 形 成 更 丰 富 的 表示 刚 才
9:02
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 一次 从 多 个 角 度 同 时 做 耳 腾 形 的 方 法 就是 多 头 注意 力
9:06
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 一个 头 可以 暂 时 理 解 成 一 套 独 立 的 注意 力 计 算 一个
9:11
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
角 度 看 不 明白 那就 多 个 角 度 一起 看
9:13
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 看到 的 才 是 相 对 比 较 全 面 的 在 Att ention is all you need 的 这
9:17
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
篇 论 文 中 原 始 的 Trans form er 就 采 用 了 8 个 头 注意 力 的 这 种 计
9:21
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 方 式 把 L ST M 两 个 问题 都 解 决 了 不 需要 再 经 过 中
9:25
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 一 大 串 T oken 传 递 信 息 他们 可以 直接 建 立 联 系 而且 一 句 话
9:29
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 不 再 需要 像 R N N L ST M 那 样 一个 处 理 完 再 处 理 下
9:33
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 所有 T oken 的 Q K V 都 可以 一起 算 也可以 通 过 大 规
9:37
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
模 的 矩 阵 一 算 一起 完成 所以 Trans form er 相 比 R N N 和 L ST M
9:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
更 容易 利 用 G PU 进 行 大 规 模 的 并 行 训 练 这 也是 后 来 模 型
9:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 够 越 做 越 大的 一个 非常 重要 的 前 提 然 而 这 项 并 行 计 算 引 出
9:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 一个 非常 关 键 的 问题 T oken 之 间 的 先 后 顺 序 信 息 丢 失 了 原
9:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 R N N L ST M 因为 是 串 行 处 理 它 天 然 就是 有 序 的 计 算 但
9:59
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
并 行 是 把 所有 的 T oken 一起 进 行 计 算 模 型 怎么 知道 谁 在 前 谁 在 后
10:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
呢
10:04
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比如 下面 这 两 句 话 轩 原 养 了 鹦 鹉 和 鹦 鹉 养 了 轩 原 这
10:08
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 句 话 里 面 出 现 的 词 都是 三 个 一 样 的 t oken 只是 顺 序 不 一 样 也
10:12
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
正 是 因为 顺 序 变 了 表 达 出来 的 意思 完全 不同 注意 力 机 制 只是 计
10:16
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 t oken 之 间 的 相 关 性 它 并 没有 去 处 理 词 语 的 顺 序 那 怎么
10:20
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
办 呢 我们 可以 在 每 个 t oken 原 来 的 词 项 量 上 再 增 加 一 份 专
10:24
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
门 表示 位 置 的 信 息 第一 个 t oken 加 上 一 份 表示 位 置 1 的 信 息
10:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
第二 个 t oken 加 上 一 份 表示 位 置 2 的 信 息 以 此 类 推
10:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 模 型 收 到 的 就 不 再 是 这个 词 是 谁 他 同 时 还 知道 这个 词
10:36
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 什么 位 置 刚 才 这 份 额 外 加入 的 位 置 数 据 就是 P resent ion C oding
10:40
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
位 置 编 码
10:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 始 Trans form er 使 用 了 正 线 和 语 线 函 数 来 生 成 未 知 编 码 现在
10:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 大 语 言 模 型 又 发 展 出 了 一些 新 的 方 案 这 一 期 我们 先 不 展 开 这 些
10:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
细 节 当 下 你 只 需要 记 住 World Emb ed ding 告诉 模 型 T oken 的 语 意
10:54
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 未 知 编 码 则 告诉 模 型 T oken 的 顺 序 到 这里 每
10:58
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 就 已经 可以 带 着 自己 的 语 意 和 未 知 信 息 通 过 多 投 注 引
11:02
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
力 和 其 他 T oken 大 规 模 交 换 信 息 了 不知道 大家 看到 这里 能 听 懂
11:06
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
多少 可以 弹 幕 来 互 动 一下 到 现在 为 止 看 起 来 好像 还 不 错 的 样 子
11:11
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 这 距 离 我们 的 目 标 还 差 得 远 我们 是 要 完成 猜 词 游 戏 根
11:15
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
据 一 句 话 前 面 的 内 容 猜 出 后 面 的 内 容 而 腾 醒 很 擅 长 帮
11:19
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
T oken 到 处 寻 找 信 息 我们 的 猜 词 游 戏 要 怎么 继 续 下去 呢 咱
11:23
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
们 接 着 往 下 看 我们 来 看 下面 这 句 话 轩 原 买 了 个 黑 色 的 苹 果
11:27
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
花 了 一 万 多 块 钱 这里 的 苹 果 到底 是 水 果 还是 苹 果 公 司 的 产
11:31
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
品 呢 聪 明 的 你 啊 几 乎 一 瞬 间 就 能 察 觉 到 这 世界 上 哪 里 有
11:35
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可以 吃 的 苹 果 还 卖 一 万 多 块 钱 啊 而且 还是 黑 色 的
11:39
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 这里 一定 指 的是 苹 果 公 司 的 产 品 那 我们 来 看一下 计 算 机
11:43
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 是 如何 把 这 一点 给 分 析 出来 呢 为 了 方 便 理 解 我们 假 设 从 苹 果
11:47
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 来 几 百 维 的 像 量 里 面 只 挑 四 个 特 征 来 进 行 观 察 分 别 是
11:51
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
高 价 黑 色 外 观 水 果 属 性 科 技 属 性
11:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 需要 说 明 一下 实 际 上 的 像 量 语 义 是 非常 复 杂 的 几 乎
11:59
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
不会 单 独 存 在 某 些 维 度 刚 好 就 对 应 这 四 个 方面 这里 呢 只是 为 了 方 便
12:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
理 解 简 化 了 持 像 量 的 维 度 设 定 刚 开始 看到 苹 果 这个 词 的时候 它
12:07
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 是
12:08
S…
Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
0.1 0.1 0.6 0.6
12:10
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这
12:14
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果
12:18
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又
12:23
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就
12:27
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 变 成 了 0.
12:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:29
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 0.
12:30
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 没 注意 哦 到 这里 Att ention 主 要 完成 了 一 件 事 把
12:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 本 散 落 在 其 他 T oken 里 的 线 索 拿 到了 苹 果 这里 现在 模 型
12:38
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 这个 苹 果
12:39
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 很 贵 它 也是 黑 色 的 但是 水 果 和 科 技 产 品 这 两
12:43
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 可能 性 还 没有 真 正 拉 开 差 距 那 接 下 来 怎么 办 呢 我们 需要
12:47
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 新 的 组 件 来 对 这 些 线 索 进 行 进 一 步 的 分 析 计 算 这个 时候
12:51
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
上 个 视 频 中 的 老 朋友 潜 贵 神 经 网 络 也 就是 FF N 登 场
12:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 FF N 不 再 去 看 其 他的 t oken 他 只 看 苹 果 现在 手
12:59
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 已经 拥 有 了 这 些 信 息 然后 去 学 习 这 些 特 征 之 间 的 组 合 关
13:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 比如 这里 这个 苹 果 价 格 非常 高 还是 黑 色 的
13:08
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 两 个 特 征 组 合 在 一起 就 非常 不 像 一 颗 水 果 反 而 非常 像
13:12
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
苹 果 公 司 的 某 种 电 子 产 品 于 是 经 过 FF N 之 后 这
13:16
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 项 量 可能 就 进 一 步 变 成 了 0.
13:18
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S…
Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S…
Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
1 0.
13:19
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
95 高 价 和 黑 色 这 些 线 索 还 在 但是 水 果 属
13:23
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
性 被 明 显 压 低 了 科 技 属 性 则 被 大 幅 增 强 所以 Att ention
13:27
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 FF N 做 的 事情 并 不 一 样
13:30
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 负 责 让 T oken 之 间 交 换 信 息 而 钱 贵 神 经 网 络 呢
13:34
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
则 负 责 把 每 个 T oken 的 这 些 信 息 给 组 合 起 来 进 行 分 析 研 判 一个
13:38
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
负 责 交 流 一个 负 责 思 考 到 这里 啊 这 两 个 零 件 就 能 拼 成 一个 小
13:42
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
单 元 了 先 经 过 多 头 注意 力 交 换 信 息 再 经 过 钱 贵 神
13:46
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
经 网 络 消 化 加 工 这 就是 Trans form er 的 基本 单 元 不 过 这
13:50
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 单 元 啊 处 理 还 不 够 实 际 上 的 Trans form er 会 多 累 几 层 一 层 比 一
13:55
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
层 理 解 的 更 深 在 Att ention is All You Need 的 这 篇 论 文 里 面 啊 它 累 了 六 层
13:59
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 现在 的 大 语 言 模 型 动 辄 几 十 层 上 百 层 大 语 言 模 型 的 知 识 和
14:03
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 力 都 蕴 藏 在 这 些 网 络 参 数 里 了 但是 网 络 一 升 新 的 问题
14:07
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 又 又 来了 我们 刚 才 说 了 为 了 理 解 复 杂 的 语 言 Trans form
14:11
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 会 把 注意 力 和 FF N 模 块 叠 很多 层 让 模 型 逐 渐 抽
14:15
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
取 更 加 抽 象 的 特 征 但是 网 络 一 升 训 练 就 容易 出 问题 模
14:20
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
型 训 练 靠 的是 反 向 传 播 预 测 产 生 误 差 之 后 梯 度 会
14:24
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 最 后 一 层 一 路 向 前 传 告诉 前 面 的 参 数 应 该 怎么 调 整
14:28
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 过 程 本 质 上 是 依 赖 念 式 求 导 如果 踢 路 经 过 一 层 又
14:32
S…
Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 层 的 计 算 不 断 变 形
Qoraalkan waxaa abuuray AI (u aqoonsiga hadalka otomaatiga ah). Waxay ku jiri kartaa khaladaad — xaqiijin ka dhanka ah audio asalka ah ee isticmaalka muhiimka ah. Xeerka AI
Qiyaas
Riix Summarize in ay soo saaraan AI faahfaahin ka mid ah qoraalkan.
La iskugu soo uruurinayo...
Su'aal AI Ku saabsan this transcript
Su'aal wax kasta oo ku saabsan qoraalkan - AI ka heli doonaa qaybaha la xiriira iyo jawaab.