ScreenRecording_10-24-2026 08-12-44_1

Oct 24, 2026 02:35 · 14:33 · Chinese · Whisper Turbo · 3 Enregistraments
@ info 13 jorns Actualizar per un emmagatzematge permanent →
Lectura
@ info: status
0:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆
0:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立
0:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
联 系 呢
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 兄 弟,
0:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form
0:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天
0:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form
0:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的
0:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜
0:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的
0:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 只 这 时候 啊
0:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是
0:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更
0:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补
0:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢
0:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其
0:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我
1:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子
1:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛
1:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的
1:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们
1:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就
1:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较
1:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系
1:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重
1:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎
1:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15
1:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
% 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息
1:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息
1:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同
1:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要
1:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 哦
1:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量
2:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么
2:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前
2:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的
2:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽
2:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系
2:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken
2:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关
2:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强
2:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和
2:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中
2:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路
2:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是
2:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 的 最 核 心 的 思 想
2:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底
2:57
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面
3:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让
3:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢
3:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算
3:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚
3:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下
3:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指
3:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在
3:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索
3:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 啊
3:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索
3:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个
3:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概
3:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T
3:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一
3:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这
3:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q
4:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提
4:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份
4:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色
4:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向
4:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的
4:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接
4:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做
4:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比 较
4:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮
4:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那
4:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底
4:44
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后
4:48
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如
4:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它的 Q 和 轩 辕 的 K 算 出来 是 1.
4:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
2 它的 Q 和 绿 色 的 K 算 出来 是 0.
4:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 它的 Q 和
5:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 P 1 的 K 算 出来 是 6.
5:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So
5:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每
5:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会
5:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹
5:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配
5:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 随 着 训 练 的 进 行 相 关 的 参 数 不 断 调 整 Q 和 K 的 计 算 匹
5:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
配 就 越 来 越 接 近 语 言 中 的 规 律 了
5:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那么 接 下 来 呢 知道 了 该 关 注 谁 之 后 又 怎么 办 呢 真 正 有 用 的是
5:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
虎 平 15 这个 t oken 携 带 的 具 体 信 息 这 份 信 息 既 不是 这个 t oken
5:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 Q 也 不是 它的 K 这 两 个 呢 是 用 来 做 查 询 和 被 查 询 的 所以
5:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
每 个 t oken 还 需要 再 准 备 第三 份 项 量 这 份 项 量 它 不 负 责 搜 索
5:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 不 负 责 匹 配 它 负 责 保 存 真 正 需要 被 别 人 读 取 的 信 息
5:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 份 项 量 就是 value 简 称 V 到 这里 为 止 啊 我们 就 凑 齐 了
5:53
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 中 关 键 的 Q K V 三 件 套
5:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
Q 表示 我想 找 什么 K 表示 我 这里 大概 有 什么 V
6:01
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
表示 我 真 正 携 带 了 什么 信 息 那 还是 要 强 调 一下 这里
6:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
只是 为 了 帮 助 理 解 的 一个 简 单 的 类 比 那 真 实 的 模 型 并 不会 真的 把 宠
6:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
物 颜 色 人 物 这 些 文 本 标 签 写 到 Q Q V 里 面 他们 的 本 质 依
6:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
旧 是 一 组 高 位 数 字 那 上面 的 这 些 信 息 都是 藏 在 这 组 高 位 向
6:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
量 中 那 新 的 问题 又 来了 每 个 T oken 不是 只有 一个 持 向 量 吗 怎么
6:22
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
现在 每 个 T oken 突 然 冒 出来 三 个 向 量 了
6:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 问题 很好 解 决 假 设 虎 皮 音 5 原 来 是 有 一个 几 百 维 的
6:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
持 向 量 我们 把 这个 持 向 量 交 给 一个 线 性 变 换 得 到 第一 组 新
6:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 数 字 Q 再 交 给 另外 一个 线 性 变 换 得 到 第二 组 数 字 K 然后
6:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
再 经 过 第三 个 线 性 变 换 得 到 第三 组 数 字 V 每 个 T oken 都 会 做
6:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
相 同 的 事情 渲 源 有 了 自己 的 Q K V 养 了 有 自己 的 Q
6:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 虎 皮 音 5 也 有 自己 的 Q K V 那 至 于 这 三 次 线 性 变 换
6:49
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
到底 是 怎么 进 行 的 变 换 所 采 用 的 参 数 是 什么
6:52
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
同 样 不 需要 程 序 员 手 工 设 计 模 型 会 在 训 练 过 程 中 通 过 一次 又
6:56
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一次 的 预 测 错 误 和 反 向 传 播 慢慢 把它 们 给 学 出来 有 了 Q
7:00
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
K V 接 下 来 就 简 单 了 用 这 些 注意 力 的 权 重 乘 上 每 个 T oken 对
7:05
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
应 的 V 然后 把它 们 给 全部 加 起 来 权 重 高 的 T oken 就 多 贡 献
7:09
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一点 信 息 权 重 低 的 T oken 就 少 贡 献 一点 信 息 最 后 得 到
7:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 就是 当 前 T oken 融 合 上 下 文 之 后 的 全 新 的 销 量 在 Att ention
7:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
is all you need 那 篇 论 文 中 的 注意 力 故 事 它 干 的 核 心 事情 就是 这 些
7:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 这 篇 论 文 的 公 式 里 面 Q 和 K 点 击 以 后 还 会 除 以 一个 根
7:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
号 D 那 这样 做 主 要 是 因为 信 用 量 维 度 很 高 以 后 啊 点 击 结 果 很
7:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
容易 就 变 得 很 大 通 过 So ft max 以 后 就 可能 会 变 得 过 于 极 端 所以
7:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
先 把它 适 量 缩 小 一点 可以 让 训 练 更 加 稳 定 另外 还有 一个 细
7:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
节 我们 的 Q K V 呢 全部 来 自 于 同 一 句 话 里 的 T oken 一 句 话
7:41
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 自己 查 看 自己 这 种 情况 叫 做 S elf Alt ension 也 就是 自
7:45
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 那 与 之 对 应 的 一 句 话 跟 别 的话 做 注意 力 计 算
7:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那就 不是 自 助 盈 利 它 有 别 的 教 法 我们 等 会 儿 就 会 看到 不 过 只 有一
7:54
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
套 Q Q V 还是 不 够 我们
7:59
S… Speaker 2 (ScreenRecording_10-24-2026 08-12-44_1)
来 看 这样 一 句
8:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T
8:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明
8:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕
8:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 养 过 之 间 又 存 在 动 作 关 系
8:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同
8:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 句 话 里 面 可能 同 时 存 在 语 法 关 系 语 意 关 系 纸 带 关
8:26
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 等等 可 我们 刚 才 只 有一 套 Q Q V 很 难 同 时 兼 顾 多
8:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 关 系 既 然 一 套 不 够 那 我们 就 多 整 几 套 同 一 句 话 同 时
8:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
进 行 多 种 注意 力 计 算 第一 组 可能 主 要 关 注 纸 带 关 系 第二
8:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 呢 可能 重 点 关 注 附 近 的 词 第三 组 呢 可能 学 会 了 一些 长 距
8:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
离 的 关 系 第 四 组 啊 又 可能 学 到了 一些 其 他 完全 不同 的 模 式
8:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
当然 了 这 些 谁 负 责 指 代 谁 负 责 语 法 依 然 不是 程 序 员 提 前
8:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
安 排 好的 每 一 组 耳 腾 形 最 后 到底 学 到了 什么 都是 训 练 自己 决 定
8:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 我们 只 负 责 给 它 多 个 不同 的 观 察 空 间 最 后 再 把 这 些 不同
8:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 耳 腾 形 得 到 的 结 果 拼 起 来 形 成 更 丰 富 的 表示 刚 才
9:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 一次 从 多 个 角 度 同 时 做 耳 腾 形 的 方 法 就是 多 头 注意 力
9:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所 谓 一个 头 可以 暂 时 理 解 成 一 套 独 立 的 注意 力 计 算 一个
9:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
角 度 看 不 明白 那就 多 个 角 度 一起 看
9:13
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 看到 的 才 是 相 对 比 较 全 面 的 在 Att ention is all you need 的 这
9:17
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
篇 论 文 中 原 始 的 Trans form er 就 采 用 了 8 个 头 注意 力 的 这 种 计
9:21
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 方 式 把 L ST M 两 个 问题 都 解 决 了 不 需要 再 经 过 中
9:25
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
间 一 大 串 T oken 传 递 信 息 他们 可以 直接 建 立 联 系 而且 一 句 话
9:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 的 T oken 不 再 需要 像 R N N L ST M 那 样 一个 处 理 完 再 处 理 下
9:33
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 所有 T oken 的 Q K V 都 可以 一起 算 也可以 通 过 大 规
9:37
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
模 的 矩 阵 一 算 一起 完成 所以 Trans form er 相 比 R N N 和 L ST M
9:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
更 容易 利 用 G PU 进 行 大 规 模 的 并 行 训 练 这 也是 后 来 模 型
9:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 够 越 做 越 大的 一个 非常 重要 的 前 提 然 而 这 项 并 行 计 算 引 出
9:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 一个 非常 关 键 的 问题 T oken 之 间 的 先 后 顺 序 信 息 丢 失 了 原
9:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
来 的 R N N L ST M 因为 是 串 行 处 理 它 天 然 就是 有 序 的 计 算 但
9:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
并 行 是 把 所有 的 T oken 一起 进 行 计 算 模 型 怎么 知道 谁 在 前 谁 在 后
10:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
呢
10:04
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
比如 下面 这 两 句 话 轩 原 养 了 鹦 鹉 和 鹦 鹉 养 了 轩 原 这
10:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 句 话 里 面 出 现 的 词 都是 三 个 一 样 的 t oken 只是 顺 序 不 一 样 也
10:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
正 是 因为 顺 序 变 了 表 达 出来 的 意思 完全 不同 注意 力 机 制 只是 计
10:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
算 t oken 之 间 的 相 关 性 它 并 没有 去 处 理 词 语 的 顺 序 那 怎么
10:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
办 呢 我们 可以 在 每 个 t oken 原 来 的 词 项 量 上 再 增 加 一 份 专
10:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
门 表示 位 置 的 信 息 第一 个 t oken 加 上 一 份 表示 位 置 1 的 信 息
10:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
第二 个 t oken 加 上 一 份 表示 位 置 2 的 信 息 以 此 类 推
10:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这样 模 型 收 到 的 就 不 再 是 这个 词 是 谁 他 同 时 还 知道 这个 词
10:36
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
在 什么 位 置 刚 才 这 份 额 外 加入 的 位 置 数 据 就是 P resent ion C oding
10:40
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
位 置 编 码
10:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 始 Trans form er 使 用 了 正 线 和 语 线 函 数 来 生 成 未 知 编 码 现在
10:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
的 大 语 言 模 型 又 发 展 出 了 一些 新 的 方 案 这 一 期 我们 先 不 展 开 这 些
10:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
细 节 当 下 你 只 需要 记 住 World Emb ed ding 告诉 模 型 T oken 的 语 意
10:54
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 未 知 编 码 则 告诉 模 型 T oken 的 顺 序 到 这里 每
10:58
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
个 T oken 就 已经 可以 带 着 自己 的 语 意 和 未 知 信 息 通 过 多 投 注 引
11:02
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
力 和 其 他 T oken 大 规 模 交 换 信 息 了 不知道 大家 看到 这里 能 听 懂
11:06
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
多少 可以 弹 幕 来 互 动 一下 到 现在 为 止 看 起 来 好像 还 不 错 的 样 子
11:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
但是 这 距 离 我们 的 目 标 还 差 得 远 我们 是 要 完成 猜 词 游 戏 根
11:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
据 一 句 话 前 面 的 内 容 猜 出 后 面 的 内 容 而 腾 醒 很 擅 长 帮
11:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
T oken 到 处 寻 找 信 息 我们 的 猜 词 游 戏 要 怎么 继 续 下去 呢 咱
11:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
们 接 着 往 下 看 我们 来 看 下面 这 句 话 轩 原 买 了 个 黑 色 的 苹 果
11:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
花 了 一 万 多 块 钱 这里 的 苹 果 到底 是 水 果 还是 苹 果 公 司 的 产
11:31
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
品 呢 聪 明 的 你 啊 几 乎 一 瞬 间 就 能 察 觉 到 这 世界 上 哪 里 有
11:35
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可以 吃 的 苹 果 还 卖 一 万 多 块 钱 啊 而且 还是 黑 色 的
11:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
所以 这里 一定 指 的是 苹 果 公 司 的 产 品 那 我们 来 看一下 计 算 机
11:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 是 如何 把 这 一点 给 分 析 出来 呢 为 了 方 便 理 解 我们 假 设 从 苹 果
11:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 来 几 百 维 的 像 量 里 面 只 挑 四 个 特 征 来 进 行 观 察 分 别 是
11:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
高 价 黑 色 外 观 水 果 属 性 科 技 属 性
11:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
那 需要 说 明 一下 实 际 上 的 像 量 语 义 是 非常 复 杂 的 几 乎
11:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
不会 单 独 存 在 某 些 维 度 刚 好 就 对 应 这 四 个 方面 这里 呢 只是 为 了 方 便
12:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
理 解 简 化 了 持 像 量 的 维 度 设 定 刚 开始 看到 苹 果 这个 词 的时候 它
12:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 是
12:08
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
0.1 0.1 0.6 0.6
12:10
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这
12:14
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果
12:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又
12:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就
12:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
可能 变 成 了 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
12:29
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 0.
12:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
6 没 注意 哦 到 这里 Att ention 主 要 完成 了 一 件 事 把
12:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
原 本 散 落 在 其 他 T oken 里 的 线 索 拿 到了 苹 果 这里 现在 模 型
12:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
知道 了 这个 苹 果
12:39
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
它 很 贵 它 也是 黑 色 的 但是 水 果 和 科 技 产 品 这 两
12:43
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
种 可能 性 还 没有 真 正 拉 开 差 距 那 接 下 来 怎么 办 呢 我们 需要
12:47
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 新 的 组 件 来 对 这 些 线 索 进 行 进 一 步 的 分 析 计 算 这个 时候
12:51
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
上 个 视 频 中 的 老 朋友 潜 贵 神 经 网 络 也 就是 FF N 登 场
12:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
了 FF N 不 再 去 看 其 他的 t oken 他 只 看 苹 果 现在 手
12:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
里 已经 拥 有 了 这 些 信 息 然后 去 学 习 这 些 特 征 之 间 的 组 合 关
13:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
系 比如 这里 这个 苹 果 价 格 非常 高 还是 黑 色 的
13:08
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这 两 个 特 征 组 合 在 一起 就 非常 不 像 一 颗 水 果 反 而 非常 像
13:12
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
苹 果 公 司 的 某 种 电 子 产 品 于 是 经 过 FF N 之 后 这
13:16
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
组 项 量 可能 就 进 一 步 变 成 了 0.
13:18
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
9 0.
13:18
S… Speaker 3 (ScreenRecording_10-24-2026 08-12-44_1)
1 0.
13:19
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
95 高 价 和 黑 色 这 些 线 索 还 在 但是 水 果 属
13:23
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
性 被 明 显 压 低 了 科 技 属 性 则 被 大 幅 增 强 所以 Att ention
13:27
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
和 FF N 做 的 事情 并 不 一 样
13:30
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
注意 力 机 制 负 责 让 T oken 之 间 交 换 信 息 而 钱 贵 神 经 网 络 呢
13:34
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
则 负 责 把 每 个 T oken 的 这 些 信 息 给 组 合 起 来 进 行 分 析 研 判 一个
13:38
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
负 责 交 流 一个 负 责 思 考 到 这里 啊 这 两 个 零 件 就 能 拼 成 一个 小
13:42
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
单 元 了 先 经 过 多 头 注意 力 交 换 信 息 再 经 过 钱 贵 神
13:46
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
经 网 络 消 化 加 工 这 就是 Trans form er 的 基本 单 元 不 过 这
13:50
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一个 单 元 啊 处 理 还 不 够 实 际 上 的 Trans form er 会 多 累 几 层 一 层 比 一
13:55
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
层 理 解 的 更 深 在 Att ention is All You Need 的 这 篇 论 文 里 面 啊 它 累 了 六 层
13:59
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
而 现在 的 大 语 言 模 型 动 辄 几 十 层 上 百 层 大 语 言 模 型 的 知 识 和
14:03
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
能 力 都 蕴 藏 在 这 些 网 络 参 数 里 了 但是 网 络 一 升 新 的 问题
14:07
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
又 又 又 来了 我们 刚 才 说 了 为 了 理 解 复 杂 的 语 言 Trans form
14:11
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
er 会 把 注意 力 和 FF N 模 块 叠 很多 层 让 模 型 逐 渐 抽
14:15
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
取 更 加 抽 象 的 特 征 但是 网 络 一 升 训 练 就 容易 出 问题 模
14:20
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
型 训 练 靠 的是 反 向 传 播 预 测 产 生 误 差 之 后 梯 度 会
14:24
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
从 最 后 一 层 一 路 向 前 传 告诉 前 面 的 参 数 应 该 怎么 调 整
14:28
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
这个 过 程 本 质 上 是 依 赖 念 式 求 导 如果 踢 路 经 过 一 层 又
14:32
S… Speaker 1 (ScreenRecording_10-24-2026 08-12-44_1)
一 层 的 计 算 不 断 变 形

@ info Politica IA

❤️ Amatz STT.ai? Ditz-lo als vòstres amics!
Resumit
@ action: button
Resumit...
Demandar a l'IA sus aquesta transcripcion
Demandatz quicòm sus aquesta transcripcion - l'IA trobarà las seccions pertinentas e respondrà.
Transcriure un autre