ScreenRecording_10-24-2026 08-12-44_1

Kaikōrero

• Speaker 1 0:00
• Speaker 2 7:54
• Speaker 3 12:08

1. 0:00

   Waihoki 1: 几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆 一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立 联 系 呢 有 道 兄 弟, 有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天 这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个 当 今 AI 大 模 型 的 主 视 野 Trans form er 到底 是 个 什么 玩 意 儿 欢 迎 一 键 三 连 不 迷 路 咱 们 开始 今天的 旅 程 让 我们 先 暂 时 忘 掉 Trans form er 这个 名 字 还是 回 到 我们 的 猜 词 游 戏 当 我们 人 类 读 到 但 它 始 终 记 得 小 时候 养 过 的 那 只 这 时候 啊 大 脑 会 很 自 然 的 回 头 寻 找 前 文 里 面 和 纳 芝 相 关 的 信 息 但是 我们 不会 把 前 面 的 内 容 从 头 到 尾 再 一个 一个 再 分 析 一 遍 我们 更 像 是 在 一 瞬 间 把 前 面 的 内 容 给 少 了 一 遍 然后 迅 速 注意 到了 补 贫 义 务 和 纳 芝 的 关 系 最 强 那 能 不能 让 神 经 网 络 也 这么 干 呢 我们 可以 依 上 一 句 话 里 面 的 每 一个 T oken 都有 机 会 直接 查 看 其 他 所有 的 T oken 然后 每 一个 T oken 都 问 一 句 这 些 词 里 面 哪 些 和 我 最 相 关 为 了 方 便 理 解 我们 换 一个 短 一点 的 例 子 假 设 现在 有 了 这样 一 句 话 轩 源 养 了 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 现在 我们 正 在 处 理 它 这个 t oken 人 类 当然 知道 这里 的 它 大概 率 指 的 就是 前 面 的 虎 皮 鹦 鹉 肯 定 不是 轩 源 那 我们 也 让 模 型 把 句 子 里 面 的 几 个 t oken 全部 都 看 一 遍 具 体 怎么 看 呢 一 会 儿 你就 知道 了 模 型 看 了 之 后 可能 会 算 出来 轩 源 和 它的 关 系 比 较 弱 养 了 和 它的 关 系 也 比 较 弱 而 虎 皮 鹦 鹉 和 它的 关 系 非常的 密 切 假 设 最 终 得 到了 这样 一 组 权 重 轩 远 的 权 重 是 10 % 养 了 的 权 重 是 5 % 虎 皮 鹦 鹉 的 权 重 是 70 % 其 他 t oken 再 分 掉 剩 下 的 15 % 接 下 来 我们 就 按 照 这 些 权 重 把 不同 的 t oken 携 带 的 信 息 给 混 合 起 来 虎 皮 鹦 鹉 的 权 重 最 高 那就 多 拿 一点 他的 信 息 养 了 的 权 重 很 低 那就 傻 拿 一点 他的 信 息 所有 的 信 息 按 照 不同 权 重 加 在 一起 之 后 他 这个 t oken 就 会 得 到 一 份 新 的 限 量 了 要 注意 哦 这个 新 的 项 量 已经 不 再 是 最 开始 那个 孤 零 零 的 他的 持 项 量 了 原 来 的 持 项 量 主 要 表 达 的是 他 这个 词 本 身 大概 是 什么 意思 而 经 过 刚 才 这 番 操 作 以 后 新 项 量 里 面 就 融 合 了 当 前 这 句 话 的 上 下 文 尤 其 是 虎 皮 鹦 鹉 的 信 息 会 大 量 进 入 他的 新 项 量 那 这样 一 来 呢 模 型 后 面 再 继 续 处 理 他 有 绿 色 的 羽 毛 的时候 就 能 够 知道 这个 他 和 虎 皮 鹦 鹉 有 非常 强 的 关 系 同 样 的 方 法 可以 运 用 到 巨 子 里 的 每 一个 T oken 每 个 T oken 都 可以 直接 查 看 其 他 T oken 然后 把 和 自己 相 关 的 信 息 给 拿 回 来 绿 色 这个 T oken 可以 去 寻 找 和 自己 关 系 最 强 的 羽 毛 养 的 这个 T oken 可以 去 寻 找 和 自己 关 系 很 强 的 轩 辕 和 护 平 鹦 鹉 一 句 话 里 的 T oken 就 这样 互 相 查 看 互 相 交 换 信 息 中 间 隔 了 一个 T oken 还是 100 个 T oken 都 不 再 需要 像 R N N 那 样 一 路 传 话 刚 才 我们 设 计 出来 的 这 种 机 制 就是 Att ention 也 就是 注意 力 机 制 的 最 核 心 的 思 想 所 谓 注意 力 说 白 了 就是 让 当 前 的 t oken 判 断 其 他 t oken 对 自己 到底 有 多 重要 然后 重 点 读 取 重要 的 信 息 那 上面 的 描 述 很 美 好 但 问题 来了 该 如何 实 现 这 套 方 法 呢 让 每 个 t oken 去 看 其 他的 t oken 这个 看 要 具 体 怎么 看 呢 看 的时候 要 关 心 哪 些 t oken 这 些 t oken 的 权 中 值 又 是 怎么 计 算 出来 的 呢 接 下 来 就是 理 解 注意 力 机 制 的 关 键 了 我们 继 续 刚 刚 的 例 子 模 型 在 处 理 他 这个 t oken 的时候 为 了 完成 接 下 来 的 预 测 工作 需要 在 前 面 的 句 子 里 面 寻 找 到 这个 他 到底 指 代 谁 那 在 寻 找 之前 他 就 需要 先 表 达 一 件事情 我 现在 想 要 寻 找 什么 这 就 像 我们 上 网 搜 索 东 西 一 样 我们 得 输 入 搜 索 关 键 词 啊 所以 我们 需要 给 每 个 T oken 都 准 备 一 份 专 门 用 于 查 询 的 搜 索 关 键 词 比如 它 在 当 前 上 下 文 章 可能 想 要 寻 找 的是 一个 前 面 出 现 过 的 对 象 一 般 来 说 它 可能 是 一个 物 品 一个 东 西 大概 率 是 个 名 词 不 太 可能 是 一个 形 容 词 或者 副 词 和 之前 T oken 的 词 相 量 类 似 这 份 搜 索 关 键 词 也 不是 文 本 支 付 串 它 还是 一 种 数 字 组 成 的 高 位 向 量 而 搜 索 的 意 图 就 蕴 含 其 中 这 份 用 来 表 达 我 现在 想 找 什么 的 向 量 就是 Query 简 称 Q 但是 只有 查 询 还 不 够 每 个 t oken 也 得 声 明 一下 我 这里 提 供 了 什么 信 息 可 供 查 询 比如 虎 拼 15 这个 t oken 可以 提 供 一 份 适 合 被 查 询 的 信 息 轩 源 也 提 供 一 份 自己 的 信 息 绿 色 也 提 供 一 份 自己 的 信 息 这 份 专 门 拿 来 和 qu ery 做 匹 配 的 向 量 就是 key 简 称 key 现在 他 这个 t oken 手 里 有 自己 的 key 而 前 面 每 个 t oken 包括 他 自己 都有 自己 的 key 那 接 下 来 他 就可以 拿 着 自己 的 key key 去 和 别 人 的 key 做 比 较 如果 它的 Q 和 虎 皮 鹰 5 的 K 非常 匹 配 那 模 型 就 知道 虎 皮 鹰 5 很 值 得 关 注 如果 它的 Q 和 绿 色 的 K 不 太 匹 配 那 这个 绿 色 就 少 关 注 一点 那么 问题 来了 这个 Q 和 K 到底 要 怎么 匹 配 呢 我们 可以 让 这 两 个 向 量 做 点 击 点 击 以 后 会 得 到 一个 数 字 这个 数 字 越 大 就 认 为 这 两 个 向 量 越 匹 配 比如 它的 Q 和 轩 辕 的 K 算 出来 是 1. 301s · Speaker 1

   几 十 个 T oken 一 步 一 步 传 到 纳 兹 这里 呢 能 不能 干 脆 一点 让 纳 兹 这个 词 和 前 面 的 虎 皮 英 武 这个 词 直接 建 立 联 系 呢 有 道 兄 弟, 有 道 Trans form er 的 故 事 就 从 这里 正 式 开始 了 Trans form er 来 自 于 2017 年 那 篇 非常 知 名 的 乱 文 Att ention is all in need 今天 这 期 视 频 呢 我们 就 来 彻 底 搞 懂 这个…

2. 5:01

   Waihoki 2: 8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每 个 T oken 应 该 关 注 谁 以及 应 该 关… 173s · Speaker 1

   8 那 很 明 显 虎 P 1 这个 位 置 更 值 得 关 注 我们 再 通 过 So ft max 把 这 些 分 数 转 弯 成 对 应 的 权 重 于 是 模 型 就 知道 每 个 T oken 应 该 关 注 谁 以及 应 该 关 注 多少 了 看到 这里 估 计 大家都 会 有 一个 疑 问 怎么 就 能 保 证 它的 Q 和 虎 P 1 的 K 刚 好 匹 配 得 上 呢 答 案 还是 靠 训 练 一 开始 的时候 肯 定 是 胡 乱 匹 配 的 随 着 训 练…

3. 7:54

   Waihoki 3: 套 Q Q V 还是 不 够 我们 来 看 这样 一 句 话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 … 253s · Speaker 2

   套 Q Q V 还是 不 够 我们 来 看 这样 一 句 话 轩 辕 小 时候 养 过 一 只 虎 皮 鹦 鹉 它 有 绿 色 的 羽 毛 这里 面 T oken 和 T oken 之 间 的 关 系 非常 复 杂 它 和 虎 皮 鹦 鹉 之 间 是 明 显 的 纸 袋 关 系 绿 色 和 羽 毛 之 间 存 在 修 饰 关 系 轩 辕 和 养 过 之 间 又 存 在 动 作 关 系 仰 过 和 虎 平 义 武 之 间 又 存 在 另外 一 种 关 系 也 就是 说 啊 同 …

4. 12:08

   Waihoki 4: 0.1 0.1 0. 145s · Speaker 3

   0.1 0.1 0.6 0.6 也 就是 说 现在 没有 什么 高 价 黑 色 的 信 息 而 水 果 和 科 技 这 两 种 行 业 它 可能 都有 接 下 来 经 过 注意 力 的 计 算 苹 果 开始 去 看 周 围 其 他 T oken 它 从 黑 色 那 里 拿 回 了 外 观 信 息 又 从 1 万 多 块 钱 那 里 拿 回 了 很 强 的 高 价 信 息 于 是 它的 销 量 就 可能 变 成 了 0. 9 0. 9 0. 6 0. 6 没 注意 哦 到 这里…