OWenT | 欧文韬修改

2026-10-26 00:25:45

背景

前文 《大语言模型的基石：Transformer 入坑笔记（四） - 线性注意力(Linear Attention) 的基础》 介绍了线性注意力的基本思路：把历史 K/V 压进固定大小的状态，避免每次读出都遍历完整历史。 但计算量降下来以后，还有两个问题：有限状态该怎样保留和更新信息，以及怎样把递推计算组织成 GPU 擅长的大块矩阵运算。

2026-09-07 06:47:45

背景

接上文 《大语言模型的基石：Transformer 入坑笔记（三） - 注意力机制和 Transformer》。

通过之前的内容，我们大致了解了大语言模型的基石：Transformer 的基础原理。 但随之而来有一个问题：随着参数量和上下文长度的增长，计算量太大扛不住了。

现在很多大语言模型，经过了多轮迭代，终于陆陆续续能在参数量持续提高的前提下同时支撑 1M 上下文。

2026-06-28 09:25:45

背景

接上文 《大语言模型的基石：Transformer 入坑笔记（二） - 基本原理和 Word Embeddings》，继续我们的 Attention Is All You Need/Transformer 学习之旅。

首先简单了解下传统的方案。

卷积神经网络（CNN）

卷积神经网络（CNN）似乎更适合静态数据（比如图片处理、提取特征等）。 所谓静态数据，是指每个数据组都单独和目标矩阵运算，通过卷积层、池化层、全连接层等输出。 每个数据组都单独运算所以可以大规模并发，但是数据组之间也缺乏关联。 我大概看了下原理，和我们要关注的 Transformer 关系不大，先略过了。

2026-06-25 00:45:45

背景

继续我们的 Attention Is All You Need 学习之旅。

我不是这个领域的，只是感兴趣想补一下基础，所以这一篇先只看最通用的原理：神经网络训练的大概流程、Embedding 是什么，以及 Word2Vec 里两种常见优化思路。

Attention Is All You Need 最早落在机器翻译任务上，它提出的核心架构就是 Transformer。工程上我们常接触到的 Transformers 库，则是围绕这类模型提供了更完整的封装。

2026-05-01 04:45:45

前言

这几年 AI 的热度一直很高。日常问答、写代码、整理文档、做工具，它已经开始进入不少人的日常工程流。我最近也开始认真补这块东西，主要是想搞清楚：这些模型到底是怎么一步步训练出来的，以及它有没有机会更深入地帮我们优化游戏研发里的工作流。

2026-05-01 02:00:45

背景

这两天 DeepSeek V4 Pro 刚上线，小米那边也送了一个月的 Mimo Token plan。我本来就在试着用 AI 做一个完整工具，正好顺手把几个国产大语言模型都拉进来跑了一轮：GLM 5.1、Kimi K2.6、Mimo v2.5 Pro 和 DeepSeek V4 Pro。

测试样本是我手头正在做的一个工具项目，后面只保留和模型表现有关的数据，不展开它自己的功能设计。