MoreRSS

site iconOWenT | 欧文韬修改

腾讯北极光工作室后台组,华东理工大学。
请复制 RSS 到你的阅读器,或快速订阅到 :

Inoreader Feedly Follow Feedbin Local Reader

OWenT | 欧文韬的 RSS 预览

面向 CPU 缓存命中率的 AC 自动机优化

2026-11-21 23:34:45

背景

以前陆陆续续看到一些文章,讨论经典数据结构在现代 CPU 上的缓存局部性。(比如 Rust 标准库的有序字典容器 BTreeMap,会在一个节点中连续存放多个元素,以减少分配次数并改善缓存利用。具体解释可以参考 Rust 标准库文档)。

大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化

2026-10-26 00:25:45

背景

前文 《大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础》 介绍了线性注意力的基本思路:把历史 K/V 压进固定大小的状态,避免每次读出都遍历完整历史。 但计算量降下来以后,还有两个问题:有限状态该怎样保留和更新信息,以及怎样把递推计算组织成 GPU 擅长的大块矩阵运算。

大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础

2026-09-07 06:47:45

背景

接上文 《大语言模型的基石:Transformer 入坑笔记(三) - 注意力机制和 Transformer》。

通过之前的内容,我们大致了解了大语言模型的基石:Transformer 的基础原理。 但随之而来有一个问题:随着参数量和上下文长度的增长,计算量太大扛不住了。

现在很多大语言模型,经过了多轮迭代,终于陆陆续续能在参数量持续提高的前提下同时支撑 1M 上下文。

大语言模型的基石:Transformer 入坑笔记(三) - 注意力机制和 Transformer

2026-06-28 09:25:45

背景

接上文 《大语言模型的基石:Transformer 入坑笔记(二) - 基本原理和 Word Embeddings》,继续我们的 Attention Is All You Need/Transformer 学习之旅。

首先简单了解下传统的方案。

卷积神经网络(CNN)

卷积神经网络(CNN)似乎更适合静态数据(比如图片处理、提取特征等)。 所谓静态数据,是指每个数据组都单独和目标矩阵运算,通过卷积层、池化层、全连接层等输出。 每个数据组都单独运算所以可以大规模并发,但是数据组之间也缺乏关联。 我大概看了下原理,和我们要关注的 Transformer 关系不大,先略过了。

大语言模型的基石:Transformer 入坑笔记(二) - 基本原理和 Word Embeddings

2026-06-25 00:45:45

背景

继续我们的 Attention Is All You Need 学习之旅。

我不是这个领域的,只是感兴趣想补一下基础,所以这一篇先只看最通用的原理:神经网络训练的大概流程、Embedding 是什么,以及 Word2Vec 里两种常见优化思路。

Attention Is All You Need 最早落在机器翻译任务上,它提出的核心架构就是 Transformer。工程上我们常接触到的 Transformers 库,则是围绕这类模型提供了更完整的封装。