22580：从 GPT-2 到 Kimi K3，架构演进详解
输入“/”快速插入内容
22580：从 GPT-2 到 Kimi K3，架构演进详解
22580：从 GPT-2 到 Kimi K3，架构演进详解
用户4242用户42427月28日修改
原帖链接
22580：从 GPT-2 到 Kimi K3，架构演进详解
22,580，这是 2019 年的 GPT-2 能装进 2026 年 Kimi K3 的数量。七年间，模型规模放大了 22,580 倍。但这段演进真的只是“堆参数”吗？
下面沿着 GPT-2、线性注意力、DeltaNet、Gated Delta Net、Kimi Linear 到 Kimi K3 的路径，看看模型架构到底改变了什么，又有哪些核心问题始终没有消失。
GPT-2
GPT-2 采用纯解码器架构：
代码块
tok_emb = self.transformer.wte(idx) # token embeddings of shape (b, t, n_embd)
pos_emb = self.transformer.wpe(pos) # position embeddings of shape (t, n_embd)
x = self.transformer.drop(tok_emb + pos_emb)
for block in self.transformer.h:
x = block(x)
x = self.transformer.ln_f(x)
logits = self.lm_head(x)
return logits
输入先得到 token embedding 和位置 embedding