Transformer Wiki 💾 Keywords: transformer 背景 常见 Transformer 变体 长度外推性 常见面试问题 背景 原始 Transformer 指的是一个基于 Encoder-Decoder 框架的 Seq2Seq 模型, 用于解决机器翻译任务; 后其 Encoder 部分被用于 BERT 而广为人知, 因此有时 Transformer 也特指其 Encoder 部分; 相关论文: [1706.03762] Attention Is All You Need [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 常见 Transformer 变体 Transformers系列模型 长度外推性 Transformer与长度外推性 常见面试问题 Transformer 常见面试问题
