算法面试问题收录.md

算法面试问题收录 ✒️

Keywords: 算法面试问题收录

• Transformer
• LLM
  • 微调相关
  • MoE 相关

---

Transformer

• 详述多头注意力机制

• 位置编码的作用, 演进

• LayerNorm vs BatchNorm

LLM

• CausalLM vs PrefixLM

微调相关

• LoRA 原理

• 怎么缓解大模型遗忘问题

• 怎么解决微调时模型遗忘

MoE 相关