大语言模型微调其实也没有很困难!现在 LLaMa Factory 在内的众多框架都能很好的实现大语言模型微调,而真正困难和有趣的问题变成了如何找到合适的场景并进行微调数据的合成。
请自选一个有趣的方向,完成微调数据合成、并以 Qwen3-4B 或 Qwen3-8B 为基模进行微调;微调过程中推荐使用 LLaMa Factory 或 ms-swift 等框架进行微调,并使用 SwanLab 进行实验追踪。
如果在使用过程中有算力方面的需求,可以联系出题人提供昇腾算力下的 NPU(数量有限)
加分项
- 微调一个多模态模型(如视觉模型或实时音频模型,如 InternVL3 或 Qwen3-Omni 等模型)
- 基于昇腾算力进行大语言模型微调和最终推理部署
- 模型最终能保持一定的思维能力(需要有 Thinking 过程)