研究突破 arXiv cs.AI
RAG 微调能否胜任专业文档生成? Parametric Knowledge in RAG-SFT for Domain-Specific Document Generation
精读摘要
RAG 微调相比普通 RAG 提升明显,但已有研究大多针对文档问答,是否适用于生成类专门任务仍不明确。这项研究在电子工程领域的需求文档生成任务上,用两种训练数据策略适配两个 7B 模型做监督式 RAG 微调。由于 Rouge 与 BertScore 难以衡量长技术文本的事实准确性,团队还提出基于断言的评估流程 C-FEX,以更可靠地检验生成质量。 RAG fine-tuning improves substantially over vanilla RAG, but most studies target document QA, leaving specialized generation tasks open. This work studies supervised RAG fine-tuning for requirements document generation in electronics engineering, adapting two 7B models under two training data strategies. Since Rouge and BertScore poorly capture factuality on long technical text, the authors introduce C-FEX, a claim-based evaluation pipeline.
关键要点
- 聚焦电子工程领域的需求文档生成任务
- 两种数据策略适配两个 7B 模型
- 提出 C-FEX 断言级评估流程弥补传统指标的不足
💡 对普通人的影响:暂无直接影响;工程文档写作等专业场景的 AI 辅助质量有望提升。