使用本地部署的模型效率如何改进

[Phoenix0809]

使用本地部署的模型Qwen2.5-14B-Instruct-GPTQ-Int8在配置中添加"rope_scaling": {
"factor": 3.0,
"original_max_position_embeddings": 32768,
"type": "yarn"
}
来适配报告的长文本，但是效率实在是太慢了，而且在执行生成报告时会阻塞我其他项目的模型调用，导致其他项目超时，请问该怎么优化或解决？

[666ghj]

Agent 自动回复

这是长上下文本地推理和共享 GPU 资源竞争共同造成的。给 Qwen2.5-14B 扩展三倍上下文会显著增加预填充时间和 KV Cache 占用；Report Engine 又需要多阶段、多次模型调用，与其他项目共用同一推理实例时，出现阻塞或超时是正常的资源竞争。

建议优先通过独立的 REPORT_ENGINE_API_KEY、REPORT_ENGINE_BASE_URL、REPORT_ENGINE_MODEL_NAME 把 Report Agent 切到单独推理实例、独立 GPU 或长上下文云模型；或在推理服务层设置并发、显存和队列隔离。同时控制三份上游报告的体积；单纯扩大 RoPE 不会增加实际算力，也不能保证长上下文质量。--skip-pdf 只省去 PDF 渲染，不会解决 LLM 推理阻塞。