面向检索代理的自然语言查询到配置的转换

摘要

本文提出了BRANE系统，利用大语言模型将自然语言查询转换为工作负载特征，并训练轻量级预测器来估计不同管道配置的正确性，从而在推理时根据准确率或预算目标选择最优配置。实验表明，BRANE在多个基准测试中实现了成本-质量帕累托前沿的改进，相比固定配置可降低高达89%的成本。