做过指标智能问数系统的同学都知道——能让系统听懂“上周浙江地区销售额同比多少？”这样的自然语言提问，并自动生成 SQL 拿到结果，已经很不容易，而且生成的数据和解析结果往往也会出现不准确的情况。

指标智能问数系统通常依赖于 LLM 将用户的自然语言（NL）查询（如：“上周浙江地区销售额同比多少”）转换为可执行的 SQL 或 API 调用。其核心挑战在于：

• 语义理解歧义：业务指标名称复杂、存在简称或同义词。

• 上下文依赖：复杂的问数涉及多轮对话和上下文追踪。

问数系统始终停留在“被问”的阶段——不会反思，也不会进步。

于是，我们想让它变得更聪明。让模型从每一次点赞点踩中学习，用 few-shot 的方式“自我进化”。

• 有时候模型答得很准，用户开心地点个 👍；

• 有时候模型理解偏了，用户点个 👎；

1.思路：把反馈变成“示范样本”

目标很简单：不改模型、不调参，只靠用户反馈，让模型回答得越来越准。于是，我们引入了 Few-shot 机制。可以把它理解成一种“模仿学习”：

• 每当用户点赞 👍，我们就把那次问答存为“好例子”；
• 每当用户点踩 👎，我们就标记成“坏例子”；
• 下次用户再问类似的问题，模型就能“借鉴前人的经验”，模仿好例子、避开坏例子。

系统架构：一条从反馈到学习的通路

问答链路：

关键点在于中间的几步：

• Feedback 接口： 收集 {query, answer, feedback_type} 数据；

• 样本库（Dataset）： 把反馈写入向量数据库（我们用的是 Milvus，也可用 ES）；

• Few-shot 检索： 每次问新问题前，从库里找出相似问题的“好/坏例子”；

• Prompt 构建： 把这些例子拼进提示词里，影响大模型的回答逻辑。

于是，一个“自学习”的闭环就这样形成了。

2.样本是怎么用的？

我们存下的每条反馈结构：

然后，每次用户提问时，系统会：

（1）用向量检索找到相似问题；

（2）从历史样本中选出最相关的 few-shot 例子；

（3）拼出一个“带示范”的 Prompt。

这样一来，模型就能“看到”什么是好的回答、什么是容易出错的回答，进而在新的问答中学会取长补短。

这种基于用户反馈的 Few-shot 优化方案，在企业内部测试中取得了显著成效：

系统开始具备“少量示例就能改正自己”的能力。

那为什么 「Few-shot」 比 「微调」 更香？

Few-shot 机制不是重新教模型“会游泳”，而是告诉它“谁的游泳姿势更好”，以及“刚才别人溺水的地方别再下去”。它让用户反馈实时转化为知识，赋予了模型“记忆力”。

目前，系统已经支持：

• 从点赞中学习高质量问答；
• 从点踩中识别易错逻辑；

接下来，我们打算从下面两个路径继续优化：

• 在几次交互中不断优化自己的问答策略。
• 点踩原因分析，生成自动化的错误诊断报告。

添加了点赞和点踩之后系统从“我问你答” 到“我问你学”，每一次点赞点踩，都是系统学习进化的一步。而我们要做的，就是让它越问越聪明。

如对智能指标 AIMetrics 产品中的智能问数感兴趣，欢迎扫描下方二维码获取《指标+AI数智应用白皮书》！