Updated 超音数设计思路 (markdown)

Jun Zhang
2023-10-09 10:20:44 +08:00
parent 1c8fad856a
commit a32bb7a003

@@ -2,11 +2,11 @@
在项目初期我们也曾尝试通过prompt engineering让ChatGPT直接生成SQL但经过多轮迭代在稳定性和可靠性方面始终无法达到生产可用的期望总的来说有如下问题 在项目初期我们也曾尝试通过prompt engineering让ChatGPT直接生成SQL但经过多轮迭代在稳定性和可靠性方面始终无法达到生产可用的期望总的来说有如下问题
**SQL复杂** **语义复杂**
- 如果涉及多表关联、运算公式、时间转换等情况SQL语法较为复杂LLM输出可靠性会进一步降低。 - 如果涉及多表关联、运算公式、时间转换等复杂语义情况SQL生成难度变高LLM输出可靠性会进一步降低。
- 涉及指标计算的场景,如果依赖用户问询来描述,无法保证口径的一致性与确定性。 - 涉及指标计算的场景,如果依赖用户问询来描述,无法保证口径的一致性与确定性。
**LLM幻觉** **输出幻觉**
- 为了让LLM理解schema需要将所有字段的名称和描述作为context输入如果schema字段数量多可能会超过context window限制。因此基数过大的字段取值一般不会全部放入context使得LLM无法识别到专有领域的术语。即便将schema全部输入且告知LLM不要随意猜测仍然有一定几率会预测出错误的字段甚至可能幻觉出不存在的字段。 - 为了让LLM理解schema需要将所有字段的名称和描述作为context输入如果schema字段数量多可能会超过context window限制。因此基数过大的字段取值一般不会全部放入context使得LLM无法识别到专有领域的术语。即便将schema全部输入且告知LLM不要随意猜测仍然有一定几率会预测出错误的字段甚至可能幻觉出不存在的字段。
- 相同的语义,不同的语言表达,可能会导致大相径庭的输出结果,无法保证一致性。 - 相同的语义,不同的语言表达,可能会导致大相径庭的输出结果,无法保证一致性。