Updated 超音数设计思路 (markdown)

Jun Zhang
2023-10-09 09:57:57 +08:00
parent a3428fd7b1
commit e3210362d8

@@ -2,17 +2,13 @@
在项目初期我们也曾尝试过直接让ChatGPT来生成SQL但经过多轮prompt优化调整在稳定性和可靠性方面始终无法达到生产可用的期望总的来说有如下问题 在项目初期我们也曾尝试过直接让ChatGPT来生成SQL但经过多轮prompt优化调整在稳定性和可靠性方面始终无法达到生产可用的期望总的来说有如下问题
**Token限制问题**
- 为了让LLM理解schema需要将所有字段的名称和描述作为context输入如果schema字段数量多可能会超过token限制。
- 同样因为token的限制基数过大的字段取值一般不会全部放入context使得LLM无法识别到专有领域的一些术语。
**幻觉问题:** **幻觉问题:**
- 为了让LLM理解schema需要将所有字段的名称和描述作为context输入如果schema字段数量多可能会超过context window限制。因此基数过大的字段取值一般不会全部放入context使得LLM无法识别到专有领域的术语。
- 即便将schema全部输入且告知LLM不要随意猜测仍然有一定几率会预测出错误的字段甚至可能幻觉出不存在的字段。 - 即便将schema全部输入且告知LLM不要随意猜测仍然有一定几率会预测出错误的字段甚至可能幻觉出不存在的字段。
- 如果涉及多表关联、运算公式、时间转换等情况SQL语法较为复杂LLM出错概率会变高 - 相同的语义,不同的语言表达,可能会导致大相径庭的输出结果,无法保证一致性
**推理效率问题:** **效率问题:**
- 当前LLM推理速度还处在10秒+量级,再加上底层数据查询的耗时,同时还无法像纯文本那样的流式输出,非常考验用户的耐心。 - 当前LLM推理速度还处在10秒+量级,再加上底层数据查询的耗时,同时还无法像纯文本那样的流式输出,非常考验用户的耐心。
- 当前LLM主流是按token计费如果所有查询都需要走LLMMaaS成本会随着查询量线性增长。 - 当前LLM主流是按token计费如果所有查询都需要走LLMMaaS成本会随着查询量线性增长。