(improvement)(text2sql) add text2sql feature that only call LLM once, and add correponding configs and docs. (#102)

Co-authored-by: shaoweigong <shaoweigong@tencent.com>
This commit is contained in:
codescracker
2023-09-20 10:22:20 +08:00
committed by GitHub
parent 6a5a95e543
commit c8ff37e304
9 changed files with 173 additions and 55 deletions

Binary file not shown.

Before

Width:  |  Height:  |  Size: 123 KiB

After

Width:  |  Height:  |  Size: 107 KiB

View File

@@ -5,21 +5,25 @@ text2sql的功能实现高度依赖对LLM的应用。通过LLM生成SQL的过
### **配置方式**
1. 样本池的配置。
- supersonic/chat/core/src/main/python/llm/few_shot_example/sql_exampler.py为样本池配置文件。用户可以以已有的样本作为参考配置更贴近自身业务需求的样本用于更好的引导LLM生成SQL。
- supersonic/chat/core/src/main/python/few_shot_example/sql_exampler.py 为样本池配置文件。用户可以以已有的样本作为参考配置更贴近自身业务需求的样本用于更好的引导LLM生成SQL。
2. 样本数量的配置。
- 在supersonic/chat/core/src/main/python/llm/run_config.py 中通过 TEXT2DSL_FEW_SHOTS_EXAMPLE_NUM 变量进行配置。
- supersonic/chat/core/src/main/python/run_config.py 中通过 TEXT2DSL_FEW_SHOTS_EXAMPLE_NUM 变量进行配置。
- 默认值为15为项目在内部实践后较优的经验值。样本少太少对导致LLM在生成SQL的过程中缺少引导和示范生成的SQL会更不稳定样本太多会增加生成SQL需要的时间和LLM的token消耗或超过LLM的token上限
- <div align="left" >
3. SQL生成方式的配置
- 在 supersonic/chat/core/src/main/python/run_config.py 中通过 TEXT2DSL_IS_SHORTCUT 变量进行配置。
- 默认值为False当为False时会调用2次LLM生成SQL当为True时会只调用1次LLM生成SQL。相较于2次LLM调用生成的SQL耗时会减少30-40%token的消耗量会减少30%左右但生成的SQL正确率会有所下降。
<div align="left" >
<img src=../images/text2sql_config.png width="70%"/>
<p>图1-1 样本数量的配置文件</p>
<p>图1-1 配置文件</p>
</div>
3. 运行中更新配置的脚本
- 如果在启动项目后用户需要对text2sql功能的相关配置进行调试可以在修改相关配置文件后通过脚本 supersonic/chat/core/src/main/python/bin/text2sql_resetting.sh 在项目运行中让配置生效。
### **运行中更新配置的脚本**
1. 如果在启动项目后用户需要对text2sql功能的相关配置进行调试可以在修改相关配置文件后通过以下2种方式让配置在项目运行中让配置生效。
- 执行 supersonic-daemon.sh reload llmparser
- 执行 python examples_reload_run.py
### **FAQ**
1. 生成一个SQL需要消耗的的LLM token数量太多了按照openAI对token的收费标准生成一个SQL太贵了可以少用一些token吗
- 可以。 用户可以根据自身需求如配置方式1.中所示修改样本池中的样本选用一些更加简短的样本。如配置方式2.中所示,减少使用的样本数量。
- 可以。 用户可以根据自身需求如配置方式1.中所示修改样本池中的样本选用一些更加简短的样本。如配置方式2.中所示,减少使用的样本数量。配置方式3.中所示只调用1次LLM生成SQL。
- 需要注意样本和样本数量的选择对生成SQL的质量有很大的影响。过于激进的降低输入的token数量可能会降低生成SQL的质量。需要用户根据自身业务特点实测后进行平衡。