topdog/supersonic
1
0
Fork 0
mirror of https://github.com/tencentmusic/supersonic.git synced 2026-05-07 02:14:18 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

Updated 超音数设计思路 (markdown)

Jun Zhang
2023-09-07 18:18:10 +08:00
parent efcf147473
commit d70a855709
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
超音数设计思路.md

@@ -43,7 +43,7 @@
### 引入Schema Mapper
上文有提到LLM的token限制问题，主要是因为想要暴力求解，将全部字段的名称和取值一股脑都丢给LLM。直观上看，可以在前置环节增加一个筛选机制，只保留跟用户输入相关的字段，可以极大地减少token使用，即便不超过限制，也能节省推理成本。这就引出了Schema Mapper组件。
前文有提到LLM的token限制问题，主要是因为想要暴力求解，将全部字段的名称和取值一股脑都丢给LLM。直观分析，可以在前置环节增加**筛选机制**，只保留跟用户输入相关的字段，可以极大地减少token使用，即便不超过限制，也能节省推理成本。这就是Schema Mapper组件的由来。
当前的实现机制是，定期从semantic model中抽取名称、别名、取值来构建词典，形成内部的knowledge base。查询解析阶段，先对输入文本分词，再采用n-gram词典探测的机制。经过前期调研，中文NLP框架[HanLP](https://github.com/hankcs/HanLP)相对成熟，可以满足需要。
@@ -51,7 +51,7 @@ Schema mapper会将所有达到匹配阈值要求的schema项及其相似度得
### 引入Semantic Corrector
针对前文提到的推测错误和幻觉问题，一个方向是对prompt不断试验打磨，但现阶段仍然是玄学成分居多。另一个方向是，在LLM输出的后置环节增加**修正机制**，将明显错误的表达予以修复。这就是Semantic Corrector组件的由来。
### 引入Rule-based Parser