topdog/supersonic
1
0
Fork 0
mirror of https://github.com/tencentmusic/supersonic.git synced 2026-05-04 07:24:52 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity

Updated 超音数设计思路 (markdown)

Jun Zhang
2023-09-07 22:13:39 +08:00
parent d6eefb8b79
commit c6dfa1d7f3
1 changed files with 4 additions and 4 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
超音数设计思路.md

@@ -48,7 +48,7 @@
Schema mapper会将所有达到匹配阈值要求的schema项及其相似度得分一并保存到info对象，传递给后续semantic parsing环节引用，最终会由parser挑选输入给LLM。 Schema mapper会将所有达到匹配阈值要求的schema项及其相似度得分一并保存到info对象，传递给后续semantic parsing环节引用，最终会由parser挑选输入给LLM。
与此同时，schema mapper可以定制扩展，并通过SPI配置的方式替换或补充超音数的默认实现。 与此同时，schema mapper可以定制扩展，并通过Java SPI配置的方式替换或补充超音数的默认实现。
### Semantic Corrector ### Semantic Corrector
@@ -56,7 +56,7 @@ Schema mapper会将所有达到匹配阈值要求的schema项及其相似度得
当前的设计方案是，从LLM生成的SQL中解析出表、字段、取值等名词，逐个检查合法性，将不合法名词通过类似schema mapping的方式去knowledge base尝试找到正确的匹配。比如，LLM可能将取值映射到了错误的字段，通过corrector尝试找到正确的字段映射，并改写SQL。 当前的设计方案是，从LLM生成的SQL中解析出表、字段、取值等名词，逐个检查合法性，将不合法名词通过类似schema mapping的方式去knowledge base尝试找到正确的匹配。比如，LLM可能将取值映射到了错误的字段，通过corrector尝试找到正确的字段映射，并改写SQL。
与此同时，semantic corrector可以定制扩展，并通过SPI配置的方式替换或补充超音数的默认实现。 与此同时，semantic corrector可以定制扩展，并通过Java SPI配置的方式替换或补充超音数的默认实现。
### Rule-based Parser ### Rule-based Parser
@@ -68,8 +68,8 @@ Schema mapper会将所有达到匹配阈值要求的schema项及其相似度得
引入Semantic Parser的抽象，分别有rule-based和LLM-based的实现。输入问题首先经过rule-based parser，如果有查询意图命中，则根据启发性算法来决定是否可以跳过LLM-based parser。当前，启发性算法会根据schema mapping命中的词汇总长度除以问题总长度来判断，超过配置的阈值则认为规则可以满足需要，决定跳过LLM，如果跳过那么提升效率的目的就达到了。 引入Semantic Parser的抽象，分别有rule-based和LLM-based的实现。输入问题首先经过rule-based parser，如果有查询意图命中，则根据启发性算法来决定是否可以跳过LLM-based parser。当前，启发性算法会根据schema mapping命中的词汇总长度除以问题总长度来判断，超过配置的阈值则认为规则可以满足需要，决定跳过LLM，如果跳过那么提升效率的目的就达到了。
与此同时，semantic parser可以定制扩展，并通过SPI配置的方式替换或补充超音数的默认实现，也可以选择完全去掉rule-based parser配置。 与此同时，semantic parser可以定制扩展，并通过Java SPI配置的方式替换或补充超音数的默认实现，也可以选择完全去掉rule-based parser配置。
### Chat Plugin ### Chat Plugin
超音数的主链路主要涉及两个步骤：1、LLM解析语义，生成逻辑SQL，提交semantic layer；2、semantic layer生成物理SQL，提交底层OLAP引擎执行。