草庐IT

数据库ChatGPT插件来了,SQL使用体验进一步起飞

第四范式开发者社区 2024-02-26 原文

简介

基于 ChatGPT API 和 OpenMLDB 数据库实现的 openmldb-chatgpt-plugin 项目开源了,作为人类迄今为止最强AI模型之一(GPT4未开放API),集成了 ChatGPT 模型的数据库有多好用,下面将带大家体验一下。

原理

实现原理是在ChatGPT API基础上做了一定的 Prompt engineering ,没有用 fine tune ,在标准SQL场景上效果已经非常不错,具体的 system prompt 设计大家可以看源码实现。

这个插件对于其他 SQL 数据库理论上也适用,不过因为加了一些直接查询数据库内容的集成功能,目前还是推荐使用 OpenMLDB 。使用时需要全程联网,并且需要 OpenAI API key 和特定的网络条件,暂无条件的可以直接看下面的 Prompt 演示效果。

指令演示

自然语言对话能力

openmldb-chatgpt-plugin(后文简称 GPT 插件)有 ChatGPT 本身的自然语言对话能力,可以直接在客户端用中英文来询问数据库的基本用法以及特定SQL语法的介绍,这部分不需要特别的 prompt 优化,只是比 ChatGPT 网页版减少需要打开浏览器提问的步骤。

并且得益于多轮对话的实现,用户可以根据上下文提问,相比传统搜索引擎找到需要的资料效率进一步提高。默认中文输出对国内用户也更加友好。

SQL执行、分析与推荐

用户在 GPT 插件执行的 SQL 代码,实际也会提交到 OpenMLDB 集群执行,并且用户输入( User > )、数据库输出( OpenMLDB > )和 GPT 模型输出( GTP > )都会有不同的前缀和颜色区分。

上图处理按照用户命令执行 SQL 外,还对上表的 SQL 语句进行了概要分析,介绍这个表的名字,以及每一列的类型以及含义,最后还推荐使用 Insert 和 Select 语句进行插入和查询,这就是对 ChatGPT 模型使用 Prompt 工程实现的执行、分析与推荐功能。

后面无论是 Insert 语句还是其他 SQL 语句,在执行后都会经过 AI 模型的解析与推荐,在执行 SQL 过程中不自觉学到了更多知识。这里也有些 Prompt 工程技巧,如果不希望每次推荐的内容接近,可以通过 temperature 参数控制文本生成的“探索性”。

复杂表分析

对于用户创建的一个列较多稍微复杂对表,GPT 插件也会适时地进行数据分析,除了简单统计列数和 Schema 等基础功能,它还会根据表名和列名信息进一步发掘内容,对原始数据表列的含义分析得清清楚楚。例如下面的表中,“乘客上下车时间”、“上下车地点的经纬度”等信息都可以分析和翻译出来,在没有额外信息收集和编程实现的基础上提供这些信息对数据科学家来说也是一种馈赠。

失败SQL调试和更正

前面例子展示的是能够成功执行的 SQL ,对于用户已经编写没有语法错误的 SQL 进行分析只是“锦上添花”,但如果可以快速帮助用户解决执行失败的 SQL 那才是“雪中送炭”。通过 SQL 语句本身以及 OpenMLDB 提供的错误信息,ChatGPT 模型显然是具备这种 SQL 调试以及 SQL 更正的能力。

上面是一个 SQL 语法正确但类型错误的情况,对于有经验的 SQL 工程师通过错误信息也许能猜测出错误的端倪,但能够以自然语言的形式并且无比正确地直接告诉用户错误地方以及后续的更正方案,从我个人测试的多个场景来看,这个能够 7*24 小时工作的工具已经可以媲美身边高级的 DBA 了。

复杂SQL分析能力

下面是 OpenMLDB 官方文档的一个例子,使用 SQL 进行时许特征的抽取并且保存样本文件。

首先 ChatGPT 模型解析的 SQL 语义毫无问题,但更令人惊讶的是,因为这个 SQL 语法确实不是在所有 SQL 都支持的,这里最后面补充的注意事项充分表明”定制化“模型与通用闲聊机器人的区别。本插件提供的 SQL 解析能力都是建立在使用 OpenMLDB 数据库的基础上,对于非通用 SQL 能够解析并且讲清楚与标准 SQL 的区别,目前恐怕除了数据库的核心研发和深度用户也很少人可以“理解”清楚。

数据库内容查询

前面演示的功能主要是 text to sql、SQL 分析等功能,放在 ChatGPT 网页端或者任意公开的 ChatGPT 服务上都可以做,但 OpenMLDB ChatGPT 插件还是做了内容的深度整合,可以以自然语言的形式来查询数据库的内容。

这里还演示了 ChatGPT 无比优秀的连续对话能力,可以以不同粒度、不同角度多次按需查询,查到的内容不仅正确,而且还根据中文语义进一步丰富了内容,格式也工整,可以很容易让它输出我们需要的 CSV 或者任意格式,这是程序员人工写代码无论如何都达不到的效率。

总结

实际上 ChatGPT 插件很多的功能代码也是基于 ChatGPT 模型生成的,虽然不能直接按照个人需要实现整个数据库插件,但它强大的代码搜索和生成能力已经可以简化我们大量搜索学习时间,而基于历史积累的海量 SQL 文献,它的专业能力更是可以得到程序员甚至资深 DBA 的认可。

除了上面的 Prompt 提示词和功能演示,ChatGPT 模型还有非常多可玩、易用、高效的用法等待大家去挖掘。

有关数据库ChatGPT插件来了,SQL使用体验进一步起飞的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇,就使用ruby​​onrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  8. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  9. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  10. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

随机推荐