使用DSPy评估并改进Datasette Agent的SQL系统提示
Using DSPy to evaluate and improve Datasette Agent's SQL system prompts
研究者使用 DSPy 框架评估并改进了 Datasette Agent 的 SQL 系统提示，该 Agent 用于执行只读 SQL 查询以回答用户数据问题。实验通过 Claude Code 启动，采用 Claude Fable 5 模型，并选用 GPT 4.1 mini 和 nano 进行测试。关键发现：模式列表仅提供表名时，提示“如果你已经拥有信息，不要调用 describe_table”会导致基线追踪中出现列名猜测（如 page_count、o.order_id、first_name）及错误重试循环。改进方向包括在模式列表中包含列名或软化该提示建议。
研究：使用 DSPy 评估和改进 Datasette Agent 的 SQL 系统提示
今天早上的 AIE 主题演讲之一涉及了 dspy，这提醒我原本就打算看看它能否帮助改进 Datasette Agent 使用的系统提示——于是我立即在 Claude Code for web 中启动了一个异步研究任务，使用 Claude Fable 5：pip 安装最新的 Datasette alpha、datasette-agent 和 dspy——然后弄清楚如何使用 dspy 来评估和改进 Datasette Agent 用于执行只读 SQL 查询以回答用户关于数据的问题这一功能的主要系统提示。
Fable 选择使用 GPT 4.1 mini 和 nano 进行测试，并识别出几个有前景的改进方向。我特别喜欢这一个：模式列表仅提供表名；"如果你已经拥有信息，不要调用 describe_table" 这条建议导致基线追踪中出现列名猜测（page_count、o.order_id、first_name）和错误重试循环。要么在提示的模式列表中包含列名，要么软化这条建议。
标签：ai、datasette、generative-ai、llms、evals、dspy、datasette-agent、claude-mythos