深入探访支撑代币转售与欺诈的中继市场

Matt Lenhard 对围绕以折扣价转售 LLM 代币而发展起来的市场进行了引人入胜的调查——其运作方式是通过汇集来自不同来源的 API 密钥。这看起来主要发生在中国。转售商向用户出售对 LLM 代理（proxy）的访问权限，该代理提供比常规 API 定价大幅优惠的折扣，他们通过滥用免费试用、通过未受保护的支持机器人进行代理，有时甚至使用盗刷信用卡或退款攻击来实现这一点。他们用于这些代理的软件是开源的——主要是 one-api 及其更活跃开发的分支 new-api，两者都是合法的 API 代理产品，可用于在 API 凭证池中实现请求负载均衡。买家寻求廉价代币、规避地理限制，在某些情况下还会收集数据用于模型蒸馏（model distillation）。我一直谨慎地避免公开暴露自己基于 LLM 的应用，担心滥用会导致巨额代币账单。这个市场的存在让我更加谨慎：现在有一个完整的生态系统可以从寻找新的未受保护端点进行利用中获利。LLM 供应商确实需要更好地为其 API 密钥提供严格的额度限制。我希望我的 LLM 应用在达到我为某个时间段设定的美元阈值时立即停止工作。以下是作为 Matt 文章主要来源的（中文）论坛帖子。通过 Hacker News 获取。

标签：ai, generative-ai, llms, llm-pricing, ai-ethics, ai-in-china