配置专用模型推理

Together AI 的专用模型推理系统基于三部分资源模型：端点（endpoints）、部署（deployments）和配置（configs）。通过容量感知路由（capacity-aware routing），系统将这三者串联，实现推理请求的动态调度与资源分配。该方法优化了模型部署的吞吐量与延迟，适用于大规模 LLM 推理场景。