实録译稿 社区 24h

术语频次

封存归档

SGLang

▆▆█▃ · 170 次 · 收录于 26 篇

高效的 LLM 推理和服务框架,支持多种模型和优化

  1. Nemotron-Labs 扩散语言模型实现光速级文本生成 产品 · HF Blog · 05-23
  2. Modal C轮融资:以46.5亿美元估值募资3.55亿美元 产品 · Modal · 05-22
  3. 大规模推理基准测试:编码智能体 评测 · Together AI · 05-20
  4. sglang v0.5.12 工程 · GitHub Release · 05-17
  5. Intern-S2-Preview 研究 · InternLM · 05-15
  6. Intern-S2-Preview-FP8 研究 · InternLM · 05-15
  7. 如何实现真正的无服务器GPU 工程 · Modal · 05-12
  8. sglang v0.5.11 工程 · GitHub Release · 05-12
  9. AWS 上基础模型训练与推理的构建模块 工程 · HF Blog · 05-12
  10. MiniCPM-V-4.6-gguf 工程 · OpenBMB · 05-12
  11. MiniCPM-V-4.6-Thinking-gguf 产品 · OpenBMB · 05-11
  12. MiniCPM-V-4.6-Thinking 产品 · OpenBMB · 05-11
  13. MiniCPM-V-4.6-AWQ 产品 · OpenBMB · 05-11
  14. MiniCPM-V-4.6-BNB 产品 · OpenBMB · 05-11
  15. MiniCPM-V-4.6-GPTQ 产品 · OpenBMB · 05-11
  16. MiniCPM-V-4.6-Thinking-AWQ 产品 · OpenBMB · 05-11
  17. MiniCPM-V-4.6-Thinking-GPTQ 产品 · OpenBMB · 05-11
  18. MiniCPM-V-4.6-Thinking-BNB 产品 · OpenBMB · 05-11
  19. 自适应并行推理:高效推理扩展的下一范式 研究 · BAIR · 05-09
  20. 用一个 Python 字典将多模态推理性能提升 >10% 工程 · Modal · 05-09
  21. 服务 DeepSeek-V4:为什么百万 token 上下文是推理系统问题 工程 · Together AI · 05-09
  22. MiniCPM-V-4_5-GPTQ 产品 · OpenBMB · 05-08
  23. rohitg00/从零开始的 AI 工程 工程 · GitHub · 05-08
  24. Qwen3.6-27B-FP8 产品 · Qwen · 05-03
  25. Qwen3.6-27B 产品 · Qwen · 05-03
  26. moonshotai/Kimi-K2.6 产品 · Kimi · 05-03