使用 NVIDIA Model Optimizer 创建 NVIDIA Nemotron 3 Ultra NVFP4 检查点

随着上下文窗口不断增长，高效移动大型模型权重对性能变得至关重要。一种常见的解决方案是量化（quantization），这是一种将模型权重压缩为更小数据格式的优化技术。其中一种量化格式是 NVFP4，这是 NVIDIA Blackwell 架构引入的一种创新的 4 位浮点格式。这正是我们新推出的 Nemotron 3… 背后的方法。