小米（Xiaomi）在一个拥有 1 万亿参数的模型上实现了每秒 1000 个 token 的速度，方法是将模型与其软件栈协同设计——包括 FP4 量化、DFlash 推测解码，以及经 TileRT 优化的推理——并且运行在普通的 8-GPU 商用节点上，而非专用硬件。

小米的 MiMo-V2.5-Pro-UltraSpeed 模型通过协同设计的量化和推测解码技术，在商用 8-GPU 节点上实现了每秒 1000 个 token 的速度，这体现了在出口管制背景下，中国企业正在努力将效率发挥到极致的更大趋势。 ✦ AI 生成 · 平台预翻

Xiaomi · Import AI · 2026-06-15 · English original →

小米之所以能做到这一点，是通过将模型与其周边软件栈协同设计实现的，其中既包括像 FP4 量化这样显而易见的手段，也用到了 DFlash（一种“基于块级掩码并行预测的推测解码方法”），此外还与创业公司 Tile AI 的软件 TileRT 密切合作，后者能够加速在商用硬件上的大语言模型推理。

Xiaomi was able to do this by codesigning the model with the software stack around it, including obvious things like FP4 quantization, as well as using DFlash (a "speculative decoding method based on block-level masked parallel prediction"), and also working closely with TileRT, software from startup Tile AI which speeds up LLM inference on commodity hardware.

阅读原文 ↗合理引用摘录 · 中文为平台译文