Xiaomi разогнали 1T-модель до 1200 tok/s на стандартных GPU (opens in new tab)

Китайские команды MiMo и TileRT опубликовали режим UltraSpeed для модели MiMo V2.5 Pro (1,02T параметров). На одном 8-карточном сервере со стандартными GPU, до ~1200 токенов в секунду. Cerebras выдаёт...