heise+ | So funktioniert KV-Cache-Quantisierung mit Googles Verfahren TurboQuant (opens in new tab)
Das starke Verkleinern des KV-Cache zum Sparen von Speicherplatz war bisher eher exotisch. Ein Beitrag von Google hat das Thema nun in den Mainstream gerückt.
Read the original article