Un ingénieur de Netflix crée une appli pour alléger ses factures d'IA, puis l'ouvre à tout le monde (opens in new tab)

Covers Tool output compression for agents - 60-70% token reduction on tool-heavy workloads (open source, works with local models)

Tejas Chopra, ingénieur senior chez Netflix, a bricolé un petit logiciel appelé Son constat de départ est sévère. Près de 90% de ce qu'on balance à un grand modèle de langage, le type d'IA qui fait tourner ChatGPT, serait selon lui de la redondance pure, du remplissage que la machine paie au prix fort sans en tirer la moindre valeur.

Read the original article