Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере? (opens in new tab)

Сравнил предсказания калькулятора с реальными запусками llama.cpp на RTX 4060 Ti, 3090 и Apple M2 Pro. Спойлер: где-то точно, где-то мимо на 30% Когда я начал ковыряться с локальными LLM полгода...