Gemma 4 на llama.cpp нарешті стабільна

2 квітня Google випустила Gemma 4, перший день підтримка llama.cpp, але з багами. Тепер всі проблеми виправлені
E2B, E4B, 26B MoE, 31B Dense
31B посідає третє місце в рейтингу Arena AI, 26B — шосте
Найсильніша команда відкритих моделей
Завантажуйте інтерлівний шаблон за допомогою --chat-template-file
Рекомендується увімкнути --cache-ram 2048
Довжина контексту залежить від відеопам’яті
Минулого року найкращою локальною моделлю був Llama 3.1 70B у квантованому вигляді, ледве працював
Зараз Gemma 4 31B Q5 плавно працює на Mac Studio, близько до рівня GPT-4
AI-додатки без залежності від API починають мати комерційну доцільність. Дані не виходять з машини, вартість нульова, затримка дуже низька
Для однієї особи підприємства локальна модель — справжня інфраструктура. Конкуренти платять за API, а ваші додаткові витрати — лише електроенергія
Gemma 4 + llama.cpp = оптимальне рішення для локального виведення, можна запускати у виробництво