Tether Data презентує QVAC Fabric — фреймворк для інференсу та тонкого налаштування LLM сучасних AI-моделей

Коротко

Tether Data запустила QVAC Fabric LLM — фреймворк, який дозволяє виконувати інференс та донавчання великих мовних моделей (LLM) на споживчих пристроях і багатьох видах апаратного забезпечення, підтримуючи децентралізовану, орієнтовану на приватність і масштабовану розробку штучного інтелекту.

Компанія Tether, підрозділ Department of Financial Services, яка спрямована на сприяння свободі, прозорості та інноваціям через технології, анонсувала запуск QVAC Fabric LLM — комплексного фреймворку для виконання інференсу та донавчання великих мовних моделей ((LLM)). Нова система дозволяє користувачам запускати, навчати та налаштовувати LLM безпосередньо на стандартному апаратному забезпеченні, включаючи споживчі GPU, ноутбуки та навіть смартфони, усуваючи потребу у дорогих хмарних серверах або спеціалізованих рішеннях NVIDIA.

QVAC Fabric LLM переосмислює високопродуктивний інференс та донавчання LLM, які раніше були доступні лише організаціям з дорогою інфраструктурою. Це перша уніфікована, портативна та масштабована система, здатна повністю виконувати інференс LLM, LoRA-адаптацію та інструкційне донавчання на мобільних ОС ((iOS та Android)), а також на всіх популярних середовищах ноутбуків, десктопів і серверів ((Windows, macOS, Linux)). Це дає змогу розробникам та організаціям створювати, впроваджувати, запускати та персоналізувати AI незалежно, без залежності від хмари, vendor lock-in чи ризику витоку чутливих даних за межі пристрою.

Значною інновацією цього релізу стала можливість донавчання моделей на мобільних GPU, таких як Qualcomm Adreno та ARM Mali — це перший готовий до продакшену фреймворк, який дає змогу сучасному LLM-навчанню на апаратному забезпеченні рівня смартфонів. Це сприяє персоналізованому AI, який може навчатися безпосередньо на пристроях користувачів, зберігаючи приватність, працюючи офлайн та підтримуючи нове покоління стійких AI-додатків на пристроях.

QVAC Fabric LLM також розширює екосистему llama.cpp, додаючи підтримку донавчання для сучасних моделей, таких як LLama3, Qwen3 та Gemma3, які раніше не підтримувалися. Тепер ці моделі можна донавчати через уніфікований, простий робочий процес на всіх апаратних платформах.

Завдяки можливості навчання на широкому спектрі GPU, включаючи AMD, Intel, NVIDIA, Apple Silicon та мобільні чипи, QVAC Fabric LLM кидає виклик усталеному уявленню, що для розробки передових AI потрібне спеціалізоване обладнання одного виробника. Споживчі GPU тепер придатні для значущих AI-завдань, а мобільні пристрої стають повноцінними платформами для тренування, розширюючи горизонти розвитку AI.

Для підприємств фреймворк надає стратегічні переваги. Організації можуть донавчати AI-моделі внутрішньо на захищеному обладнанні, уникаючи потреби передавати чутливі дані зовнішнім хмарним провайдерам. Такий підхід підтримує приватність, відповідність регуляторним вимогам і економічну ефективність, дозволяючи впроваджувати AI-моделі, налаштовані під внутрішні потреби. QVAC Fabric LLM переносить донавчання з централізованих GPU-кластерів на ширшу екосистему пристроїв, якою вже керують компанії, роблячи передовий AI більш доступним і безпечним.

Tether Data випускає QVAC Fabric LLM з відкритим кодом, забезпечуючи децентралізовану кастомізацію AI

Tether Data зробила QVAC Fabric LLM доступним як програмне забезпечення з відкритим кодом під ліцензією Apache 2.0, доповнене мультиплатформеними бінарними файлами та готовими адаптерами на Hugging Face. Фреймворк дозволяє розробникам розпочати донавчання моделей лише кількома командами, знижуючи бар’єри для кастомізації AI, які раніше було складно подолати.

QVAC Fabric LLM є практичним кроком до децентралізованого, керованого користувачем AI. У той час як більшість індустрії досі робить ставку на хмарні рішення, Tether Data зосереджується на розширених можливостях персоналізації безпосередньо на локальному edge-обладнанні. Такий підхід забезпечує безперервність роботи в регіонах з високою затримкою мережі, наприклад, на ринках, що розвиваються, а також пропонує платформу AI з пріоритетом приватності, стійкістю та масштабованістю, здатну працювати незалежно від централізованої інфраструктури.