Tether Data ra mắt khung QVAC Fabric LLM Inference và Fine-Tuning dành cho các mô hình AI hiện đại

Tóm tắt

Tether Data đã ra mắt khung QVAC Fabric LLM cho phép suy luận và tinh chỉnh LLM trên các thiết bị tiêu dùng và phần cứng đa nhà cung cấp, hỗ trợ phát triển AI phi tập trung, tập trung vào quyền riêng tư và khả năng mở rộng.

Công ty thuộc Bộ Dịch vụ Tài chính Tether, tập trung vào thúc đẩy tự do, minh bạch và đổi mới thông qua công nghệ, Tether Data đã công bố ra mắt QVAC Fabric LLM, một khung suy luận và tinh chỉnh mô hình ngôn ngữ lớn toàn diện (LLM). Hệ thống mới này cho phép người dùng thực thi, huấn luyện và tùy chỉnh các mô hình ngôn ngữ lớn trực tiếp trên phần cứng tiêu chuẩn, bao gồm GPU tiêu dùng, máy tính xách tay và thậm chí cả điện thoại thông minh, loại bỏ sự phụ thuộc trước đây vào các máy chủ đám mây cao cấp hoặc hệ thống NVIDIA chuyên dụng.

QVAC Fabric LLM định nghĩa lại hiệu suất cao trong suy luận và tinh chỉnh LLM, vốn trước đây chỉ dành cho các tổ chức sở hữu cơ sở hạ tầng đắt đỏ. Đây là hệ thống đầu tiên thống nhất, có tính di động cao và mở rộng mạnh mẽ, có khả năng thực thi suy luận LLM hoàn chỉnh, thích ứng LoRA và tinh chỉnh theo hướng dẫn trên các hệ điều hành di động (iOS và Android), cũng như tất cả môi trường máy tính xách tay, để bàn và máy chủ phổ biến (Windows, macOS, Linux). Điều này cho phép nhà phát triển và tổ chức xây dựng, triển khai, vận hành và cá nhân hóa AI một cách độc lập, không cần phụ thuộc vào đám mây, không bị khóa nhà cung cấp hay lo ngại rủi ro dữ liệu nhạy cảm rời khỏi thiết bị.

Một đổi mới đáng chú ý trong bản phát hành này là khả năng tinh chỉnh mô hình trên GPU di động, như Qualcomm Adreno và ARM Mali, đánh dấu khung đầu tiên sẵn sàng sản xuất cho phép huấn luyện LLM hiện đại trên phần cứng cùng phân khúc điện thoại thông minh. Tiến bộ này thúc đẩy AI cá nhân hóa có thể học hỏi trực tiếp từ người dùng trên thiết bị của họ, bảo vệ quyền riêng tư, hoạt động ngoại tuyến và hỗ trợ thế hệ ứng dụng AI bền bỉ, ngay trên thiết bị.

QVAC Fabric LLM cũng mở rộng hệ sinh thái llama.cpp bằng cách bổ sung hỗ trợ tinh chỉnh cho các mô hình hiện đại như LLama3, Qwen3 và Gemma3, vốn trước đây chưa được hỗ trợ. Các mô hình này giờ đây có thể được tinh chỉnh thông qua quy trình nhất quán, đơn giản trên tất cả nền tảng phần cứng.

Bằng cách cho phép huấn luyện trên nhiều loại GPU, bao gồm AMD, Intel, NVIDIA, Apple Silicon và chip di động, QVAC Fabric LLM thách thức quan niệm lâu nay rằng phát triển AI tiên tiến cần phần cứng chuyên biệt, độc quyền. GPU tiêu dùng giờ đây đã khả thi cho các nhiệm vụ AI quan trọng, và thiết bị di động trở thành nền tảng huấn luyện hợp lệ, mở rộng bối cảnh phát triển AI.

Đối với doanh nghiệp, khung này mang lại lợi thế chiến lược. Các tổ chức có thể tinh chỉnh mô hình AI nội bộ trên phần cứng an toàn, loại bỏ nhu cầu chia sẻ dữ liệu nhạy cảm với các nhà cung cấp đám mây bên ngoài. Cách tiếp cận này hỗ trợ quyền riêng tư, tuân thủ quy định và tiết kiệm chi phí, đồng thời cho phép triển khai các mô hình AI được tùy chỉnh cho nhu cầu nội bộ. QVAC Fabric LLM chuyển quá trình tinh chỉnh từ các cụm GPU tập trung sang hệ sinh thái rộng lớn hơn của các thiết bị mà công ty đã quản lý, giúp AI tiên tiến trở nên dễ tiếp cận và an toàn hơn.

Tether Data phát hành QVAC Fabric LLM mã nguồn mở, cho phép cá nhân hóa AI phi tập trung

Tether Data đã phát hành QVAC Fabric LLM dưới dạng phần mềm mã nguồn mở theo giấy phép Apache 2.0, kèm theo các tệp nhị phân đa nền tảng và bộ chuyển đổi sẵn sàng sử dụng trên Hugging Face. Khung này cho phép nhà phát triển bắt đầu tinh chỉnh mô hình chỉ với vài lệnh đơn giản, giảm rào cản cá nhân hóa AI vốn trước đây khó vượt qua.

QVAC Fabric LLM đánh dấu một bước đi thực tế hướng tới AI phi tập trung, do người dùng quản lý. Trong khi phần lớn ngành công nghiệp vẫn ưu tiên các giải pháp dựa trên đám mây, Tether Data tập trung vào việc cho phép cá nhân hóa tiên tiến trực tiếp trên phần cứng biên cục bộ. Cách tiếp cận này hỗ trợ hoạt động liên tục tại các khu vực có mạng trễ cao, như thị trường mới nổi, đồng thời cung cấp nền tảng AI ưu tiên quyền riêng tư, bền bỉ và có khả năng mở rộng, hoạt động độc lập với hạ tầng tập trung.