Tether Data Revela Estrutura QVAC Fabric para Inferência e Afinação de LLM em Modelos de IA Modernos

Em Resumo

A Tether Data lançou o QVAC Fabric LLM, uma framework que permite inferência e afinação de LLMs em dispositivos de consumo e hardware de vários fornecedores, apoiando o desenvolvimento de IA descentralizada, focada na privacidade e escalável.

A empresa do Departamento de Serviços Financeiros, Tether, focada em promover a liberdade, transparência e inovação através da tecnologia, anunciou o lançamento do QVAC Fabric LLM, um framework abrangente de runtime de inferência e afinação de modelos de linguagem de grande escala (LLM). Este novo sistema permite aos utilizadores executar, treinar e personalizar modelos de linguagem de grande escala diretamente em hardware standard, incluindo GPUs de consumo, portáteis e até smartphones, eliminando a anterior dependência de servidores cloud de topo ou setups especializados da NVIDIA.

O QVAC Fabric LLM redefine a inferência e afinação de LLMs de alto desempenho, tradicionalmente acessíveis apenas a organizações com infraestruturas dispendiosas. Representa o primeiro sistema unificado, portátil e altamente escalável, capaz de executar inferência completa de LLM, adaptação LoRA e afinação por instrução em sistemas operativos móveis (iOS e Android), bem como em todos os ambientes comuns de portátil, desktop e servidor (Windows, macOS, Linux). Isto permite a programadores e organizações construir, implementar, executar e personalizar IA de forma independente, sem dependência da cloud, bloqueio de fornecedor ou o risco de dados sensíveis saírem do dispositivo.

Uma inovação notável nesta versão é a capacidade de afinar modelos em GPUs móveis, como Qualcomm Adreno e ARM Mali, sendo o primeiro framework pronto para produção a permitir treino de LLMs modernos em hardware de classe smartphone. Este avanço facilita IA personalizada que pode aprender diretamente com os utilizadores nos seus dispositivos, preservando a privacidade, operando offline e apoiando uma nova geração de aplicações de IA resilientes e on-device.

O QVAC Fabric LLM também expande o ecossistema llama.cpp ao adicionar suporte à afinação de modelos contemporâneos como LLama3, Qwen3 e Gemma3, que anteriormente não eram suportados. Estes modelos podem agora ser afinados através de um workflow consistente e simples em todas as plataformas de hardware.

Ao permitir o treino numa vasta gama de GPUs, incluindo AMD, Intel, NVIDIA, Apple Silicon e chips móveis, o QVAC Fabric LLM desafia a ideia de que o desenvolvimento avançado de IA exige hardware especializado de fornecedor único. As GPUs de consumo tornam-se agora viáveis para tarefas significativas de IA e os dispositivos móveis passam a ser plataformas de treino legítimas, alargando o panorama do desenvolvimento de IA.

Para as empresas, o framework oferece vantagens estratégicas. As organizações podem afinar modelos de IA internamente em hardware seguro, eliminando a necessidade de expor dados sensíveis a fornecedores de cloud externos. Esta abordagem apoia a privacidade, conformidade regulatória e eficiência de custos, permitindo ao mesmo tempo a implementação de modelos de IA personalizados para requisitos internos. O QVAC Fabric LLM transfere a afinação de clusters centralizados de GPU para o ecossistema mais amplo de dispositivos já geridos pelas empresas, tornando a IA avançada mais acessível e segura.

Tether Data Lança QVAC Fabric LLM em Open-Source, Permitindo Personalização Descentralizada de IA

A Tether Data disponibilizou o QVAC Fabric LLM como software open-source sob a licença Apache 2.0, acompanhado de binários multiplataforma e adaptadores prontos a usar no Hugging Face. O framework permite aos programadores começar a afinar modelos com apenas alguns comandos, reduzindo barreiras à personalização de IA que anteriormente eram difíceis de ultrapassar.

O QVAC Fabric LLM representa um avanço prático em direção a uma IA descentralizada e gerida pelo utilizador. Enquanto grande parte da indústria continua a dar prioridade a soluções baseadas na cloud, a Tether Data foca-se em permitir personalização avançada diretamente em hardware local de edge. Esta abordagem apoia a continuidade operacional em regiões com redes de alta latência, como mercados emergentes, ao mesmo tempo que oferece uma plataforma de IA resiliente, escalável e com privacidade em primeiro lugar, capaz de funcionar de forma independente da infraestrutura centralizada.