Vitalik partilha uma solução de LLM privada local, destacando a privacidade e a segurança como prioridade

ME Notícias: mensagem, 2 de abril (UTC+8). Vitalik Buterin publicou um texto a partilhar a sua proposta de implementação de LLMs localizados e privados, até abril de 2026. O objectivo central é assumir a privacidade, a segurança e o controlo autónomo como premissas, reduzindo ao máximo as oportunidades de contacto de modelos remotos e serviços externos com dados pessoais, e diminuindo, através de inferência local, armazenamento local de ficheiros e isolamento por sandbox, os riscos de fuga de dados, de jailbreak do modelo e de exploração de conteúdos maliciosos. Em termos de hardware, testou opções como um portátil com GPU NVIDIA 5090, um equipamento com 128 GB de memória unificada AMD Ryzen AI Max Pro e soluções como DGX Spark, e realizou inferência local com os modelos Qwen3.5 35B e 122B. Entre elas, o portátil com 5090 atinge cerca de 90 tokens/s com o modelo 35B, a solução AMD cerca de 51 tokens/s e o DGX Spark cerca de 60 tokens/s. Vitalik afirma que prefere construir um ambiente de IA local com base em portáteis de alto desempenho, utilizando ao mesmo tempo ferramentas como llama-server, llama-swap e NixOS para montar o fluxo de trabalho completo. (Fonte: ODAILY)