Segundo o monitorização de 1M AI News, o laboratório de IA PrismML, co-fundado pelo matemático Babak Hassibi, do California Institute of Technology, terminou o seu período de ocultação e lançou em open source a série de grandes modelos de linguagem 1-bit Bonsai. O modelo de topo, 1-bit Bonsai 8B, tem 8,2 mil milhões de parâmetros, com apenas 1,15 GB de utilização de memória, o que representa uma compressão de cerca de 14x face a modelos 16-bit do mesmo nível (aprox. 16 GB). Os pesos estão disponíveis para download aberto no HuggingFace sob a licença Apache 2.0, e foram disponibilizados também dois modelos mais pequenos: 4B (0,5 GB) e 1,7B (0,24 GB).
Bonsai 8B é um modelo verdadeiro de ponta a ponta 1-bit: a camada de embeddings, as camadas de atenção, a camada de MLP e a cabeça de saída usam apenas pesos representados por +1 ou -1, sem quaisquer patches de alta precisão. A PrismML afirma que as capacidades de inferência e de compreensão de linguagem em benchmarks padrão são equivalentes às de um modelo 16-bit de precisão total. A compressão matemática central foi desenvolvida pela equipa ao longo de vários anos no California Institute of Technology; a propriedade intelectual pertence ao California Institute of Technology, e a PrismML é o único detentor da licença exclusiva. O modelo foi treinado com Google v4 TPU.
Velocidade medida: 136 token/s no M4 Pro Mac, 440 token/s no RTX 4090 e cerca de 44 token/s no iPhone 17 Pro Max, enquanto o modelo padrão 16-bit 8B não consegue caber em nenhum iPhone. O consumo energético é reduzido em cerca de 4-5x face ao modelo 16-bit. A PrismML aponta que o hardware existente não foi concebido para inferência 1-bit; a vantagem de velocidade e eficiência energética deve-se principalmente à redução da ocupação de memória; se no futuro surgir hardware especificamente desenhado para 1-bit (que requer apenas operações de adição e subtracção, sem multiplicação), a eficiência poderá ainda aumentar mais uma ordem de grandeza.
A PrismML concluiu uma ronda de financiamento SAFE e seed no valor de 16,25 milhões de dólares, com investidores como Khosla Ventures, Cerberus Capital e o California Institute of Technology. Vinod Khosla, fundador da Khosla Ventures, afirma que este «não é uma pequena iteração; é uma grande ruptura tecnológica, uma ruptura matemática, e não apenas mais um pequeno modelo».
Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a
Isenção de responsabilidade.
