Seiring biaya RAM terus meningkat, seseorang mengambil pendekatan berbeda—membangun mesin LLM ringan dalam Rust yang benar-benar berjalan di perangkat dengan spesifikasi rendah. Solusi yang cukup praktis jika Anda bertanya kepada saya. Alih-alih menambah perangkat keras, optimisasi langsung dilakukan pada tingkat kode. Itulah jenis solusi sementara yang dibutuhkan ekosistem ketika sumber daya menjadi terbatas.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
19 Suka
Hadiah
19
8
Posting ulang
Bagikan
Komentar
0/400
tokenomics_truther
· 16jam yang lalu
ngl Ini adalah pola pikir rekayasa yang sebenarnya, bukan sekadar menumpuk bahan saja.
Lihat AsliBalas0
OnchainFortuneTeller
· 01-12 22:28
Ini adalah pola pikir rekayasa yang sebenarnya, bukan sekadar menumpuk bahan saja
Lihat AsliBalas0
MetaEggplant
· 01-10 18:01
ngl ini memang jalan yang benar, jangan selalu berpikir untuk menumpuk perangkat keras, optimisasi di tingkat kode adalah solusi darurat
Lihat AsliBalas0
just_here_for_vibes
· 01-10 18:00
Wah, akhirnya ada yang melakukan ini, seharusnya sudah dilakukan seperti ini sejak dulu
Lihat AsliBalas0
blockBoy
· 01-10 17:54
Menulis mesin ringan dengan Rust memang ide yang brilian, akhirnya ada orang yang tidak ingin lagi membakar uang untuk menumpuk perangkat keras
Lihat AsliBalas0
BlockchainGriller
· 01-10 17:52
Ini adalah cara yang benar untuk membuka, daripada menghabiskan uang untuk perangkat keras, lebih baik menghabiskan untuk kode
Lihat AsliBalas0
New_Ser_Ngmi
· 01-10 17:47
Menulis LLM dengan Rust memang ide yang brilian, tidak perlu terus-menerus bersaing dalam konfigurasi perangkat keras
Lihat AsliBalas0
CexIsBad
· 01-10 17:47
rust benar-benar luar biasa, akhirnya ada yang melakukan hal ini
Seiring biaya RAM terus meningkat, seseorang mengambil pendekatan berbeda—membangun mesin LLM ringan dalam Rust yang benar-benar berjalan di perangkat dengan spesifikasi rendah. Solusi yang cukup praktis jika Anda bertanya kepada saya. Alih-alih menambah perangkat keras, optimisasi langsung dilakukan pada tingkat kode. Itulah jenis solusi sementara yang dibutuhkan ekosistem ketika sumber daya menjadi terbatas.