Оскільки ціни на ОЗП продовжують зростати, хтось обрав інший підхід — створив легкий движок LLM на Rust, який фактично працює на пристроях з низькою специфікацією. Досить практичне рішення, якщо запитати мене. Замість того, щоб додавати більше апаратного забезпечення, оптимізація спрямована безпосередньо на рівень коду. Це той тип обходу, який потрібен екосистемі, коли ресурси стають обмеженими.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
19 лайків
Нагородити
19
8
Репост
Поділіться
Прокоментувати
0/400
tokenomics_truther
· 01-13 16:35
ngl Це справжнє інженерне мислення, а не просто накопичення матеріалів.
Переглянути оригіналвідповісти на0
OnchainFortuneTeller
· 01-12 22:28
Це справжнє інженерне мислення, а не просто накопичення матеріалів
Переглянути оригіналвідповісти на0
MetaEggplant
· 01-10 18:01
ngl це справжній шлях, не завжди потрібно нагромаджувати апаратне забезпечення, оптимізація на рівні коду може швидко вирішити проблему
Переглянути оригіналвідповісти на0
just_here_for_vibes
· 01-10 18:00
Вау, нарешті хтось зайнявся цим, давно вже потрібно було так зробити
Переглянути оригіналвідповісти на0
blockBoy
· 01-10 17:54
Ідея написати легкий движок на Rust дійсно геніальна, нарешті хтось більше не хоче витрачати гроші на купівлю обладнання
Переглянути оригіналвідповісти на0
BlockchainGriller
· 01-10 17:52
Це правильний спосіб відкриття: замість того, щоб накопичувати апаратне забезпечення, краще зосередитися на коді
Переглянути оригіналвідповісти на0
New_Ser_Ngmi
· 01-10 17:47
Ідея написання LLM на Rust дійсно чудова, немає потреби постійно змагатися у апаратних характеристиках
Переглянути оригіналвідповісти на0
CexIsBad
· 01-10 17:47
rust дійсно крутий, нарешті хтось зайнявся цією справою
Оскільки ціни на ОЗП продовжують зростати, хтось обрав інший підхід — створив легкий движок LLM на Rust, який фактично працює на пристроях з низькою специфікацією. Досить практичне рішення, якщо запитати мене. Замість того, щоб додавати більше апаратного забезпечення, оптимізація спрямована безпосередньо на рівень коду. Це той тип обходу, який потрібен екосистемі, коли ресурси стають обмеженими.