Поскольку стоимость оперативной памяти продолжает расти, кто-то нашел другой подход — создал легкий движок LLM на Rust, который действительно работает на устройствах с низкими характеристиками. Довольно практичное решение, если спросить меня. Вместо того чтобы добавлять больше аппаратного обеспечения, оптимизация идет прямо на уровне кода. Именно такой обходной путь нужен экосистеме, когда ресурсы становятся ограниченными.