Khi chi phí RAM tiếp tục tăng, một người đã chọn một hướng tiếp cận khác—xây dựng một engine LLM nhẹ bằng Rust thực sự chạy trên các thiết bị có cấu hình thấp. Một giải pháp khá thực tế nếu bạn hỏi tôi. Thay vì nâng cấp phần cứng, tối ưu hóa được thực hiện trực tiếp ở cấp độ mã nguồn. Đó là loại giải pháp tạm thời mà hệ sinh thái cần khi nguồn lực trở nên hạn chế.