Độ chính xác 0,76 đạt được bởi ArKrum và DP-SGD trong thử nghiệm quy mô lớn với 10 triệu nút

Thuật toán ArKrum kết hợp với Phân Gradient Ngẫu nhiên Riêng tư (DP-SGD) đã chứng minh khả năng hoạt động của mình trong một môi trường cực kỳ đòi hỏi: một mạng phân tán đạt tới 10 triệu nút tham gia. Cột mốc này đánh dấu bước tiến đáng kể trong khả năng mở rộng của các hệ thống học tập phân tán dưới hạn chế về quyền riêng tư.

Chi tiết thử nghiệm thực nghiệm

Việc xác thực kỹ thuật được thực hiện dưới các điều kiện cố ý bất lợi. Hệ số nhiễu được cấu hình là 0.3, một tham số quan trọng phản ánh sự cân bằng giữa bảo vệ quyền riêng tư và tính toàn vẹn của mô hình. Trong 20 vòng huấn luyện phân tán liên tiếp, hệ thống xử lý dữ liệu từ bộ dữ liệu CIFAR-10 trong khi đồng thời có 30% nút độc hại—một tỷ lệ khá cao mô phỏng các kịch bản thực tế về khả năng chịu đựng.

Các mô phỏng được triển khai qua hạ tầng phân tán của Torch, cho phép hàng chục triệu nút tính toán phối hợp gradient một cách đồng bộ.

Hiệu suất đạt được

Kết quả cuối cùng: độ chính xác 0.76. Giá trị này cho thấy mức giảm nhẹ so với mô phỏng trước đó với 1 triệu nút, hiện tượng này chủ yếu do sự phức tạp phát sinh trong việc phối hợp quy mô lớn như vậy. Mặc dù vậy, hệ thống đã thể hiện khả năng vận hành ổn định mà không gặp sự cố nghiêm trọng nào, xác nhận rằng ArKrum duy trì khả năng phòng thủ ngay cả dưới áp lực phối hợp theo cấp số nhân.

Triển vọng tương lai

Các nhà nghiên cứu đã xác định hai hướng ưu tiên: tích hợp xác thực qua blockchain để chứng nhận tính toàn vẹn của các vòng huấn luyện, hoặc sao chép thử nghiệm hiện tại bằng cách sử dụng bộ dữ liệu MNIST, một lựa chọn giúp xác thực tính nhất quán của hành vi thuật toán trong các miền dữ liệu khác nhau. Cả hai hướng đều nhằm củng cố độ tin cậy của hệ thống trong các kịch bản với hàng triệu nút.