Щойно помітив щось цікаве — з’явилась нова ринкова структура під назвою The Grid, яка підходить до задач інференсу абсолютно по-новому.

Замість звичної для всіх нас моделі API, вони побудували всю свою архітектуру навколо задачо-орієнтованого інференсу. Подумайте про це: замість простого виклику API-ендпоінту, ви фактично організовуєте роботу навколо конкретних обчислювальних завдань.

Їхні технічні креслення тільки-но з’явилися, і, чесно кажучи, філософія дизайну справді освіжаюча. Це один із тих моментів «чому ніхто раніше до цього не додумався». Вся система спроєктована так, щоб обробляти запити на інференс як окремі задачі, а не як загальні виклики API.

Для всіх, хто працює у сфері децентралізованих обчислень, це може бути варте уваги. Така орієнтація на задачі справді може вирішити деякі вузькі місця з ефективністю, з якими ми стикаємось у традиційних підходах до сервінгу моделей.

Цікаво буде побачити, як це працюватиме на практиці, коли люди почнуть тестувати цю інфраструктуру під навантаженням.