Только что увидел интересную новость о развитии ИИ в области отображения персонажей, представленную компанией Anuttacon, которая является ИИ-компанией, основанной Цай Хаою, создателем miHoYo.

Они недавно выпустили LPM 1.0 — модель отображения видео персонажей, которая довольно удивительна. Эта система позволяет персонажам говорить, петь, слушать и реагировать одновременно в реальном времени. Более того, движения губ, мимика, а также ритм тела выглядят очень реалистично, а не искусственно.

С технической точки зрения, они используют базовую модель с 17 миллиардами параметров и адаптировали её для потоковой передачи с низкой задержкой. Хорошо то, что она поддерживает разнообразные стили персонажей — от реалистичных и 2D-анимаций до 3D-игр и даже существ, не являющихся людьми, без необходимости дополнительной настройки.

Что я заметил, так это то, что Anuttacon запустила стандарт оценки LPM-Bench, который показывает лучшие результаты по многим показателям по сравнению с другими моделями на рынке. Главное отличие в том, что LPM 1.0 может выводить контент без ограничений по времени, в отличие от других вариантов, ограниченных всего 30 секундами.

Их целевые применения довольно очевидны — NPC для диалогов в играх и виртуальные трансляции — это очень перспективные сценарии, особенно для miHoYo и других игровых компаний.

Однако стоит отметить, что Anuttacon ясно указала, что это только демонстрационная версия для академического обмена. В настоящее время не планируется открывать исходный код или предоставлять API для широкой публики. Большинство сообщества считает, что основная цель — привлечь талантливых специалистов в области ИИ.

Обратным взглядом, LPM 1.0 — это следующий шаг в развитии ИИ от Anuttacon в области игровых движков и умных NPC. Это также еще один результат развития ИИ от miHoYo, начиная с инструмента чата AnuNeko и до возможностей базовой модели. Кажется, Цай Хаою и его команда создают что-то значимое в области ИИ для персонажей.