Разработчики Института искусственного интеллекта Аллена и Иллинойсского университета в Урбане-Шампейне научили искусственный интеллект анимировать персонажей «Флинтстоунов» по текстовому описанию, передает TechFusion. https://techfusion.ru/n

Нейросеть под названием CRAFT — Composition, Retrieval and Fusion Network — обучили создавать короткие анимированные ролики с персонажами мультипликационного сериала «Флинтстоуны» по текстовому описанию. Она генерирует движение персонажей, основываясь на слова, которые описывают необходимые действия.

Алгоритм обучали на основе датасета из 25 тысяч 184 видеоролика, размеченных вручную. В текстовом описании анимации нейросеть научилась различать описание фона, композицию и саму сущность сцены — что должен делать персонаж или персонажи.

Стоит понимать, что нейросеть не рисует анимацию «с нуля», а выбирает подходящие картинки и движения из базы роликов. При этом, программа может допускать ошибки, но исследователи продолжают обучение. К сожалению, пока возможности нейросети сильно ограничены из-за необходимости вручную описывать и размечать все ролики.