Alibaba annonce un brevet lié à la formation de modèles de génération vidéo

Chengchacha APP indique que récemment, Alibaba (Chine) Co., Ltd. a déposé une demande de publication pour le brevet intitulé « Méthode de génération vidéo, méthode d’entraînement du modèle de génération vidéo et plateforme de tâches ».

Le résumé du brevet indique que l’exemple de cette description fournit une méthode de génération vidéo, une méthode d’entraînement du modèle de génération vidéo et une plateforme de tâches, dans laquelle la méthode de génération vidéo comprend : l’obtention d’une image de référence et d’un audio de référence, parmi lesquels l’image de référence contient au moins des informations visuelles de l’objet de référence ; l’extraction des caractéristiques visuelles de l’objet de référence à partir des informations visuelles dans l’image de référence, et l’extraction des caractéristiques audio à partir de l’audio de référence ; en se basant sur les caractéristiques visuelles et les caractéristiques audio, en prédisant, sous l’influence des caractéristiques audio, les informations d’action de référence de l’objet cible, où l’objet cible est obtenu à partir de l’objet de référence ; et en se basant sur les informations d’action de référence et l’audio de référence, en générant la vidéo correspondant à l’objet cible. Cette méthode permet d’améliorer la correspondance entre les informations visuelles de l’objet cible dans la vidéo et l’audio correspondant, améliorant ainsi l’effet de présentation de la vidéo.