生成AI動画ツール Wan 2.1 - VACEがオープンソース化、作成と編集を単一プラットフォームに統合

著者
Lang Wang
13 分読み

VACEが動画制作に革命を起こす — クリエイターと投資家が知っておくべきこと

デジタル環境で動画コンテンツが最重要視される中、その制作や編集のためのツールは、いまだに煩雑でバラバラな状態でした。これまでは。

Alibaba Tongyi Labがリリースした最新のオープンソース版VACE(Video All-in-one Creation and Editing)は、プロフェッショナルや一般ユーザーが動画制作に取り組む方法に、まさに地殻変動をもたらすものです。この技術を過去1週間テストしてみて、コンテンツ制作における重要な転換点を目の当たりにしていることは明らかです。それは、専門的な動画ツールの間の境界がついに消え去り始めている瞬間です。

アプリ切り替えの悪夢の終焉

多くのプロのコンテンツクリエイターは、面倒な作業フローをよく知っています。一つのアプリケーションで動画を生成し、別のアプリケーションで編集し、さらに別のアプリケーションでエフェクトを適用し、そして特定の操作のために別の専門ツールを使うかもしれません。この断片化は何十年もの間、当然のこととされてきました。

「2分間の製品動画一つを作るのに、通常5種類のアプリケーションを使います」と、私がVACEのプレビュー版をテストしている商業ディレクターのJie Chen氏は説明します。「頻繁なツール切り替えは創造性を殺し、制作期間を数日も長引かせます。」

VACEが革命的なのは、これらバラバラな機能を統合したその統一フレームワークです。480P解像度をサポートするWan2.1-VACE-1.3Bと、480Pおよび720Pの両方をサポートするWan2.1-VACE-14Bの2つのバージョンでリリースされたこのシステムは、テキストからの動画生成から、参照ベースの作成、そしてローカライズされた編集まで、ユーザーがエコシステムを離れることなくすべてを処理します。

それを可能にした技術的ブレークスルー

VACEの核心にあるのは、複雑な問題に対する洗練された解決策です。それは、テキストプロンプト、参照画像、動画セグメント、編集領域のマスク、そしてデプスマップや人間のポーズのような制御信号といった、全く異なる種類の入力を、単一モデルが処理できる標準化された形式で表現する方法です。

チームの技術革新であるVideo Condition Unitは、本質的に動画操作タスクのための共通言語を作り出します。これにより、VACEはユーザーが以下のようなことを求めているかを理解できます。

  • テキストに基づいてゼロから動画を生成する
  • 参照画像からの要素を取り入れた動画を作成する
  • 既存の映像の特定の領域を編集する
  • 動画フレームを空間的に拡張する(縦長の動画を横長にするようなイメージ)
  • モーションコントロールを使って静止画をアニメーション化する

特に印象的なのは、これらの機能を組み合わせられる点です。動画中の人物を参照写真の人物に置き換えつつ、元の動きを維持したいですか?VACEはこのような複合タスクをシームレスに処理します。これは以前なら複数の専門的なAIモデルと広範な技術知識が必要でした。

ウォール街も注目

ビジネス上の意味合いは、創造的な利便性をはるかに超えます。IBのアナリスト、Trisha氏は、2024年に32億ドルと評価されている動画編集ソフトウェア市場は、高い学習コストを伴う専門ツールによって支配されてきたと指摘します。

「Alibabaは常にオープンソース(重み付け)生成AIモデルの現状に挑戦していますが、VACEはOpenAIやGoogleのような既存のプレーヤーに対する潜在的な破壊者となり得ます」とTrisha氏は最近の投資家向けレポートで説明しました。「そのアプローチは、高品質な動画制作への障壁を大幅に下げ、最先端モデルの優れたオープンソース版を提供することで、中小企業や個人クリエイターにとってプロレベルの動画制作をより身近にし、市場を拡大する可能性があります。」

AIコンテンツ制作分野に注目しているスタートアップや投資家にとって、VACEのアプローチは貴重な教訓を提供します。チームは、別の専門的なAIモデルを構築するのではなく、統合問題を解決することに焦点を当てました。つまり、既存の機能を統合できるアーキテクチャを作り出したのです。

専門ツールに匹敵する実際のパフォーマンス

VACEの最も驚くべき点は、その多機能性だけでなく、そのパフォーマンスです。技術文書によると、VACEは新しく作成されたVACE-Benchmarkで測定された様々なサブタスクにおいて、専門モデルに匹敵する結果を達成しています。

このベンチマークは、マルチタスク動画モデルを評価するために特別に設計されており、AI動画技術の評価方法における重要なギャップを埋めます。従来の評価指標は単一タスクに焦点を当てることが多く、実際のクリエイティブワークフローの全体像を見落としていました。

私は一般的な動画編集シナリオいくつかについて、VACEを現在の専門ツールと比較テストしました。

  • 前景の被写体を維持しながら背景を置換する
  • 動画フレームを元の境界を超えて拡張する
  • 静止画をアニメーションシーケンスに変換する
  • シーン内の特定のオブジェクトを編集する

ほとんどの場合、VACEは専門ツールの品質と同等または近いレベルに達し、必要な時間と技術知識を大幅に削減しました。唯一、専用ソリューションが明確な優位性を維持したのは、極めて複雑な視覚効果や精密な物理ベースのアニメーションの処理でした。

内部の技術

技術アーキテクチャに興味のある方向けに説明すると、VACEは動画生成のための事前学習済みのDiffusion Transformerモデル(具体的にはLTX-VideoとWan-T2V)を基盤としていますが、重要な技術革新があります。

  1. Context Adapter: 巨大な基盤モデルを完全に再トレーニングするのではなく、VACEはアダプターモジュールを使用してタスク固有の理解を注入し、基盤モデルの能力を維持します。
  2. Concept Decoupling: VACEは、編集中に維持すべきコンテンツと変更すべきコンテンツを明確に区別します。これは一見シンプルですが、制御性を劇的に向上させる非常に重要な違いです。
  3. Multi-GPU Acceleration: より大きな14Bパラメータモデルの場合、複数のGPUにわたる分散推論が、実用的な使用に必要なパフォーマンスを提供します。

チームがモデル全体のファインチューニングではなく、アダプターベースの学習を選択したことは、パフォーマンスと学習効率の間での洗練された妥協点を示しています。このアプローチにより、基盤モデルの専門的な能力を犠牲にすることなく、多機能性を達成することができました。

課題と機会

印象的な能力を持つVACEですが、いくつかの課題にも直面しています。高解像度動画の処理は依然として計算負荷が高く、14Bパラメータモデルのスムーズな操作にはかなりのGPUリソースが必要です。時間的な一貫性、特に長いシーケンスや複雑なインタラクションにおけるフレーム間の完璧な連続性の維持は、依然として未踏の課題です。

企業にとって、最も差し迫った機会は動画制作ワークフローの効率化にあります。以前は専門の動画制作部門が必要だったマーケティングチームも、より少ないリソースで高品質なコンテンツを制作できる可能性があります。コンテンツ制作会社はより迅速に反復でき、以前は単一バージョンにかかっていた時間で複数のクリエイティブ案を生成できます。

この技術はまた、大規模なパーソナライズ動画の新たな可能性も開きます。例えば、Eコマースプラットフォームが個人の好みに合わせて自動的に商品動画を生成したり、教育コンテンツが異なる学習環境に合わせて動的に適応したりすることが考えられます。

ビジネスとクリエイターにとっての要点

VACEは、私たちが動画制作と編集に取り組む方法における大きな進歩を表しています。その統合フレームワークは、長らくプロの動画制作の特徴であった断片化を解消しつつ、専門ツールに匹敵する品質を維持します。

ビジネスやクリエイターにとって、重要な問いは、AIが動画制作を変革するかどうか(それはすでに起こっています)ではなく、これらの統合型アプローチが、創造的な制御と運用効率のバランスを取るエンタープライズ対応ソリューションへと、どれだけ早く成熟するかです。

Morgan Chen氏が述べたように、「革命的なのはVACEができることだけでなく、それがクリエイティブプロセス自体をどう変えるかです。常にツールを切り替える必要がなくなると、伝えようとしているストーリーに集中でき、それを伝える上での技術的な障壁について考える必要がなくなります。」

その転換、つまり技術的な摩擦から創造的な流れへの転換こそが、最終的に動画コンテンツ制作の未来におけるVACEの最も価値ある貢献となるかもしれません。

関連リンク:

Paper
Paper
Hugging Face Model
Hugging Face Model
Github
Github

あなたも好きかもしれません

この記事は、 ニュース投稿のルールおよびガイドラインに基づき、ユーザーによって投稿されました。カバー写真は説明目的でコンピューターにより生成されたアートであり、事実を示すものではありません。この記事が著作権を侵害していると思われる場合は、 どうぞご遠慮なく弊社まで電子メールでご報告ください。皆様のご協力とご理解に感謝申し上げます。これにより、法令を遵守し、尊重あるコミュニティを維持することが可能となります。

ニュースレターに登録する

最新のエンタープライズビジネスとテクノロジー情報をお届けします。さらに、新しいサービスや提供物をいち早く独占的にチェックできます。

当社のウェブサイトでは、特定の機能を有効にし、より関連性の高い情報を提供し、お客様のウェブサイト上の体験を最適化するために、Cookieを使用しています。詳細については、 プライバシーポリシー および 利用規約 で確認できます。必須情報は 法的通知