【神AI】顔の崩れ・破綻が一切なし！画像1枚＋動画の「たった2つ」から完璧なAIダンス動画を生成するSCAIL-2完全ガイド【ComfyUIワークフロー配布】

どうも皆さん！洗濯機はとりあえずおしゃれ着用モードばっかり使います、 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、今動画生成AI界隈でめちゃくちゃ話題になっている革命的な新技術 「SCAIL-2（SCAIL2.0）」 です！

https://teal024.github.io/SCAIL-2/　　

今回は、このSCAIL-2について、その凄さと「裏側で一体どんな技術が使われているのか？」という仕組みまで、ガッツリ詳細に解説していきたいと思います！🚀

話題の最新動画生成AI技術「SCAIL-2（SCAIL2.0）」ですが、一言で言うと、従来の動画生成や画像編集のワークフローを劇的に効率化し、コストと手間を大幅に削減する機能が詰め込まれた革新的なモデルなんです。　　

特に何がすごいって、 まじでキャラの一貫性がやばい んです！
AI動画生成をやったことがある方ならお分かりかと思うんですが、キャラクターがくるくる回ったり、複雑な動きをしたりすると、手足が溶けたり顔が変わっちゃったりして破綻することが多いですよね？

でも、このSCAIL-2は、くるくる回っても全く崩れないとコミュニティでも大騒ぎになっているんです！　　

使い方も非常にシンプルで、 「1枚のキャラクターの静止画」 と 「お手本となる人間の動きの動画（Driving Video）」 を入力するだけ。

これだけで、たった1枚の静止画のキャラクターが、お手本動画の動きを完璧にトレースして滑らかに動き出します。　　

これまでの動画生成の常識を覆すような「コスト削減」と「圧倒的な使いやすさ」を実現したモデルなので、動画制作にかかわるクリエイターやビジネスパーソンの皆さんは必見です！✨　　

ということで今回お話しする内容はこんな感じです！

1.　 ControlNet・骨格解析はもう不要！？1枚の画像が直感的に動き出す「Skeleton-Free」の秘密！
2.　 背景はそのまま、キャラだけをすげ替え！ビジネス直結で最強すぎる「置換モード」の威力！
3.　 低スペックPCでもサクサク長尺生成！？「GGUF形式」の活用と、すぐ使える実践ワークフロー！

この3本立てで、SCAIL-2の圧倒的なポテンシャルと、皆さんの環境ですぐに使える実践的な方法まで、余すところなくお伝えしていきます！

動画版はこちらからどうぞ！

なお、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

それでは、本日もよろしくお願いします！

なぜSCAIL-2は動画クリエイターにとって「衝撃的」なのか？

これまで、私たちが映像を作る時の選択肢は、大きく分けて2つしかありませんでした。
「動画生成AI」を使うか、「動画編集ツール」を使うか、です。

• 動画生成AI（SoraやWan 2.1など）： 映像は圧倒的に綺麗！でも、細かい動きやキャラクターのコントロールが全く効かない、いわゆる「ガチャ」状態。

• 動画編集ソフト（After EffectsやPremiere）： コントロールは完璧に効く！でも、3D合成やキャラクターの置き換えをやろうとすると、膨大な手作業とコスト（時間・お金）がかかってしまう。

この「コントロール性」と「コスト」のジレンマに、多くのクリエイターが頭を悩ませてきました。しかし、 SCAIL-2はこの2つの壁を完全にぶち壊してしまったんです！

「お手本動画の動きをインプットにする」という 編集的なアプローチ と、「単一のDiT（Diffusion Transformer）で新しいピクセルを補完・生成する」という 生成AI的なアプローチ 。この相反する2つを、内部のマスク処理（In-context Mask Conditioning）によって見事に一つに統合してしまいました。　　

つまり、これってどういうことかと言うと…。
「既存の動画素材をベースにして、キャラクター

や服装、アバターだけを差し替えて、全く新しい動画にリサイクルできる」 ということです！　　

実務において最もコストと時間が削れる「生成兼・編集ツール」として、今ビジネスパーソンやクリエイターからめちゃくちゃ熱い視線を集めているんです！🚀✨　　

今後の解説の流れについて

さて、このSCAIL-2、機能があまりにも強力で高度な技術が詰まっています。1回の動画や記事にすべてを詰め込んでしまうと、「ちょっと難しすぎるかも…」とパンクしてしまうかもしれません。

そこで皆さんが確実にステップアップできるように、 今回と次回の「2回分け」 でじっくり解説していくことにしました！

• 第1回（今回・アニメーション編）： 「1枚の推しキャラやAI美女の画像が、人間の動画と全く同じように滑らかに踊り出す！」という、魔法のような感動と表現の拡張にフォーカスします。AIイラストレーターさんやVTuber関連、SNSでサクッとバズらせたい方に強烈に刺さる内容です！

• 第2回（次回・キャラクター置換編）： 「既存の背景動画を維持したまま、コストゼロで出演者だけを別のキャラに差し替える」という、圧倒的な業務効率化とマネタイズに直結する内容をお届けします。動画編集者さんや広告クリエイターさんなど、より実務的なビジネス層向けの最強ツールをご紹介します！

用途に合わせてしっかりマスターしていきましょう！

最大のブレイクスルー：骨格（スケルトン）解析からの完全脱却！

これまでのAI動画生成（VACEやWan Animateなど）でキャラクターを思い通りに動かそうとした時、皆さんはどうしていましたか？
きっと「ControlNet」などを使って、元の動画から棒人間のような「骨格（スケルトン）」や「輪郭」を抽出するという中間処理を挟んでいたと思います。

しかし、SCAIL-2の最も革命的な点は、 「骨格などの中間表現（Intermediate representation）を完全に不要にした、エンドツーエンド（End-to-End）のモデル」 であるということです！　　

なぜ、わざわざ骨格を使わないアプローチをとったのでしょうか？
実は、従来の「スケルトンマップへの過度な依存」こそが、複雑なモーションで動画が破綻してしまう諸悪の根源だったんです。

人間同士がハグをしたり、複雑に手足が絡み合ったりするシーンを想像してみてください。骨格を抽出するAI自体が、奥行き（深度）や重なりを誤認してしまい、いわゆる「Inherent Ambiguity（固有の曖昧さ）」を引き起こしてしまいます。設計図である骨格がバグってしまえば、当然出力される動画のキャラクターも手足が溶けたりしてバグってしまいますよね。

さらに、「人間の骨格」を基準にしているため、四足歩行の動物を動かしたり、VRなどで重要になる「一人称視点（Egocentric）」の映像には適用できないという大きなハードルがありました。

SCAIL-2は、この「中間表現」をパイプラインから完全に叩き出し、 「Unified End-to-end Animation Model（統合型エンドツーエンド・アニメーションモデル）」 へと舵を切りました。

骨格を抽出するのではなく、入力された「Driving Video（動作を教える動画）」と「動かしたいキャラクターの画像」のピクセル空間から、ダイレクトに最終出力を推論させます。

これにより、面倒なControlNetの設定なしにシングルプロンプトで動かせるだけでなく、犬や猫などの動物のモーション転送や複雑な物理的接触の描写において、ゼロショット（事前学習なし）で圧倒的な汎用性を獲得したんです！

すごいと思いませんか？まさに「棒人間の設計図を見るのではなく、ダンスそのものを見て直接覚えるAI」に進化したわけです！

技術の裏側大公開！SCAIL-2はどうやって動いているの？

「でも、骨格を使わずにどうやってキャラクターと動きをあんなに正確に同期させているの？」と、不思議に思いますよね。
公開された論文のアーキテクチャ図解を元に、その裏側の技術（パイプライン）を紐解いてみましょう！

SCAIL-2の異常な性能を支える核となっているのは、大きく分けて 「データセットの自律的構築」 と 「In-context Mask Conditioning（文脈マスク条件付け）」 という2つの画期的なアプローチです。

超高品質な学習を支える自律的データパイプライン「MotionPair-60K」

骨格を使わずにAIを賢くするには、膨大で「完璧なデータ」が必要です。SCAIL-2のチームは、人間が手作業でポーズを修正するのではなく、AI同士を連携させた 「Agentic Data Synthesis Pipeline（エージェント的データ合成パイプライン）」 という自律ループを構築しました。

1.　 Candidate Selector（候補選択） : VLM（視覚言語モデル）が、モーションプールから動画の最初のフレームを取り出し、キャラクタープールから最も姿勢がマッチする画像を選出します。
2.　 Pose Editor  : 次に「Nano Banana Pro」などのポーズエディタが、画像を動画のポーズに厳密に一致するように編集し、新しいフレームを生成します。
3.　 Quality Checker（品質監査） : 再度VLMが登場し、「ポーズの正確さ」「環境の一貫性」「全体的な品質」を厳しくジャッジします。ここで不合格なら再編集、完全にフェイル（失敗）なら容赦無く破棄します。

この「AIがAIを厳しく監査するシステム」によって、ノイズが一切ない完璧な「動きとキャラクターのペアデータ」をなんと 6万組（60K） も自動精製しました。この極めてクリーンなデータセットこそが、モデルの精度を根底から支えているんです。

一つのDiTで全てを解決する「In-context Mask Conditioning」

そして、推論の心臓部であり、最も革新的なのがこの部分です。
SCAIL-2は、「アニメーション（背景も新規生成）」と「リプレイスメント（背景は維持してキャラだけ置換）」という全く異なるタスクを、別々のAIモデルではなく 「単一のDiT（Diffusion Transformer）ブロック」 で処理しています。

それを可能にしたのが 「In-context Mask Conditioning（文脈マスク条件付け）」 です。
モデルに入力する際、単に画像と動画を投げるのではなく、以下のマスクを結合（Concat）して一緒に入力します。

• **Reference Mask ** : 参照するキャラクターのマスク

• **Driving Mask ** : 動きの元となるマスク

• **All-Zero Mask ** : ゼロ埋めされたマスク

例えば、 【アニメーションモード時】 は特定のマスクパターンを適用して流し込み、　　

【リプレイスメントモード時】 は、背景を維持したいDriving Videoに対して、置換対象となる人物のシルエットを切り抜いたようなマスクを適用して入力します。　　

するとAIは、入力されたマスクの空間的・時間的な配置パターン（文脈）を読み取るだけで、 「あ、今回は背景を維持してキャラだけ変えればいいんだな」「今回は全身と背景を新しく再構築するタスクだな」と自律的に判断 し、適切な処理へと切り替えてくれるんです！

タスクごとにシステムを変えるのではなく、マスクという「文脈（In-context）」を与えることで、一つの巨大なAIに全てを処理させる。この圧倒的な汎用性と計算効率の良さがあるからこそ、複雑な動きでもキャラが崩れず、コストを抑えた運用が可能になっているんですね！

低スペックPCでも動く！？「GGUF量子化」と「高解像度・長尺」への対応

最後に、私たち個人クリエイターにとって最高に嬉しい、ハードウェア面でのメリットについてお話しします！

ここまで凄い機能を聞くと、「どうせ数百万円するようなプロ用のPCや、高価なクラウドGPUがないと動かないんでしょ…？」と不安になりますよね。でも、安心してください！

1.　GGUF形式によるVRAM節約でローカル稼働！

SCAIL-2は、モデルデータを圧縮する 「GGUF形式」 を採用したモデルデータが有志によって公開されています。

「量子化（Quantization）」と呼ばれる技術を使って、画質を極力維持したままファイルサイズを劇的に軽量化しているんです。これにより、VRAM（ビデオメモリ）が6GB〜8GB程度の一般的な家庭用ゲーミングPCでも、ローカル環境でサクサクと高品質な動画生成を回せるようになっています！高いAPI代やクラウド代を払わずに、自宅のPCが「AI動画制作スタジオ」になるのは本当に革命的ですよね。

2.　高解像度での安定した連続生成

もちろん、ハイスペック環境をお持ちの方にはさらなる恩恵があります。ハードウェアの進化とモデルの最適化により、最新のRTX 5090などの環境においては、これまで公式推奨だった解像度を大幅に超える「720x720」や「960x960」といった高画質で、最大161フレーム（約5〜10秒）の連続生成が安定して動作することが確認されています。高画質な広告素材や配信用動画を作りたいビジネスパーソンにはたまらない性能です！　　

3.　自動延長（Auto Extend）機能で長尺動画も自由自在！

本来、SCAIL-2は一度に81フレームまでしか生成できません。それ以上の長い動画を作るには、手動でフレームを計算して繋ぎ合わせるという地獄のような作業が必要でした。

しかし、ComfyUI向けの 「Auto Extending」 といったカスタムノードを使えば、動画を自動で分割し、アンカーを固定し、繋ぎ目の色味まで自動でマッチングしてくれます。手動の複雑な設定なしで、任意の長さの長尺動画をワンクリックで生成できる環境がすでに整っているんです！

ということでここからは、その魔法のような動画生成AI「SCAIL-2」を、無料AIツールのComfyUIから簡単に使っていく方法についてハンズオンで解説していきたいと思います！

今回のために、皆さんが一切のストレスなくSCAIL-2のポテンシャルを100%引き出せるような、特製のワークフローを構築しました！
まずは、このワークフローに詰め込んだ「5つのこだわりのポイント」を解説していきます！

今回のワークフローのポイント

「DPO LoRa」による高い整合性と品質の担保

今回はさらに、オプションで使える「DPO LoRa」という機能を入れておきました。
これは何かと言うと、SCAIL-2フレームワークによってビデオのフレーム間の一貫性や3D的な整合性を維持しつつ、DPO（Direct Preference Optimization）を適用することで、さらに高品質かつ自然な動画出力を実現できる魔法のスパイスのようなものです。

参考文献
https://huggingface.co/Comfy-Org/SCAIL-2/blob/main/loras/wan2.1_SCAIL_2_DPO_lora_bf16.safetensors

画像と動画のスマートな自動リサイズ処理

あとはこんな感じで、またいつものように画像については自動でリサイズ処理が行われるようにしておきました！これを元に、お手本となる動画も自動でリサイズして合わせてくれます。
もちろんオートリサイズだけではなく、普通のリサイズ処理を行って自由に横幅や高さなどを決められるようにもしていますので、お好みの画角で遊んでみてください。　　

LLM（Gemma4-26B）によるプロンプトの完全自動リファイン

そして、私のワークフローでは毎度お馴染みなんですが、今回も強力なAIエージェントを裏側に仕込んでいます！
こんな感じで画像と動画をインプットさせると、それをGemma4-26Bが視覚的に推論してくれます。そして、参照させた画像と動画から、SCAIL-2に適したベストプラクティスに沿った完璧な英語プロンプトを自動で生成・リファインしてくれるんです！皆さんがいちいち「金髪で、メイド服を着ていて…」と英語で打ち込む必要はありません。　　

2K品質アップスケール ＆ 滑らかな32fps化（VFI）

さらにそれだけでなく、生成した動画を2K品質にアップスケールするオプションと、VFIというフレームレートを上げて動画をヌルヌル滑らかにする機能も仕込んでいます！
なので、これ一つで最終的に「2K品質で32fps」という、実務でもそのまま使えるレベルの滑らかで綺麗な動画を生成することが可能です。　　

ControlNet不要を活かした「究極のシンプルUI」

これまでの動画生成ワークフローって、ノードがぐちゃぐちゃに繋がっていて、初心者の方には画面を見ただけで地獄のようでしたよね…。
でも、SCAIL-2は先ほど解説した通り「ControlNet」や「ポーズ推定」が一切不要です。なので、ユーザーの皆さんが触る部分を以下の3カ所だけに絞った、極めてクリーンなUI（Fast Group Muterなどでまとめたもの）に仕上げました！

• Input 1: 動かしたいキャラクターの画像をアップロードする

• Input 2: お手本となる人間の動画（Driving Video）をアップロードする

• Input 3: 動画の長さ（フレーム数）を決める　　

難しい設定や配線は全部、私が裏側でやっておきました！皆さんは、画像と動画を入れて、Runボタンを押すだけです！
ComfyUIに初めて触れる入門者さんでも、絶対に挫折せずに最高の動画生成体験ができます！　　

今回も、ご自身のパソコンで動かすローカル環境や、

GPUを安く借りられる Runpod などのクラウド環境、どちらでも動かせるように作っています。

ちなみに、「初心者だからComfyUIの設定がちょっと難しそうで自信がないな…」という方のために、こちらで たった1クリックで使い始められる方法 を解説していますので、よかったらぜひ参考にしてください！

https://note.com/ai_hakase/n/n9eb2265f98f7

ぜひ、お手元の環境でこの驚きの技術を体験してみてください！　　

ということで、ここからは私のNoteメンバーシップ「 あいらぼ（Ai-Lab） 」の入門者さん限定でやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います！

まずは、この先に表示されるNoteの限定リンクから、 「Jupyterノートブック」 と 「ワークフローファイル」 の2つをダウンロードしてください！

• ローカル環境で実行する方 → 「ワークフローファイル」のダウンロードだけで大丈夫です！ただし、セットアップでつまずいてしまった場合は、どちらかの「ipynb」ファイルを参考にセットアップを進めてください。

• 【推奨】 Runpodで実行する方 → 「ワークフローファイル」と「Rp_run_comfyui_hakase_v1.0.ipynb」をセットでダウンロードしてください！