投稿

Diffusers の AnimateDiffVideoToVideoPipeline を使って動画を作成した結果

イメージ
左から AnimateDiff V2 AnimateDiff V3 without Domain Adapter LoRA AnimateDiff V3 with Domain Adapter LoRA オリジナル記事 【Video2Video】Diffusers で AnimateDiffVideoToVideoPipeline というのが公開されていたので AnimateDiff v2 と v3 で実行してみました。

Moore-AnimateAnyoneを実行した結果

オリジナル記事 【Moore-AnimateAnyone】1枚の画像とポーズ動画から動画を作成する

「Rerender A Video」をDiffusersから使った結果(Video2Video)

イメージ
左が元動画、右が作成された動画です。 オリジナル記事 【Video2Video】「Rerender A Video」がDiffusersから使えるようになっていたのでさっそく使ってみました。 動画作成のポイント mask_strengthについて mask_strengthはデフォルトで0.5に設定されています。 今回の場合はそのまま実行すると一番目のフレームの残存が残ってしまいました。 mask_strengthを0.1に下げると解決しました。 mask_strength=0.5 mask_strength=0.1

AnimateAnyghing を使って Image2Videoを試した結果

オリジナル記事 【AnimateAnyghing】AnimateAnyghing を使って Image2Videoを試してみる

【AnimateDiff】Motion Module v2 と v3 を比較してみました。

イメージ
左がv2、右がv3です。 steps: 40 guidance_scale: 8.5 prompt: - "a girl, dancing, blue denim, white plain t-shirt, best quality, extremely detailed" n_prompt: - "longbody, lowres, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality" オリジナル記事 【AnimateDiff】Motion Module v3 が公開されたので v2 と比較してみました。

【Diffusers】AnimateDiff + Multi-ControlNet で動画作成した結果

イメージ
モデルは「mistoonAnime-v20」です。 ControlNetは「control_v11p_sd15_openpose」と「control_v11f1e_sd15_tile」を使いました。 conditioning scaleは両方とも0.8に設定しています。 オリジナル記事 【Diffusers】AnimateDiff + Multi-ControlNet で動画作成してみる ロングバージョン オリジナル記事 【Diffusers】AnimateDiff + Multi-ControlNet で作成する動画のフレーム数上限を上げる方法 LongAnimateDiffバージョン 左がFreeUなし、右がFreeUありです。 少し画質が良くなっている印象です。 オリジナル記事 【Video2Video】LongAnimateDiff を使って長い動画を作成する

【Diffusers】AnimateDiff + ControlNet で動画作成した結果

イメージ
オリジナル記事 【Diffusers】AnimateDiff + ControlNet で動画作成してみる