AIで作成したイラストを動画でしゃべらせる
対話型AIや画像生成AIの進展は目覚ましいものがあり、日常の生活の中にも急速に浸透しつつあります。
最新の画像生成AIと動画生成アプリCreativeRealityStudioを使い、イラスト画像を自分の好きなようにしゃべらせることが簡単にできるようになりました。
今回は作例を交えて、以下の手順で解説していきます。
・MidjourneyやStableDiffusionで人物のイラストを生成する。
・CreativeRealityStudioで動画生成する。
・作った動画を活用する。
目次
画像生成AIで人物のイラストをつくる
まず、画像生成AIアプリMidjourneyやStableDiffusionで人物のイラスト（アバター）静止画をつくります。
MidjourneyやStableDiffusionの特徴や、詳しい使い方については別の説明を参照してください。
人物イラスト（静止画）の作例
動画作成のための人物のイラスト（静止画）を、StableDiffusionとMidjourneyで作成してみました。
画像生成のやり方詳細はここでは省力しますが、動画生成の基本部分ですので是非習得しておいてください。
また、各画像生成での著作権に関してはそれぞれのアプリに記載されている注意書きを参照して、自己責任でお願いします。
以下にその作例を掲載しておきます。
これからの動画作成のアバターとして使用していきます。
StableDiffusionでの作例
Midjourneyでの作例
Creative Reality Studioとは
「Creative Reality Studio」は、イスラエルの「Studio D-ID」というAIを扱う会社によって開発されました。
静止画1枚とテキストさえあれば動画を生成できるのは驚きです。
日本語でのテキスト入力にも対応しているので、使いやすく色々と応用ができるツールです。
CreativeRealityStudioの主な特徴は、下記の通りです。
テキストから動画を生成できるプラットフォーム
好きな画像やイラストをアップロードしてアバターにすることが可能
声質や表情などのカスタマイズが可能
119の言語に対応（日本語にも対応）
D-ID独自のジェネレーティブAI技術と、Open AIの「GPT-3」、Stability AIの「Stable Diffusion」を統合して構成
アカウント作成して無料トライアルを試す
CreativeRealityStudioには無料トライアルがあります。
14日間、または15秒以内の音声動画を20個まで生成できます。
私も最初はこのトライアルを利用してみました。
先ず下のリンク先のホームページにアクセスします。
CreativeRealityStudioのホーム画面です。
右上の「CREATE VIDEO」をクリックします。
クリックすると、以下のようにポップアップでログイン画面が表示されると思います。
もし、表示されない場合は適当なアバターを選択してもう一度、「CREATE VIDEO」をクリックしてください。
登録画面では必要項目を入力または設定してください。
全ての入力を終えてから「SIGN UP」をクリックすると、登録したEメールアドレスにメッセージが届きます。
このメッセージで確認を終えると登録は完了となります。
次回からは、このEメールアドレスとパスワードを使用して「Creative Reality Studio」にログインします。
有料プランへの登録
2週間または20個の音声動画生成を終了すると、有料プランへの登録をうながすメールが届きます。
ホーム画面の「Pricing」を開くと、プラン価格の一覧表が出るので、自分の好みに合ったプランを選択します。
私はとりあえず、＄5.9／月のLiteプランにしました。
10分／月の動画では短いと感じる方もいると思いますが、実際に使用してみるとそれほど問題なく使用できると思います。
CreativeRealityStudioの使い方
CreativeRealityStudioの使い方は非常に簡単です。下記にその手順について説明していきます。
CreativeRealityStudioのトップページから、登録した内容でログインしてください。
アバターとしてのイラストを追加設定する
「＋Create Video」を選択し下方の「＋ADD」に、自分のお好みのアバターとして使用するイラストや写真を追加します。
しゃべらせたい言葉を設定する
先ず、しゃべらせたいアバターを選んで画面に表示されていることを確認します。
１．テキストデータで作成
①「Script」を選択して日本語でテキストデータを入力します。
例として、下記のようにテキスト入力します。
「画像生成AIと動画生成AIの、CreativeRealityStudioのご紹介です。今しゃべっている私は元々は静止画です。」
②「language」から入力する言語を選択します。
ここでは「Japanese」を選択
③「Voices」で音質を選択します。
今回は「Mayu」を選択しましたが、自分の好みで選びます。
④「Listen」でしゃべっている音声を聞くことができます。
ここで動画作成前に音声を確認しておくとよいでしょう。
２．あらかじめ作成しておいたMp3等の音声データで作成
①「Audio」を選択して、Mp3やm4a等の音声データをアップロードします。
②ここでも音声を確認のために、あらかじめ聞くことができます。
３．動画の作成
上記１または２の準備が完了したら、画面右上の「GENERATE VIDEO」をクリックします。
下記画面がでるので、確認して動画作成に進みます。
「Generate this video？」の作成の確認画面が出ますので、OKなら「GENERATE」をクリックすると数秒で動画生成され、「Home」にアップロードされます。
この画面では次のことの確認もできます。
15秒で1クレジットですから、この場合11秒で1クレジットを消費し残りが26クレジットという意味です。
ちなみに私のLiteプランでは10分／月 ですので、４０クレジット／月ということになります。
（無料トライアルは15秒以内の音声動画を20個までしか生成できません。）
作成した動画の確認と活用
これが実際に生成された動画です。
これまでに作成した動画は「Home」画面で見ることができ、それぞれ自分のPCへmp4のファイル形式でダウンロードできます。
作成した動画はHPや各種プレゼン、友達へのビデオメッセージ等、活用方法はいろいろと考えられます。
著作権については、特に画像生成の段階で気を付けることは当然ですが、自己責任で管理してください。
テキストデータと自分の音声データでの作成例
テキストデータと音声データで作成した動画の比較です。
自分の好みで選択します。
まとめ
Creative Reality Studioの静止画を動画で喋らせる技術もここまで進歩しました。
119の言語に対応する音声は、テキストデータや録音データにも対応しています。日本語が使えるのも魅力です。
会話での動画は口元や表情も自然に作成されています。
今後のAI技術の発展に伴い、ますます画像や音声の活用が楽しみになってきます。
