コロナの時期でAI画伯というアプリが出たのですが、ここ毎日非常にハマっています。最初は眺めるだけだったのですが、動画にして歌わせてみたくなりました。そしてインスタとtikitokも始めてみました。私にとってAI画伯は様々なSNSを始める良いきっかけになりました。
photospeakを使用
今から数年前に出たアプリにphotospeakというものがあります。まさか数年前にこのようなアプリが出ていることに驚きました。最近snsをやり始めて、様々なアプリを知ることになりました。まさに浦島太郎状態で、今はこんなにもテクノロジーが発達しているのかと驚かされる毎日でした。
コロナが始まらなければ、家に篭ることもなかったと思いますし、AI画伯の存在にも気づかなかったかもしれませんphotospeakは静止画を動かして話せるようにしてしまうアプリです。しかも無料で使用出来ます。このクオリティで無料というのに非常に驚きました。AI画伯に関してこちらに記事がありますので、宜しかったら合わせてお読みください。
実際に使用してみると
絵画などではなくて、普通の写真だと非常にリアルに話して異様に見えました。ただ、私の場合は肖像画を使用したかったので、そちらの検証をしてみました。
歯と顎が気になる
photospeakでは話してる動画をするために歯が作成されます。どうやらリアルな人間と違い、絵の場合は歯が浮きがちになります。そして顎が絵によって不自然な感じになったります。ただその場合は、その後にフィルターをかけるとある程度はごまかせました。上の動画のように画面を歪ませるフィルターを使用すると良さそうでした。あとはどうして歯が気になる場合はモノクロにしてしまうえば、ほぼ目立たないようでした。
真っ直ぐ向いた写真だとやり易い
正面を向いてきちんと映ってる絵の場合は動きも自然に近い形になり易いです。目はそうでもないのですが、口は左右対象の長さで映ってると非常に話している感じが再現し易いです。
口の小さい絵は難しい
私自身口があまり大きくなく、唇の色素も薄いため、私のが画像を見てもらうとわかるかもしれませんが、AI画伯にかけると口が小さく写りがちです。ちなみにinstaの方に私の画像一覧があるので、良かったらご覧ください。
そのため口の大きいキャラを作りたい時はアプリで口の色素を濃くしたりしています。また上唇の窪みの部分が真っ直ぐになっていなかったり、窪み自体がはっきりしないと変に歯が出て、歯茎が見えるような感じの話し方になったりします。実際にやってみると分かるのですが、上唇の窪みが中央で口の端が窪みから均等の長さになっている絵ほど話し方が自然に見えます。
均等ではなくても設定次第では出来なくもない
ただ上の画像のように口の長さが均等でないものでも、思い切ってこのような感じで、中央を変にずらした設定すると上手く話せるようになるパターンもありました。ただしこのキャラの場合は唇が熱いので口を広めのポイントに設定してしまうと不自然になりました。ちなみに口の開き具合の設定も出来るのですが、このキャラの場合は口の開きは最小にしています。
ちなみにこちらの画像が実際に作成した動画です。話す感じは比較的簡単なのですが、このキャラに関しては歌っても違和感ありませんでした。いつか歌っているバージョンも作成したいです。
髭のある写真で色素が薄い肌はごまかしが効く
こちらの動画のように髭のある人物の場合は、口が動いても自然に見えます。さらに画像の人物はまだ肌が濃くないので、歯も自然にマッチします。ただ色に関しては、最悪モノクロにしてしまえば解消出来ます。
瞬きは最大の課題
瞬きするとどうして、肖像画の場合は色がおかしくなります。まつ毛が浮き気味になったりすふこともあります。このあたりは仕方がなさそうです。ただいくらかごまかすやり方があります。
誤魔化し方
まつ毛がブレたり、顎の動き、口元が合ってない場合、何かエフェクトをかけてごまかすと良いでしょう。顎がどうしても気になる場合は、tiktokでしたらステッカーなどを置いて常に隠すのもありでしょう。そして、色んなところを補足すると、勝手に絶妙な演出になったりすることもあります。こういうケミストリーがたまらなく面白いです。
ただ楽曲に関してはものによっては運が絡んできます。サブ携帯から音を流して撮っていましたが、アカペラものは非常にやり易いです。ただ楽器が入っていると口が変な時に動いてしまうことも多いです。特に曲で安定するのはラップものです。一つ前に載せていた動画なども特に苦もなく撮れました。ラップ系は歌ものよりはあまり口が気になりませんでした。
特に歌の場合、声を伸ばす箇所などで、口がもじもじしたりし易いです。バックコーラスが被せてある曲も難しいです。上手く行く時もあるのですが、根気が必要でした。あとはどうしてもバックの音が大きい曲をしたい場合は、イヤホンをつけて音楽を流し、自身が歌って録音したりもしました。
タイムラグ
ある程度のタイムラグは容認するのもおすすめします。なかなかぴったりいくのは難しいです。なぜなら口の動き自体がそもそもピタリと合ってない時が出てくるためです。そのため、強調してピタリとしてるポイントをどこに持ってくるかでタイムを調整すると良いでしょう。
必ずしも頭に合わせる必要はなく、後半のポイントに向けて、出だしはエフェクトでごまかすという手もあります。特に特徴的なアクセントがある所と口の動きが合ってる所をきちん一致させると良いでしょう。
絵、音楽、動画エフェクトで楽しめる
自分の顔元にして絵画風に仕上げたものを、さらに歌わせることまで出来る世の中の凄さ、そしてそのような素晴らしいものを生み出す人々に感動と感謝して過ごす今日この頃です。今では自身の絵画が分身のようにも感じる、娘息子のように愛着が湧いてます。
ちなみにtiktokからinstaにシェアするとストーリーズなら引きの画像のままなのですが、15秒までになってしまいます。そして普通にinstaにシェアすると上の動画のようにアップになってしまうようでした。この絵にはどの声が合うのかなどを考えるのも楽しいです。角度やバランスの問題で全ての絵が歌えるわけではありめませんが、それはそれで何か新しい歩みをするかもしれません。皆さんも試してみてはいかがでしょうか。
AI画伯に関する記事はこちら
AI画伯を使用した記事一覧
バイキングの紹介ムービーの記事はこちら
