生成AI、使いこなしの最前線！ AIフェスティバル受賞者8組の「取り組み方」とは？

「もっと身近な日用品をSF化していきたい」（快亭木魚氏）

グランプリ受賞作「明日のあたしのアバタイズ」。自撮りした自分の映像をAIで様々なアバターに変換、「自分」が長髪の女性になったり、恐竜やサイボーグ犬になったりする映像作品だ。（詳細）

作品を制作した快亭木魚氏。Xのアカウントは@mokugyogames。Webサイトはこちら。

　グランプリを受賞したのは「明日のあたしのアバタイズ」の快亭木魚氏。

　快亭木魚氏は2019年頃から自作ゲームを趣味で作り始め、AIアートが出てくるとすぐに触り始めたという。第1回 AIアートグランプリにも応募しており、その時は佳作となった。

　「明日のあたしのアバタイズ」は動画作品で、アバタイズはアバターをカスタマイズするという造語。実際に、アバターを瞬時にカスタマイズするサービスが近い将来に登場し、様々な年代の人が、色々な見た目になって生活するようになる、という想定でその時の可能性と問題点を説明するという作品になっている。

「今の日本ではアニメ風のVTuberが人気ですが、将来的には本当にリアルなアバターが主流になると思います。ハロウィンを見ていると、みんな変身願望を持っていることがわかります」（快亭木魚氏）

　利用した生成AIはStable Diffusionで、ControlNetという機能を活用した。自撮りした動画からキーフレームを1枚選び、Ebsynthを使って動画に仕立てている。それまでは自撮りをしたことがなかったという快亭木魚氏だが、今はスマホの中には自撮り動画がいっぱい入っているという。

　AIを使っても狙った画像が手軽に得られるわけではない。長髪のキャラクターになるなら毛布をかぶり、首周りにマシンを装着したいなら空のペットボトルを抱えて撮影したという。「意外と体を張っています」と快亭木魚氏。

　また、顔を少し斜めにしただけでも破綻してしまい、ホラーな画像になってしまうことが多い。マッドサイエンティストなどの動画を作る際、顔の周りにもモノがあると口が変なところに出てしまったりする。そのあたりの試行錯誤に手間がかかったという。

「今後はさらに色々なキャラクターを試してみたいです。もっと身の回りの日用品をSF化していきたいですね。実は、今のところ同じキャラクターを再現するのが難しいのですが、技術が進歩すればまた色々と作れると思います。普段は事務をしているので、まさか壇上でグランプリをいただけるとは予想だにしていませんでした。私のような人でも、アイディア次第でここまで来れたという事実に驚いています」と快亭木魚氏は語った。

　快亭木魚氏は、今回作ったアバターたちが登場するノベルゲームを作り、公開している。

「生命を進化させるゲームを開発中」（中村政義氏）

審査員特別賞受賞作「動き」。AIにゼロから考えさせたらどうなるか、物理シミュレーションを使った映像作品。「走れ」と命令すると、ゾンビのような人体のモデルがランダムに関節を動かして動きを学習していく。（詳細）

作品を制作した中村政義氏。Xのアカウントは@nakamuu_m

　審査員特別賞はAIゾンビが動く物理シミュレーション「動き」を作った中村政義氏が受賞した。中村氏は大学院の時に機械学習を研究しており、1994年にカール・シムズが発表した「Evolved Virtual Creatures」を見て衝撃を受けた。

　「Virtual Creatures」は仮想空間の中で物理シミュレーションを行い、箱の集合体を遺伝的アルゴリズムで進化させるという研究だ。最初はランダムに動いているが、学習することで、魚のように泳ぎながら餌に向かうという行動が勝手に発生する。インスパイアされた中村氏はその研究を解釈し、再実験して、実際に動いているものを見たのが原体験となり、それ以来人工生命を進化させることに取り組んできた。

　今回、受賞したのは3作目で、1作目は大学院の時に作り、2作目はドワンゴから出したものになる。この2作目はNHKで放送され、様々な議論や反響があったので、テレビで見たことがある人は多いだろう。

　AIゾンビはUnityというゲームエンジン上で動作させている。人の物理モデルを置いてAIに関節を動かしてもらうのだ。最初はぐちゃぐちゃな動きだが、こうしたらちょっと前に進めた、と学習していく。そのうち、頭を地面にこすりつければ早く動けると気づき、人間にとっては気持ち悪く見える動きを始める。

「僕たちの常識にはないけど、AIにとっては合理的な動きがどんどん生まれていくのが面白いです。僕たちからすると頭を使って動くなんて発想は出ません。そういったものを見られるのが、ポイントですね」（中村氏）

　中村氏は開発している人工生命を多くのユーザーに使ってもらいたい、と考えているそう。例えば、オンラインで皆が育てた変な人工生命を集めて、人工生命動物園みたいなものを作りたいという。

「私は仮想空間の中で仮想的な生物を作ることを、ずっと趣味にしてやってきました。その人工生命たちがもっと 面白い存在になるためには、自分1人で作っているだけだと発展性がありません。人工生命と世の中との接点をたくさん持つことで、多くの人が興味持って、作り始めるというムーブメントを作りたいと思っています。今回、受賞させていただいたことで、世の中との接点をひとつ作れたかな、と思っています」（中村氏）

　現在、「ANLIFE」という生命を進化させるゲームを開発しており、近日、Steamにて販売する予定とのことだ。

「異質な知性とのコミュニケーションを体験できるように」（実験東京）

　優秀賞は実験東京のお二人とko氏、阿部和樹氏の4名が受賞した。

優秀賞受賞作「幻視影絵」。人間とAIによる影遊びのメディアアート。人間が影絵を作ると、その影絵を元に「Stable Diffusion」で画像を生成して、その映像を影に投影する（詳細）

作品を制作したチーム「実験東京」の安野貴博氏と山根有紀也氏。Webサイトはこちら

　実験東京は安野貴博氏と山根有紀也氏によるチーム（アートコレクティブ）で、「幻視影絵」という作品が受賞した。安野氏はAIエンジニアでありSF作家でもある。山根氏はデザイナーでサービスや新規事業の企画も手掛けている。

　「幻視影絵」はAIを活用した新しい影絵遊びのメディアアートだ。「誰しも子供の頃に一度はやったことがある影絵遊びに生成AIが入ることで、その体験はどのように変わるか」をテーマにしている。

　制作では、「人が様々な形をつくり、その形をもとに生成AIに画像を生成させる」という実験を何度も繰り返す中で、AIが画像を見たときの解釈と表現が面白く、それ自体を作品にしようと考え直した。

「例えば、鳥の影絵を作っても、鳥の形を認識してくれないことがありました。カエルの影を作ったのに、ウサギになったりします。あ、これはAIにとってはカエルじゃないんだ、と驚きました。人間とは異なる生成AIの解釈に体験のフォーカスを当て直した方が、面白いかもしれないと考えました」（山根氏）

　「幻視影絵」はウェブカメラで撮影した影絵の画像を取り込み、Pythonで作ったプログラムで下処理を行い、Stable Diffusionに渡している。そこで、生成した画像をプロジェクターで影絵に上書きするように投影する。その際は、鏡合わせのように無限鏡現象が起きないように調整している。

　Stable Diffusionには、影絵は動物である、と大まかな指示だけを与えている。何を生成するのかはAIの発想にまかせている。細かく制御しないのは、AIとのディスコミュニケーションに面白さを感じたから。AIという異質な知性とのコミュニケーションを体験できるようにしているのだ。

　「SF作家としては、AIという異質な知性が出現したことは、宇宙人とのファーストコンタクトの最中のように見えています。異質な知性にどう向き合っていくべきかと皆が考えている中で、ひとつのアプローチとして「幻視影絵」を作って、それが優秀賞をいただけたのはすごく嬉しいです」（安野氏）

「今回は自分たちが面白いと感じる感覚を起点に、子供から大人までAIに関する知識がなくても楽しめる体験を目指して制作したのですが、どのように受け止められるかはまったく想像できませんでした。優秀賞をいただいたことを糧に、今後も自分たちの好奇心と実験精神を信じて制作を続けようと思います」と山根氏は語った。

「“動画をズームし続ける”という手法をAIで」（ko氏）

優秀賞受賞作「What future do you hope for?」。1600年代の赤ずきんの時代から、1700年、1800年、現代、未来と様々な時代の映像がズームされていく（詳細）

作品を制作したko氏。Xのアカウントは@YabaiHamster。このほか、YouTubeでも作品を掲載している。

　ko氏は画像を数珠つなぎに拡大する手法を活用し、「What future do you hope for?」という動画作品を制作した。1600年代の赤ずきんの時代から、1700年、1800年、現代、未来と様々な時代の映像が目まぐるしくズームされていく。

　素材となる画像はMidjourneyのZoom機能を使って生成している。元の画像の外側を指定したプロンプトの内容で書き足してくれる機能だ。ko氏はもともと趣味でズームする動画を作成していたそう。そんな時に、第2回 AIアートグランプリのことを知り、方向転換した。

「自分のプロンプトで拡張させているので、自由に改変できるところが現実みたいだと感じました。今、生きてる時が原点となって、プロンプトのように、行動することで未来を変えたり、拡張できるといったところを映像で表現しようと考えました」（ko氏）

　BGMもStability AIのサウンド生成AI「Stable Audio」で作成している。素材はすべてAIで生成しているのだ。加えて、生成した画像1枚1枚に動画編集ソフト「After Effects」を使って動きを付けているのも面白かった。

「動画作品を応募したあと、パルコさんが同じ手法で広告を作っていました。動画がズームし続ける手法は見た目が面白いですよね」とko氏。

「生成AIは必ずクリエイターの一助になります。例えば映像をやっているというと、どんなカメラ使ってますか、とよく言われますが、僕はカメラなし、After Effectsなどを使うことで映像を作っています。AIという素材ができたことで、興味深い映像をゼロベースから作れるようになりました。After Effects はモーショングラフィックスを作るツールとして有名ですが、AIにより、After Effectsの現状に飽きていた僕は救われたように思っています」とko氏は語った。

「AIの認識能力と生成能力を活かし、ループを回して“ありえたかもしれない形”を生成する」（阿部和樹氏）

優秀賞受賞作「アイマノカタチ」。複数のものの形を混ぜ合わせたような「あいまいな形」をAIで表現した（詳細）

作品を制作した阿部和樹氏。プロフィール、連絡先はこちら。

　阿部和樹氏は「アイマノカタチ」という作品を制作した。元々、阿部氏は建築業界でプログラマーとして働いており、その後、岐阜県にあるメディアアートの大学院でメディアアートを専攻。卒業してからは、作家として制作活動を継続している

　世の中には色々な形があり、椅子やスプーンなどは機能的なゆえに昔から同じような形になっている。しかし、形というものを機能や実用性から離して考えてみたとき、もっと色々な多様な形があるのではないか、と阿部氏。AIの生成能力が大きく向上したこともあり、生成的なシステムをプログラムし、あいまいな形を作ってみようと考えたそう。

「建築設計に携わっていた時に、建物の形を変えるプログラムによって、色々な建物の形を見ることがありました。そんな時、自分では見落としていた魅力的な予期せぬ形に出会うことがあります。それがすごく面白い体験だと感じたのが原体験です」（阿部氏）

　「アイマノカタチ」は3つのモノを選び、生成AIで混ぜ合わせ、それぞれのそれっぽさが1：1：1になるまで自動的に試行錯誤してくれるシステムによって生成された形。AIは2つ利用している。まずは、認識するためのAI。Hugging Faceで公開されている画像認識AIをファインチューニングして利用しているそう。そして、画像生成AIはStable Diffusionを利用している。

　まず、画像認識AIに3つのモノだけ認識するように学習させる。そのうえで、Stable Diffusionに3つのモノを表すプロンプトを入れて出力した画像を認識させるのだ。それっぽさに偏りがある場合、プロンプトを修正し、再度Stable Diffusionに画像を生成させ、画像認識AIでチェックするという行程を繰り返す。

　阿部氏が求めるのは形だったので、今回はテクスチャーやマテリアルといった要素を省き、黒に統一した。例えば、赤色のモノが出てくると、リンゴっぽさが高くなり、意図しない認識結果になりかねないからだ。

　それっぽさが1：1：1になるまで、数十回の生成が必要になることも多い。阿部氏は寝る前にプログラムをセットし、朝起きて結果を見るのを楽しみにしているそう。

　選ぶモノは何でもいいのだが、日用品をチョイスすることが多いという。日用品は規格化されているので、その形をどうやって外していくのかに興味があるそう。

「こういったAIアワードでは、皆さんが独自のやり方でAIと一緒にクリエイティブを発揮するところがすごく面白くて、自分にとってもインスパイアされる部分が多かったです。AIの認識能力と生成能力を使ってシステムを組み、ループを回して何かを生成するという手法は結構気に入っています。今後は3Dやイラストといった方向でも考えていきたいです」と阿部氏は語った。

「起業したばかりのAI支援会社、全員エンジニア」（エムニ）

AIハッカソンで優勝した「B8」。議論の音声からマインドマップを作成、アイデア出しもしてくれる（詳細）

作品を制作したチーム「エムニ」。下野祐太氏、後藤祐汰氏、池奥裕太氏の3名からなる。連絡などがある場合は同社の問い合わせフォームまで

　24時間AIハッカソンで優勝したのはチーム「エムニ」の下野祐太氏、後藤祐汰氏、池奥裕太氏。議論する人の音声からマインドマップを自動作成し、新しい案までAIが提案してくれる「B8」を作った。

　下野氏たちは、「エムニ」という会社を起業したばかり。3人とも京都大学の大学院に所属しており、全員がエンジニアだ。業務はAIのプロダクトを作ったり、企業のAI導入を支援する予定とのこと。そんな中、24時間AIハッカソンのことを知った。

「みんなエンジニアなので、ハッカソンに出て協力して開発するのが好きですし、チームの実績を積むという狙いもあり、参加を申し込みました」（下野氏）

　何を作るのかは色々と話し合った。AIピアノのようなネタも出たのだが、最終的に議事録をマインドマップとして自動作成するということになった。今の状況で、24時間で作るにはちょうど良いとなったそう。

　アイディアの発散方法はオズボーンのチェックリストを採用。「B8」というプロダクト名は、ブレインストーミングの「B」と発散の「8」から取った。

　「B8」は議論に参加するユーザーがそれぞれのPCでログインし、話した内容を認識し、ストリーミングという形でリアルタイムに表示される。AIが会話を認識し、アイディアを検知したらマインドマップにプロットしていく。その際、ChatGPTを使って、どのアイディアと類似度が近いのかを判断し、追加している。全く異なる話であれば追加しないし、あまり類似度が高ければ似た話になるのでこちらも追加しない。ある程度、集合になるように調整しているという。

　ChatGPTと個々のデータをやりとりしていてはレスポンスが遅くなるので、アイディアの候補が出たときにバックグラウンドで関連するアイディアを先出ししておき、遅延なくアイディアを出していけるようにしている。

　バックエンドのAIについてはChatGPTのAPIを利用するので、そこまで手がかからない。フロントエンドは手間がかかったという。

「寝なければいけるだろう、という感じでやってました。マインドマップの描画部分が大変でしたね。ありあわせのライブラリを使うか、一から作るのかというところで、一旦一から作ってみるという選択して重くなってしまいました」（池奥氏）

「私が担当したのは、フロントの部分と通信して、AIとやり取りする部分です。はじめは、ChatGPTを使ってはいけないと思っていて、AIをローカルで動かすことを想定していました。そのようにコードを書いていたのですが、OpenAIを使えるということがわかり方向転換しました。中盤にそのデバックに時間を取られてしまいました」（後藤氏）

　「B8」をプロダクトとして開発を進めるとすれば、本当にニーズがあるのか、というところが気になっているという。現在は有志で開発を継続しているそう。今後の展開が楽しみだ。

「広がった視野で、会社の仕事や個人の開発に活かしたい」（何でもは知らないわよ。2022年1月までのことだけ）

準優勝の「kiraku」。「最近感じる心理的な不調」や「現在のストレスレベル」といった6項目の質問に回答すると、その人に寄り添った回答をするか、課題を解決するかを判断し、チャットで気持ちを楽にしてくれる （詳細）

作品を制作したチーム「何でもは知らないわよ。2022年1月までのことだけ」。前原宗太朗氏、池永周治氏、小林京輔氏、井上峻氏、中下拓也氏の5名からなる。「普段はこのようなことをしているので、興味がございましたらご連絡ください」とのこと。

　準優勝は2チーム。まずはチーム「何でもは知らないわよ。2022年1月までのことだけ」の前原宗太朗氏、池永周治氏、小林京輔氏、井上峻氏、中下拓也氏。5人は株式会社レバレジーズの開発部に所属しており、このチームではハッカソン初チャレンジとなる。

　AIが流行っているものの、仕事では触る機会がない。とは言え、自分で学習するには時間やコストの負担が大きいので、腰が重かった。しかし、ハッカソンに出れば、存分にAIに触れることができる。ハッカソン経験のある池永氏が楽しさを周知していたこともあり、参加することになった。

　開発した作品は「kiraku」。メンタルケアが必要な人の気持ちを楽にするというコンセプトのチャットボットだ。

「はじめはテーマを何にするかで、アイディアが分散していました。最近流行りの「おじさん構文」を生成するようなサービスというアイディアも出ましたが、面白いかもしれないけど役に立たない、という話になりました。社会問題を絡めた方が世の中が求めているものになると考え、精神的な問題抱えている方の相談相手としてチャットツールが適しているので、AIを使って、何か作ろうとなりました」（中下氏）

　ウェブアプリ部分はNext.js、AI部分はOpenAIのAPIを利用して開発し、AIに渡すプロンプトのチューニングは池永氏が担当した。

「僕は画面側とバックエンドをつなぐ作業を担当しました。普段の業務では一切、画面側は触らないので、初めての技術が多かったので苦労しました」（井上氏）

「現象学的ケアという概念を社会に実装したいと考えました。その人その人がどうありたいかの答えはそれぞれ異なります。そこで、その人がどんな気質なのかを問診することで、会話をするようにしました。今回、小さな形ではありますが、哲学（特に現象学）に基づいた『現象学的ケア』というコンセプトを、現実の社会にAI技術を活用して実装できたというのはよかったところです」（小林氏）

　チャットを始める前に6つの質問で問診し、話をただ聞いてほしいのか、問題を解決したいのかを分析する。プロンプトはそれぞれ作成し、ユーザーに寄り添った回答ができるようにチューニングした。

「ハッカソンに初めて参加したのですが、他の参加者の作品や自分たちで作る過程を見たり、新しい技術に触れたりすることで、今までにない視野を手に入れることができました。僕の中では、受賞よりそちらの方が大きかったと思っています。広がった視野で、会社の仕事や個人の開発に活かしたいと思っています」（前原氏）

「会社ではこういう社外活動はあまりしないので、その楽しさを知ってもらいたいという打算的な部分もありました。ここから、社内に展開して、もっと楽しいと思ってくれる人を増やしていきたいと思います」（前原氏）

「改善の余地はまだまだありますが、テーマ的には事業化しても面白いかなと思っています。細かいところをチューニングしたり、今はテキストベースですが、音声で柔らかいメッセージを伝えられると、もっと人間の心に刺さりやすいと考えています」と中下氏は語った。

「道を簡単にするのではなく、道を増やすことにAIを使いたい」（dual）

準優勝の「Instrumental Sight」。ユーザーが撮影した画像をAIが検知し、どの楽器に似ているかを判断、画像をタップしたりクリックすると、実際に演奏できる（詳細）

作品を制作したチーム「dual」。松川幸平氏、髙梨大氏、大串悠人氏の3名からなる。松川氏のXアカウントは@Kohei_dual、Facebookはこちら。髙梨氏のWebサイトはこちら。

　もう一つの準優勝チームは「dual」の松川幸平氏、髙梨大氏、大串悠人氏。身の回りにあるものをAIが楽器に見立てて演奏できるWebアプリ「Instrumental Sight」を開発した。

　チーム名は松川氏が所属する会社名から取ったそう。髙梨氏と大串氏はインターンに来たことでつながり、以前からハッカソンに出てみようと話していたそう。開発合宿をしたいと考えつつも難しかったので、今回の24時間AIハッカソンにチャレンジすることとなった。

「AIを使うなら、何かを簡易化してラクしようという風潮がありますが、それよりは、AIを使ったらこんなことができる、ということを目指しました。歩く道を簡単にするのではなく、道を増やすようなところを意識して作れたらいいよね、とは最初から言っていました」（髙梨氏）

　「Instrumental Sight」はユーザーが撮影した画像をAIが検知し、どの楽器に似ているかを判断。実際に画像をタップしたりクリックすると、その楽器の音が鳴る。

　被写体が何なのかは物体検出モデル「YOLO」で検知し、どの楽器に近いかは画像認識AI「CLIP」で計算している。色も判別し、ドレミファソラシドの音階と虹の7色に対応させた。ウェブアプリ部分はNext.jsで作り、バックエンドのAIはPythonで開発した。

「AI自体は結構すぐにできたのですが、そのAIからの出力をどう見せるか、どう触ってもらうか、というところが難しかったです。演奏みたいな体験をしてもらうのに時間がかかりました」（松川氏）

　ハッカソンの最初は時間配分を考えていたものの、途中から3人が分業して各自進めることになった。髙梨氏は初日には作業が終わり、大串氏も12時間くらいで完了。松川氏は24時間ずっと動いていたそう。お疲れのようだったが「次回もぜひ出たいなと思ってます」と松川氏は語った。