AIは障害のある人の表現をサポートできるか？ #2

いろんな「青い熊」があるはずなのに

田中　徳井さんは、ワークショップを見られていて何か発見はありましたか？　AIを使うワークショップにサポートスタッフがいる状況はあまりないと思うんですけど。

徳井　そうですね、一つ感じたのは、同じような授業を当時大学でやっていたんですけど、学生相手だと何かしらこっちで制約をつけてあげないとアイデアが出てこないときが結構ありました。最初に「こういう絵をまず生成してみよう」とこっちがお題を与えて、それに合わせてプロンプトを考えてもらうのを最初はやっていたんですけど、たんぽぽの家でやったときはあんまりそういうことをしなくてもよかったなっていうのは覚えてますね。

小林大　補足をさせていただくと、そのときに参加していたメンバーのひとりの熊の絵があって、それは青い熊の絵なんですが、それをモチーフに「どうやったらこれをテキストで表現できるか」をみんなで考えたんですけど、アンケートの感想には「もっと自由に、描きたいものを出してみたかった」みたいな。

風香《しろくま（冷やしました。）》

徳井　もっと自由な時間が欲しかったってことですよね。あとはやっぱり、言語の問題は結構大きかったなと思いました。言葉というよりは、英語という壁はやっぱり大きかったのかなぁと。

最近たんぽぽの家で音楽のワークショップ[★01]★01もやっているんですけど、そっちの方が割とダイレクトに「自分でつくってる」「AIを使いつつ、自分がAIに与えたインプットがそのまま結果に反映されている」という実感を得やすいのかなと思って。テキストを入れて絵が出てくるのも面白いんだけど、出てきたものと自分の行為との間で距離を感じているような感覚はあったのかなと思います。これはたぶん、健常者でも同じになるのかなとは思うんですけど。

田中　それは媒体が絵だからですかね？ 絵の場合、身体性が完全に見えなくなってしまうというか、重ねていった線みたいなものが、凝縮・省略されるというか。音だとそれが音として現れるので、ダイレクトに身体とつながっているというか。──

徳井　僕はどっちかというと、絵というよりは言葉じゃないかなと思います。言葉というものが持っている抽象度の高さや脱個人性というか。本当だったら「青い熊」といったときにいろんな「青い熊」があるはずなんですけど、「青い熊」という言葉にしちゃった瞬間に急に没個性というか、属人的じゃなくなって、「僕が思ってる『青い熊』じゃないんだよ」って感じるんでしょうか。

もしかしたら、最初に輪郭だけでも描いて、それを青い熊というプロンプトで変換するみたいな、そういう身体性というか、実際描いたものと言葉を組み合わせたシステムになっていると全然違う印象になるのかなと。

メンバーの過去の作品を模倣することを試みた試行の様子（撮影：衣笠名津美）

田中　文字だからっていうのもあるんでしょうか？ 話し言葉だったらもっといろんな言い回しがその人の個性を表していたりするものが、文字にしちゃうと平坦なものになってしまうというか。

徳井　そうですね。しかも英語なので、さらに距離があったんだろうなと。あとワークショップの設計で、生成するところで終わっちゃったのがたぶん失敗だったなと思っています。本当はもっと時間をとって、生成したものをコラージュするとか、それをベースに落書きするとか、手を入れる時間を見越してワークショップを設計すべきだったなというのは、終わった後に思ったことです。

そうするとたぶん、「自分でつくった」という感覚もあるし、「じゃあもっとこういう言葉を使って別の絵を出してみよう」というモチベーションにもなるから。次やるとしたら、そういうことをやりたいと思いますね。

拡張器としてのAI、翻訳家としてのAI

田中　今回の取り組みを、創作活動に関してそれほど蓄積がないところが取り入れるとなったときに、AIに何か入力して、それが自分のイメージとどれぐらい違うか同じか、みたいなところで終わってしまうことが考えられます。それを超えて、どうその人の創作に刺激を与えられるのかについて、一連のワークショップを経て、みなさんの反応を見て、今後どういう可能性がありうると思いますか？

徳井　たぶん、AIのつくったものをプリントアウトして書き込めるとか、切り張りできるようにするだけで、だいぶワークショップの質は変わるだろうなというのが一つ。もう一つはやっぱり、自分で創作意欲のあるアーティスト気質の人じゃない限り、「自由につくってください」って言ってもなかなか何からやっていいかわかんないと思うんですよね。だから大学の授業ほど細かく制約をつける必要はないが、完全に自由にしないである程度の制約をつけた方がいい。ある程度制約をつけてあげることが必要かなと思っていて。一つの制約のかけ方としては、用途を絞ってあげるっていうのがあると思います。

たとえば、自分が施設で使う名札をつくりましょうとか、使えるものにうまく紐付けてあげて「AIを使ってこれから使うものをみんなでつくりましょう」と用途を絞ってあげる。そうすると、ある程度出来上がりの想像がつくし、「こういうものが欲しい」っていうアイデアが生まれやすいのかなと思います。

田中　それはモチーフの話ですか？

徳井　モチーフというか、テーマですかね。やっぱりテーマを考えるのが一番難しい気がして。適当にAIに言葉を入れてゲーム的に自由に遊ぶっていうのはできると思うんですけど、最終的に何かつくりましょうってなったときに、「何でもいいですよ」ってなると、ほとんどの人にとって逆に難しかったりするので。

小林大　重度の身体障害の人をイメージしたときには、日々アウトプットとして出せるものが本当にわずかだったりするなかで、小さなきっかけをもとに画像や音楽といったいろんな表現に展開できると、ちょっとした自分の表現が拡張されて、誰かと関わるきっかけになったり、関わり合うことができる可能性はあるのかなと。

あとは逆にアウトプットが多すぎるパターンもあって、「Good Job! センター香芝」の方で、映画のエピソードを考えている人がいるんです。その人の頭のなかにはエピソード11までのプロットがあるんですよ。

田中　脚本を考えられているってことですか？

小林大　脚本も考えていますし、さらにそこからキャラクターデザインも考えているんですけど、考えている量が膨大すぎて、スタッフに大量に情報を伝えることになるので、なかなかコミュニケーションがとれていなかったんですね。でもあるときにChatGPTのことを教えたら、無限に喋りかけられるので、その結果めちゃめちゃ自分の考えが整理されて、「あ、そうそう、こういうこと言いたかった！」って。

田中　すごい活用してるじゃないですか！

小林大　それをテキストでまとめて、「私が考えたエピソードはこうなんだ」っていうのをChatGPTと一緒に考えてスタッフに見せたら以前よりもかなり伝わりやすくなった。「あ、なるほど！」と。

田中　言葉のメリットにはそういうところがありますよね。

小林大　そこはありますね、頭のなかで考えていることが本当に膨大なので。プラス、「こういうのをイメージした画像を生成してほしい」と画像生成AIにキャラクターを描かせて、「もうちょっとこんな感じ」とずっとやり取りをしながら、各エピソードのキャラクターを描いていくみたいなことを現在進行形でやっているんです。機械と関わり始めてから、制作活動がとても進んだなと感じます。

田中　それを人が相手するのは大変ですもんね。

小林大　相当大変ですね。いままではお母さんが相手にしていたらしいですけど、お母さんも多くの時間を割くことが難しいなかで、サポータースタッフとメンバーと、そのちょうど間にAIがいる。役割としては、翻訳家みたいにAIがいるっていう感じです。

田中　もはや障害は関係ないというか、本当に普通の人の使い方とそれほど変わりないですね。

小林大　ほんとそうですね。こういうAIとの関わり方もあるんだなって思いました。

「マジョリティのデータ」に抗うために

田中　徳井さんは最初に、障害のある人がAIを使ったときにどういうことがありうるか、という技術視点の興味があるとおっしゃっていましたが、今回の経験を通して発見したことはありましたか？

徳井　印象に残っているのは、生成されるものとの距離みたいな話ですかね。さっき話していた音楽と言葉の違いとか。あとはインターフェイスの大事さもあらためて思いました。ほんのちょっとしたことで、全然受け取り方って違うんですよね。言語が日本語なのか英語なのかもそうだし、もっと単純に、生成に何秒かかるのかも使っているときの印象に大きな影響を与えると思います。

同じ言語を使ったとしても、文字で打ち込むのか、喋り言葉で話すのかでも、そのテクノロジーに対して受ける印象は違ってくるだろうし。それが「そのシステムをどれぐらい使いたいと思うか」という意欲みたいなところにも大きく影響するだろうなとは、あらためて感じましたね。それは障害のあるなしに関係ないんだと思うんですけど。

田中　関係ないとはいえ、障害がある人の方が結構シビアに関わりそうですよね。

徳井　そうかもしれないですね。

田中　別のプロジェクトで、AIを使ったダンスのプロジェクトをやったことがあります。それは体験型のインスタレーションなんですけど、30人ぐらいのダンサーのムーブメントをアーカイブしているデータがあって、その前に鑑賞者が立って何かポーズをすると、そのムーブメントに一番近いダンサーのデータを投影するっていう作品なんですね。

その蓄積されているデータの多くが白人の、いわゆる規範的なダンスの教育を受けたダンサーだったり体だったりしたので、障害のある人が前に立ってもAIが認識できなかったんです。データのパターンの幅のなかにマッチする体がないから。パラメータを変えることで対応してもらいましたが、そこがすごいモヤモヤして。結局AIがマジョリティのデータを蓄積しているから、そこに当てはまらない人はエラーと見なされるっていう状態が、なんなんだろうなとずっと思っているんです。

たんぽぽの家のみなさんの場合は、アーティストという自覚がある人も多くて、モチーフも興味のあるものも割と決まっているのかなという印象があるんですけど、それでもAIを扱うということ自体がマジョリティのデータを基にしているという問題は、意識していかないといけないことなんじゃないかなと思っています。

徳井　おっしゃる通りだと思います。だからこそ、やっぱり画像生成して終わりじゃなくて、それを使ってどう自分なりの表現にしていくかというところまで含めてワークショップを設計しないといけなかったなと思いますね。やっぱり「青い熊」って入れると、なんか見たことあるような、アニメのテディベアみたいなものが出てきたりして、“それっぽいもの”になっちゃうので。

田中　でも実は、そこに当てはまらないものがあったりするかもしれない。そこをどう引き出すのか。

徳井　ですね。

田中　そのためには、1回出てきたイメージが自分の出したかったものと違うんだとしたら、「それがどう違うのか」を考える、その後の時間がすごく大事かもしれないですね。ツールもそうですけど、ワークショップの構成とか、どういう時間を過ごすかがすごく重要なんだなとあらためて思います。

徳井　さっきのインターフェイスの話につながるんですけど、ワークショップのときは1回みんなGoogle翻訳でプロンプトを英語に翻訳して入力していたので、そこでも平均化・標準化がなされてましたね。本当は自由な日本語でみなさん喋って考えていらっしゃるのに、それが当たり障りのない英語に変換されて入力されている。そこもフィルターになっているんですよね。

田中　そうですよね。

徳井　本当に発話した通りに──それも結局テキストに変換するところで何らかの恣意性が働いちゃうかもしれないですけど──少しでもダイレクトに入力できるようにすると、また結構違ってくるだろうなと。そうすると、さっきの障害のある人の体を認識できなかったのと同じで、あんまり学習データにないようなテキストのインプットになるので、それが面白い結果につながったりするんじゃないかなと思います。

小林茂　田中さんからの質問に、徳井さん、小林さん、大井さんが応答する様子に立ち会いつつ、プロジェクトでのさまざまな出来事を想起するというのは新鮮な体験でした。

プロジェクトに取り組んでいる間は、その過程に没頭することになります。こうしたインタビューがあると、現在進行形の時間の内側から——哲学者の平井靖史さんが『世界は時間でできている』（青土社）で紹介した概念で言えば「未完了相[★02]★02」と呼んでいいのかもしれません——いったん外側に出て眺めることができますね。

たんぽぽの家と徳井さん、それぞれ世界的に見ても先駆的な実践をされている方々だと認識しているのですが、そうした方々から見てもまだ名前のない新しい何かに一緒に取り組めるということの重要さをあらためて確認できました。

付記

このインタビューは2023年12月11日に行われました。翌年度には、このインタビューで予告的に言及されていた音楽制作ワークショップ「音との新たな出会いを生み出すAI」を開催しました。福祉施設などの現場で音や声をレコーディングし、徳井さんが開発を主宰する音色変換AI「Neutone」を用いて音を変換し、音と音楽の間として位置付けた音・楽を制作するというものでした。このワークショップでは、録音から完成までのさまざまな局面に発声、発話、音楽制作ソフトの操作などさまざまなやり方で参加できるものとなりました。さらに翌年の2024年度には、「身近な音と新たな音色が生み出す表現」として重症心身障害児（者）施設「四天王寺和らぎ苑」（大阪府富田林市）で展開しました。このように、このインタビューの段階では萌芽段階だったものが、約2年間で大きく発展しました。実際の音・楽はウェブサイトで公開中です。（小林茂）

音との新たな出会いを生み出すAI
https://note.com/hashtag/ArtforWellbeing_Neutone

身近な音と新たな音色が生み出す表現
https://soundcloud.com/art-for-well-being/sets/yawaragien-neutone

★01 音色生成AI「Neutone」を使用した音遊び　https://art-well-being.site/report/756/ ★02 一般的に、時間について考えるときには過去・現在・未来という時制で分節されます。時制とは異なる言語学の概念に「アスペクト」があります。主なアスペクトに、出来事が展開している只中に身を置き、その進行しつつある過程を幅のあるものとして内側から言及する「未完了相」、出来事とその後の時間との関係に注目し、完了後の状態を静的なものとして強調する「完了相」、出来事を1つの単位として捉え、その内部の展開過程を捨象して外側から静的に言及する「完結相」の3つがあります。出来事や過程について語る際、どのアスペクトにいるのかを意識することは重要であると考えています。（小林茂）