SF作家テッド・チャンに聞く、生命とAIの〈あいだ〉

苦しみを知る新たな存在のカテゴリーは、
必要ないと思うのです。

ドミニク・チェン　テッドさんの小説の大ファンですので、インタビューできて光栄です。私は、インタラクションデザインの研究をしており、とくに人間―微生物―コンピュータの関係に焦点を当てています。

今日は、テッドさんの創作プロセス、言語、AI開発における倫理的問題について、お話をお聞かせください。

札幌で開催されたALIFE2023（国際人工生命学会）カンファレンスでのテッドさんと神経科学者アニル・セスとのセッションを拝聴しましたが、そこで、テッドさんは、小説「ソフトウェア・オブジェクトのライフサイクル（The Lifecycle of Software Objects）」に触れつつ、「ディジエント（デジタル生命体）^[★01]の教育」について議論されていました。

テクノロジーの世界、とくにAIや仮想キャラクターでよくある安易な擬人化について、テッドさんは批判的でした。私はそのテーマにとても関心があります。というのも、小説の中で主人公のアナは自分が育てたディジエントたちに公正な生活環境を実現しようと奮闘しますが、その彼女の態度についてのテッドさんの描写に感動したからです。

アナのディジエントに対する態度と、テッドさんが批判した企業が行う擬人化との違いは何でしょうか？

短編集『あなたの人生の物語』（2002）と17年ぶりに刊行された『息吹』（2019）。ヒューゴ賞受賞の表題作のほか、動物の飼育員だったアナがAI企業（ブルーガンマ社）に転職し、デジタル生命体「ディジエント」の"ジャックス"を育てる物語「ソフトウェア・オブジェクトのライフサイクル」収録。我が子同然のディジエントに意味ある生を与えようと奮闘するアナの姿が描かれる。

テッド・チャン　いまのチャットボットとは違って、小説に登場するディジエントは実際に主観的な体験を持っているということです。たとえば、リアルな犬とバーチャルな犬の違いに似ています。生身の犬を飢えさせれば、犬に大変な苦痛を与えることになります。しかし、バーチャルな犬に「餌」をあげなくても、犬は何の苦痛も感じないでしょう。

企業は、くんくん鳴いて苦しんでいる犬のアニメーションを作って、それを見ている私たちの感情的な反応を操ろうとするかもしれませんが、所詮、作りごとにすぎません。

小説に登場するディジエントたちは、肉体的にも感情的にも苦痛を味わいます。人々は、生身の動物たちの肉体的・感情的苦痛を軽くしてあげたいと思うのと同じように、デジタル生命体の苦痛も軽くしてあげたいと思うようになります。

しかし現在のところは、アニメーションと音声ファイルがあるだけです。私がいうところのデジタル生命体は、まだ存在していません。

ドミニク　小説に登場するデジタル生命体のジャックス^[★02]は、肉体的・精神的に苦しむことができたからこそ、アナとの間に、真の絆ができたようにも思えます。では、私たちは、企業がテクノロジーによって人々を操作するのを防ぐために、デジタル生命体に苦痛を導入することを検討すべきなのでしょうか？

テッド　アナとジャックスの絆は、実際の飼い主と犬の関係と同じくらいリアルでした。そのリアルさはむしろ、霊長類学者と彼によって育てられたチンパンジーとのつながりと同じくらい、と言った方がいいかもしれません。

デジタル生命体は創るべきではないと私は考えます。苦しみを知る新たな存在のカテゴリーは必要ないからです。

ドミニク　なるほど。これはIT業界に対する痛烈なメッセージですね。

テッド　理論的には、喜びと苦しみの両方を体現できるデジタル生命体を創ることは可能です。しかし、それよりも苦しみを回避することの方が、はるかに優先されるべきことだと思います。

今、人間は動物たちに信じられないような苦しみを与え続けています。動物は、血と肉でできた生身の存在ですから、彼らが苦しんでいるのは、見てすぐにわかります。ところがデジタル生命体は、生身の身体ではないですから、多くのひとは、その苦しみを見すごしてしまうでしょう。だから、もし私たちがデジタル生命体を創ったとしたら、私たちは彼らに多大な苦痛を与えてしまうことになります。

ドミニク　ある意味、小説に登場するアナとデレクの悲しい状況は、私たちの社会が避けなければならない悲劇といえますね。

テッド　誤解のないようにいいますと、これはまったくもって仮説的な考察です。目下私たちが直面しているのは、企業が、デジタル生命体のアニメーションや音声ファイルを使って、私たちの感情的な反応を操り、お金を巻き上げようとしていることです。アニル・セス^[★03] にも言いましたが、それも由々しき問題ですが、小説でとりあげたこととはまったく別問題ですね。

哲学的な観点から見ると、デジタル生命体の苦しみという問題は、私にとっては興味深いものです。しかし、現実的な観点に立てば、まだ当分の間、心配する必要はないでしょう。

「テクノロジーがつねによい」という前提を疑うこと。

ドミニク　ありがとうございます。では次に、『ニューヨーカー』誌に最近掲載されたテッドさんのエッセイに関連して、さらに現実的な観点からこの問題を考えてみたいと思います。このエッセイでテッドさんは、AIが資本主義を強化し、富の不平等を増大させる可能性を指摘しつつ、AIがそのような「難問」を回避するための方策として使われていると論じています。

そのエッセイの最後の方で、テッドさんは次のように書いています。

科学技術者たち（テクノロジスト）にとって、もっとも向き合いたくない難題は、つねにテクノロジーは多ければ多いほどよいという前提を疑うこと。そして、彼らが今まで通りビジネスを続ければ、いずれはテクノロジーが解決してくれるという信念を疑うことだ。

私たちテクノロジーについて研究する者は、テッドさんのこのメッセージを真摯に受け止めるべきと思います。でもビジネスコンサルタントのそれとは異なる、AIエージェントの望ましいかたちとはどのようなものか。テッドさんはどう思われますか？

テッド　いま引用してくれたエッセイで、私が言いたかったことは、AIというテクノロジーによって労働者が犠牲になり、資本が強化されていく、という問題です。

私の疑問は、そういう状況に対して、逆に、労働者に力をつけさせるために、どんなふうにテクノロジーを活用すればいいのだろうか、ということです。働く人々の生活を向上させるために、AIを活用する方法はないだろうかーーそういう問いです。その正解は、私にはわかりません。

ドミニク　労働者と、ディジエントを育てる人々とは、状況が異なりますね。

テッド　まったく違います。労働者としての人々を無力化するためにテクノロジーを利用する方法もあれば、消費者としての人々からより多くの価値を引き出すためにテクノロジーを利用する方法もあります。その例は、仮想ペットやロマンチックなチャットボットのようなカテゴリーですね。

ドミニク　つまりそれは、こういうことでしょうか。「ソフトウェア・オブジェクトのライフサイクル」の中で、仮想カンパニーのブルー・ガンマ社がディジエントを使ってビジネスをするという最初の決断は、結局のところは間違いだということですね。それは非常に興味深いです。

それに関連していうなら、たとえば、ChatGPTが労働者の職場で果たす役割は、どのようなものになるでしょうか？

テッド　現時点では、ChatGPT は、人間に取って代わるほどの信頼性はありません。実際のところ毎日のように、ChatGPT が問題を起こしたというニュースが報道されていますよね。

すぐに結果の出る、テクノロジーによるソリューションという考え方が、
私たちは好きなんですね。

ドミニク　私たちの社会は、働く人々の力になるようなテクノロジーを開発できるでしょうか？　そのためには、何が必要でしょうか？

テッド　核心に迫る問いですね。

「どんな問題もテクノロジーで解決できる」という考え方を、テクノロジー評論家のエフゲニー・モロゾフは「テクノ・ソリューショニズム」^[★04] と名付けました。

企業がその考え方を受け入れる理由は明らかです。テクノロジーによるソリューションは、商品化して販売できるからです。

しかし、そのソリューションが政治的な意図を含む場合はどうでしょうか？

たとえば、労働者の組合結成を支援するソリューションはあるでしょうか？　もし、そのようなソリューションがあったとした場合、それは誰でも商品として販売して利益を得ることができるものでしょうか？

ドミニク　なるほど。それは必要な視点であり、私たちの社会にも応用できますね。テクノ・ソリューショニズムの問題は、企業側だけでなく、私たち「顧客」側にとっても関わってくることです。

この話題で思い出したのは、アニル・セスとの対談における、人々の欲望（デジタル生命体や「完全言語」に対する）についての、テッドさんの発言です。

テッド　はい。消費者としての私たちは、すぐに結果がでるテクノロジーによるソリューションという考え方が好きなんですね。

ドミニク　同感です。「ソフトウェア・オブジェクトのライフサイクル」のようなSF小説を読むと、テクノロジーで解決できないジレンマに直面させてくれるので、ソリューショニズムを乗り越える一助になるものと私は信じます。

テッド　社会問題というのは、個人が単独で解決できるものではありません。たとえば、バーチャルな恋人を購入することは、孤独な男が一人でもできます。しかし、孤独をなくすために社会を再構築することは、単独では不可能ですね。

優れたSFは、自明ではない未来を想像するものです。

ドミニク　テッドさんは、SF小説と批評エッセイという2つのタイプの文章を、どのように書き分けているのでしょうか。

というのは、小説の中でも社会風刺をして、エッセイでもそれと同じぐらい強烈な風刺をされていますね^[★05]。小説と批評エッセイをどのように区別されているのでしょうか？　それらは相互に関連しているのでしょうか？

テッド　エッセイは最近始めたばかりなので、いまはまだ、距離感をはかっているところです。

ドミニク　エッセイで取り上げたトピックをベースにして、新しい小説を構想されるのかなと、私は想像していました。

テッド　小説を書くモチベーションは、エッセイを書くのとはまったく違います。私の小説は、ストーリーを伝えて、読者の感情的な反応を呼び覚ますことが、メインのモチーフです。

ドミニク　エッセイでは、読者にどのような反応を期待していますか？

テッド　とくに何も期待はしてなかったし、私のエッセイがこれほど注目されるとは、思いもよらなかったのです。

ドミニク　どんな反応に驚きましたか？

テッド　シリコンバレーのやり方にはガッカリしていますが、その欠点を私よりうまく指摘している人は、他にもたくさんいるはずです。

にもかかわらず、私の書いたエッセイについて、インタビューをしたがる人がいたことが驚きでした。予想もしていませんでした。

ドミニク　それは、SF作家であるテッドさんの指摘が正鵠を射ているため、技術者や研究者よりも影響力が大きいからだと思います。

ところで、学術界におけるSF小説の役割について、テッドさんはどう思われますか？　私は教師として、SFプロトタイピングを使って、生徒たちに短編のディストピア小説を書くように指示して、批評的な視点を養ってきました。

学者や学生が、SFを読んだり書いたりすることに対して、テッドさんは何を期待しますか？

テッド　優れたSFは、自明ではない未来を想像するものだと思います。これは多くの場面で役に立つスキルです。

SFは次に来る質問を投げかけるべきだと、SF作家のシオドア・スタージョンは言いました。最初の質問は簡単です。しかし、次の質問を考えるのは難しいことなのです。

ドミニク　まったくその通りです。そのスキルとは、学者が批判的な研究を行うためにも必要なものです。小説を読んだり書いたりすることで培われる、非自明性を疑うスキルですね。

では、最後の質問です。

テッド　どうぞ。

ドミニク　ALIFE2023で、テッドさんは、小説家・記号学者のウンベルト・エーコの「完全言語」という概念について話されました。「完全言語」というアイデアに対して、多くの人が根強い衝動を抱いているが、それは実現不可能な夢だ、と。そこで思い出したのは、テッドさんの小説「あなたの人生の物語」に書かれた「ヘプタポッドB」です。地球外生命の「ヘプタポッド」が使う書き言葉のことです。

自然言語を人工的コミュニケーションの基礎技術の一つとして考えた場合、言語を進化させて、より緊密な人工的コミュニケーションを作り上げるというアイデアを、思いつくことはできるものでしょうか？　（これは前述の、テクノロジーの労働組合を組織するというテッドさんのアイデアにも関連しています）

テッド　言語は静的なものではなく、成長するものです。どの言語も潜在的に、無限の表現力を持っていますから、お互いの関係を改善するための新しい言語は必要としません。時の経過にしたがって、私たちの文化は新しいアイデアを生み出し、それを既存の言語で表現する方法を確立していきます。必要なことはすべて、既存の言語で実現できます。

ドミニク　ありがとうございます。テッドさんがALIFE2023で発言されたように、人生経験が圧縮できないのと同様、言語の成長も圧縮できないということですね。

そろそろこのインタビューも終わりにしましょう。お忙しいなか、インタビューに応じていただき、本当にありがとうございました！　テッドさんの回答から多くのことを学びました。とても感謝しています。

テッド　こちらこそ、ありがとう。それでは、良い午後を！

ドミニク　ありがとうございました！　おやすみなさい。

（2023年9月14日21:00—22:30シアトル／2023年9月15日13:00—14:30東京）

★01 「ソフトウェア・オブジェクトのライフサイクル」に登場する、バーチャルな生命体（仮想生命体）。言語や行動を学習し、好奇心や感情の発露も見せる。
★02 「ソフトウェア・オブジェクトのライフサイクル」の主人公の一人、ディジエントであるジャックスは、アナに育てられた。
★03 ALIFE2023 で神経科学者のアニル・セスと行われた関連講演を指す。
★04 Morozov, E., 2013. “To Save Everything, Click Here: the Folly of Technological Solutionism (Public Affairs).”
★05 たとえば、「ソフトウェア・オブジェクトのライフサイクル」に描かれているInstant Rapport、Binary Desire、Sophonceを参照のこと。

［インタビュー後記］

ドミニク・チェン

わたしにとってテッド・チャンの『あなたの人生の物語』（1998）は特別な意味を持つ作品だ。主人公ルイーズ・バンクスの作中の行動は、わたし自身の死生観と、子どもとの関係について深く考えさせられた。また、言語学者であるルイーズが宇宙人ヘプタポッドたちの操る言語と相互作用するうちに時間の認識論が変容していく様は、コミュニケーションにはそもそも言語相対論的な様相が内在しているのではないか、という持続する問いをもたらした。

今回のテッドさんへのインタビューでは、2023年8月に邦訳文庫版が出版された短編集『息吹』（早川書房）所収の作品「ソフトウェア・オブジェクトのライフサイクル」（2010）と、彼が2023年5月に『The New Yorker』に寄稿したエッセイ「Will A.I. Become the New McKinsey?」（「人工知能は新たなマッキンゼーになるか？」）、そして2023年7月に札幌で開催されたALIFE（人工生命国際学会）2023で行われた講演および計算神経科学者アニル・セスさんとの対談に関する質問を用意し、最近の人工知能を巡る状況に対する彼の考えを伺った。

わたしは常々、テッド・チャン作品を支える論理構造と、登場人物たちの心情に注意深く寄り添う作者のケア的視点の緊張関係に魅了されてきた。その意味で、今回のインタビューで印象的だったのは、テッドさんが技術開発の現状に対して強い疑義を投げかけつつ、自身のSF作品の内容との境界を明確に引いていることだった。わたし自身、AIを使った研究を行うものとして、彼のその姿勢に反省させられることが多いように思う。

人工生命研究においては、自律的な生命のモデルを探求することが大テーマとなっている。それは、もっともらしく動作すればいい、という昨今の工学的なAI開発とは異質な動機を持っている。ChatGPTがもっともらしい知的な所作を自動的に行う人工知能の到達点を示しているとすれば、ALifeはよりラディカルに、人間の制御を離れ得る自律的な生命の作動を考えようとしている。池上高志さんはDISTANCEに発表したエッセイで、ChatGPTのような大規模言語モデルには「欲望」が欠落していることを指摘したが、わたし自身は、欲望、欲求、そして意図を持つためには苦痛を持つことが必要なのではないかと考えてきた。

しかし、このインタビューでテッドさんが端的に答えてくれたように、そもそも苦痛を抱く存在を人工的に生み出すことの倫理的な問題と向き合う必要がある。人間中心的な快楽のために、新たな支配・被支配の関係を作り出すことは避けなければならないだろう。このことはわたしのようにプラグマティックに、または構成論的に技術研究を行うものが回避すべき陥穽だとも思う。その意味では、テッドさんがインタビューで言及したエフゲニー・モロゾフのTechno-solutionism批判が、昨今のHCI研究においても言及されており、人間を脱中心化（decenter）する技術について様々な議論が生まれていることには一抹の希望を感じる。

最後に、言語進化についてのテッドさんの回答が、Heptapod Bという、多くの人にインスピレーションを与えた架空言語を「設計」した作家のそれとは思えないほど地に足の付いたものであったことにも驚かされた。彼は、知的な存在との相互作用の経験は圧縮できないとALIFE2023で語ったのだが、その考えはテクノロジーの加速主義的な傾向全般に向けられるものだと改めて思わされたのだった。

今回のインタビューはビデオ会議システムではなく、Discordのチャット機能を使って行われた。チャットインタビューのアイデアは以前、渋谷慶一郎さんをインタビューした時に渋谷さんから逆提案されて行った経験に基づく。テッドさんにも不慣れな形式だったと思うが、それにもかかわらず、わたしの時に答えづらい質問の一つ一つに対して数分間熟考したうえで、真摯に回答していただいた。また、当初予定していた60分を超えて、追加の質問にも答えていただいたことにも、改めてここに感謝と敬意を表します。