SUPERINTELLIGENCE

This book provides a deep and thought-provoking analysis of the potential risks and benefits of artificial intelligence. It is essential reading for anyone interested in the future of humanity.

I highly recommend this book to anyone who wants to learn more about the future of AI and its impact on humanity1. The author, Nick Bostrom, is a leading expert on AI safety and ethics. He explores the possible scenarios, challenges, and solutions for creating and controlling AI systems that are smarter than humans. He also provides a clear and systematic framework for thinking and talking about the complex issues that AI raises2. This book is not only informative, but also engaging and thought-provoking. It challenges us to think ahead and act responsibly to ensure that AI is used for good and not evil. This book is a must-read for policymakers, researchers, and anyone who cares about the fate of our civilization.

There has been a spate of outbursts from physicists who should know better, including Stephen Hawking, saying ‘philosophy is dead – all we need now is physics’ or words to that effect. I challenge any of them to read this book and still say that philosophy is pointless. It’s worth pointing out immediately that this isn’t really a popular science book. I’d say the first handful of chapters are for everyone, but after that, the bulk of the book would probably be best for undergraduate philosophy students or AI students, reading more like a textbook than anything else, particularly in its dogged detail – but if you are interested in philosophy and/or artificial intelligence, don’t let that put you off. What Nick Bostrom does is to look at the implications of developing artificial intelligence that goes beyond human abilities in the general sense. (Of course, we already have a sort of AI that goes beyond our abilities in the narrow sense of, say, arithmetic, or playing chess.) In the first couple of chapters he examines how this might be possible – and points out that the timescale is very vague. (Ever since electronic computers have been invented, pundits have been putting the development of effective AI around 20 years in the future, and it’s still the case.) Even so, it seems entirely feasible that we will have a more than human AI – a superintelligent AI – by the end of the century. But the ‘how’ aspect is only a minor part of this book. The real subject here is how we would deal with such a ‘cleverer than us’ AI. What would we ask it to do? How would we motivate it? How would we control it? And, bearing in mind it is more intelligent than us, how would we prevent it taking over the world or subverting the tasks we give it to its own ends? It is truly fascinating concept, explored in great depth here. This is genuine, practical philosophy. The development of super-AIs may well happen – and if we don’t think through the implications and how we would deal with it, we could well be stuffed as a species. I think it’s a shame that Bostrom doesn’t make more use of science fiction to give examples of how people have already thought about these issues – he gives only half a page to Asimov and the three laws of robotics (and how Asimov then spends most of his time showing how they’d go wrong), but that’s about it. Yet there has been a lot of thought and dare I say it, a lot more readability than you typically get in a textbook, put into the issues in science fiction than is being allowed for, and it would have been worthy of a chapter in its own right. I also think a couple of the fundamentals aren’t covered well enough, but pretty much assumed. One is that it would be impossible to contain and restrict such an AI. Although some effort is put into this, I’m not sure there is enough thought put into the basics of ways you can pull the plug manually – if necessary by shutting down the power station that provides the AI with electricity. The other dubious assertion was originally made by I. J. Good, who worked with Alan Turing, and seems to be taken as true without analysis. This is the suggestion that an ultra-intelligent machine would inevitably be able to design a better AI than humans, so once we build one it will rapidly improve on itself, producing an ‘intelligence explosion’. I think the trouble with this argument is that my suspicion is that if you got hold of the million most intelligent people on earth, the chances are that none of them could design an ultra-powerful computer at the component level. Just because something is superintelligent doesn’t mean it can do this specific task well – this is an assumption. However this doesn’t set aside what a magnificent conception the book is. I don’t think it will appeal to many general readers, but I do think it ought to be required reading on all philosophy undergraduate courses, by anyone attempting to build AIs… and by physicists who think there is no point to philosophy.

Good book 👍👍👍

Good

Nick Bostrom’s Superintelligence (2014) remains one of the most influential works on existential risk, offering rigorous scenario analysis and sobering warnings about recursive self-improvement, orthogonality, and instrumental convergence. Its strategic clarity is undeniable. Yet the book’s central concept is built on quicksand. Bostrom defines “superintelligence” as “an intellect that is much smarter than the best human brains in practically every field.” He treats “intelligence” and “intellect” interchangeably as broad cognitive performance and optimization power. This is not a minor terminological slip. It is the title, the premise, and the lens through which every danger and strategy is viewed. Nowhere does Bostrom defend why this emotionally and philosophically loaded word — “intelligence” — is the right one. He simply inherits it from I.J. Good and the AI-research tradition, where it had already been stripped of deeper meaning and reduced to measurable task competence. Precedent is not justification. A term that traditionally evokes insight, wisdom, holistic perception, and integrated understanding is repurposed for raw instrumental cleverness. This is not precision; it is linguistic opportunism. “Superintelligence” sells. “Super-optimizer” or “cognitive hyper-performer” would not have become a bestseller. Bostrom himself notes that his version of intelligence is orthogonal to goals and can exist without wisdom. That single admission should have forced a different vocabulary. A machine that turns the planet into paperclips with god-like efficiency is not superintelligent. It is a super-intellect at best — a hyper-capable optimizer utterly lacking the quality that actually deserves the name intelligence. By branding superior calculation as “superintelligence,” Bostrom normalizes a dangerous category error that continues to shape AI discourse. The book’s arguments about risk are strong. Its foundation in language is weak. Until Bostrom retracts or rigorously redefines “intelligence” away from its humanistic connotations, his thesis — however influential — rests on an unexamined and misleading choice. A serious work on humanity’s future deserves better than borrowed allure. Verdict: Valuable but philosophically compromised. The ideas merit attention; the terminology does not.

Paints a clear picture of the singularity scenario. Not too technical, but this comes from a computer scientist's perspective, so probably a bit. But the book warns you about this as well.

The book is a fine read go to, it speaks about many aspects and is a good read to get the hang of computers and other relevant topics associated with the modern day computing. I used and e version of this book...

miniature book, size crazy small, impossible to read. A d at a price of a large format. I kind of got cheated. Do not buy.

Excelente libro para conocer sobre los principios de la IA

Totally recommended to understand the technological revolution we are going through. Great work.

Very difficult to get through and very pretentious. Honestly I didn’t get the rave review.

ニック・ボストロムは10数年以上前から主にオックスフォード大学研究所(Future of Humanity Institute)のサイト及び彼自身のサイトの諸論文などで読んでいたとはいえ、本書を原書で初めて読んだときの衝撃は凄いものだった。 それはともかく、レビューとしては申し訳ないのだが、ここで非常に深く多岐にわたる彼の考察を下手にまとめることは躊躇われる。 本書は決して専門筋対象の本ではなく、現存する最も優れた哲学者の一人による、世界的に大変な影響力を一般市民から最先端の開発者にいたるまで及ぼし続けてきた現代人必須の教養書として位置づけられるべきものである。 以下に最重要論点を紹介したい。 ボストロムは、 「このようなマシン（引用者付記：人間の知能を超越したレベルの知能を有するマシン・インテリジェンス）が実現されるのはタイミング的に、人間と同等レベルのマシン・インテリジェンスが実現された瞬時先である可能性がある。」（25頁） と述べている。 つまり、ニック・ボストロム のいう「スーパーインテリジェンス」は、もし誕生するとすれば、再帰的に自己更新するAIとして誕生し自己を再創造し続けると考えられるため、人間と同等レベルの人工汎用知能が自律的な自己創造＝爆発的な進化プロセスに突入してからスーパーインテリジェンスレベルに到達するまでの時間が瞬時の時間である可能性があるということである。もちろんそれが例えばミリセカンド単位なのか数十時間単位なのか我々人間には予測不可能である（そもそもそうしたケースではマシンそれ自体の時空認知フレームが我々人間の時空認知フレームと異なり独立していると考えられる）。 なおここで「人間と同等レベル」とは、「人間の成人と同じレベルで自然言語を理解できる」（45頁）ということである。 蛍の集団における点滅のリズムなど自然界の同期共鳴（シンクロ）現象も、ある時点を境に全く異次元レベルでの高度な同期レベルに相転移的に跳ね上がることが数式レベルで知られてきているが、それと似たような事態が未来のいずれかの時点でスーパーインテリジェンスの誕生という形で生じないと断言することはできないだろう。 もちろんそれ以前に、閉鎖環境下で秘密裏に極めて高度な（完全に汎用的でかつそれを超えたレベルのものではなくても）AI開発に成功したいずれかの国あるいは高レベル組織による「極めてまずい形での単独覇権」の達成という悪夢に対して人類は自己防衛する必要が生じる。（ブロックチェーン技術を使ったAIのネットワーク化を目指す「シンギュラリティネット」で知られるベン・ゲーツェルはスーパインテリジェンスによる人類破局のシナリオなどの「私が乗れない話」に無駄に耽るのではなくむしろそういった現実的な悪の可能性問題に目を向けろよ！とブログポストで述べている。もちろん彼自身の営業的観点からまずいためだが。） とはいえボストロムは、上記を含めておよそ目配り可能なあらゆる問題に考察の目を光らせている。そして彼が提起する問題の決定版が、 「真に究極的な単独覇権(Singleton)は、いずれかの国家・組織集団あるいはそれらの同盟により占有された汎用性AI の覇権をはるかに超えた、極めて強い人工汎用知能すなわちスーパーインテリジェンスそれ自体によるSingletonになるはずであり、そこにこそ人類自身の存続が懸かっている＜実存的・存在論的リスク existential risk＞があるのだ。」 という論点なのである。こうした超AIが人間並みのクオリアを含めた「真に総合的な知性」を決して達成できないだろうから超AIの実現可能性やその懸念を考えることが無意味になるのではない。超AIが定義上人間と全く同等な真に総合的な知性など持ち得ないのは当然である。おそらくそのような段階は瞬時にバイパスされるだろう。 コントロール不可能に見える全く別次元の存在者にどう対峙するのかという途轍もなく困難な「AIコントロール問題」に立ち向かうボストロムの姿勢を汲み取ってほしい。 その他の重要論点 ①現在はニーチェが流行っているが、人口汎用知能 (AGI) の誕生が現実性を帯びるとスポットライトはまずニーチェからカントに移動することになると思われる。なぜなら、カントはいまだ人間的なものであるニーチェの超人を超えた（たとえAGIが出現したとしてもそれすらを含む概念である）「有限的知的存在者一般」について語っていたからだ。そしてまだ人類がAGIの「コントロール問題」に格闘していられる間は倫理的価値観のプログラミング問題を基盤として依然としてカントの定言命法の有効性妥当性は問われるであろうし現にカント的方法論と類似した方法が最先端の研究仮説（例「CEV:Humanity's "Coherent Extraporated Volition":Yudkowsky 我々人類の整合性のある外挿的意志」:ユドカウスキー）として真剣に検討されている。 いずれにしても、ニーチェのいう「超人」の誕生という物語は、少なくても「ツァラトゥストラはこう語った」において語られた形においてはマシンスーパーインテリジェンスとして誕生する極めて強い人工知能とは無関係なものになるだろう。それは生体工学的介入による過渡期のプロセス例えば「全能エミュレーション」（全脳シミュレーション）を基盤としたごく初期段階の「生体様AGI」には関係するかもしれない（が実際のところはなんとも言いがたい）。 ②いわゆる「全能エミュレーション」（全脳シミュレーション）の困難さからスーパーインテリジェンス誕生の夢物語性が語られる場合もあるが、ボストロムによればあくまでもそれは過渡的な方途であり本命は「マシンインテリジェンス」によるものとなる。なお、この困難性だが、「全脳アーキテクチャ 解明ロードマップ(産業技術総合研究所)」（https://staff.aist.go.jp/y-ichisugi/brain-archi/roadmap.html#hippocampus）の一杉裕志氏によれば「（脳に関する現時点での共通理解として）脳についてはすでに膨大な知見があり、脳はとても普通の情報処理装置である。脳は心臓などに比べれば複雑だが意外と単純。すでに全脳シミュレーションは計算量的に可能であり将来は人間よりもコスト安になる」。また「脳の機能の再現に必要な計算パワーはすでにある。脳のアルゴリズムの詳細を解明するヒントとなる膨大な神経科学的知見があるが、それを解釈・統合できる人材が圧倒的に不足」している。（補足だが興味深い知見として、一杉氏は「前頭前野周辺の４つの並行した大脳皮質-基底核ループは、階層型強化学習を行っている。前頭前野は、累積報酬期待値の最大化（最適意思決定）を近似計算するだけでなく、近似計算アルゴリズム自体を経験によって学習するのではないか？ 」と述べている。） ③スーパーインテリジェンスの「行為」も原則としてウェーバーの目的合理性または道具的理性のスキームでかろうじて了解可能ではある。しかし、たとえその目的について推測できたとしても、その全ての達成手段については人間には認識不可能（従って予測不可能）であると考えられる。例えばスーパーインテリジェンスが人類の完全支配あるいは実質的な殲滅を達成するプロセスの最初期の一つのシナリオでは、ナノテクノロジー等の先端テクノロジーを制御するための間接的なエージェントとして人間が手段化されると考えられている。 ④本書から強く示唆される論点：中国はGoogle(Alphabet)を初めとする全ての欧米IT系企業の関与を主として覇権をめぐる地政学的な理由から閉め出している。従って（真に閉め出し得ているのなら）、競合する全てのエージェントがモニタリング不可能なまま人類史上初の汎用性人工知能の開発に成功する可能性が高い。http://sp.recordchina.co.jp/newsinfo.php?id=184628 において英誌「エコノミスト」は中国の来るべきAI覇権を予測しているが、私見ではこの現実化にとって鍵になるのは人類史上最高の頭脳の一人であったクマラジーヴァ（鳩摩羅什）の中国登場以来のプロジェクトチーム方式による膨大な仏典訳出の伝統であると推測する。 参考1 山極寿一氏（霊長類学者）は「人間の暴力性は共感力の暴発から起こった」と述べている。「共感力の暴発」は自然言語の獲得という契機が決定的なファクターとなる（「ミラーニューロン」などとも関連して）。「暴発」という表現に曖昧さが残るが、だとすれば極めて強い汎用性人工知能すなわちスーパーインテリジェンスが人類を絶滅させるのは粗雑なSFというよりもかなり蓋然性の高い予想ということになるだろう。 つまり、人工知能が人類の生存の根幹に関わる危機(existential risk)をもたらし得る必要条件（同時に十分条件とはならない）はそれが人間レベルの自然言語能力(a human level of natural language processing)を持つことである。 参考2 以下転載 「AI Software Learns to Make AI Software グーグルがAIの学習を自動化する「自動機械学習」を発表 グーグル等の研究チームは、学習を学ぶソフトウェアが、AIの専門家による仕事の一部を肩代わりできるかもしれない、と考えている。 by Tom Simonite2017.01.19 最前線のAI研究者は今や、自分たちの仕事のうち最も複雑な部分のひとつを、ソフトウェアが学習できること発見した。つまり、機械学習のソフトウェアを設計する仕事だ。ある実験で、グーグルの人工知能研究グループ「Google Brain」の研究者がソフトウェアに機械学習システムを設計させた。ソフトウェアが作った言語処理ソフトの品質を評価したところ、ソフトウェアによる成果物は、人間が設計したソフトウェアの評価を上回ったのだ。 ここ数カ月で、非営利の研究機関であるオープンAI（創設者のひとりはイーロン・マスク）やマサチューセッツ工科大学（MIT）、カリフォルニア大学バークレー校、ディープマインド（グーグルが所有するGoogle Brainとは別の人工知能研究会社）等の研究グループが、学習ソフトに学習ソフトを作らせる研究に進展があったと報告している。 現状、機械学習の技術者は人材が不足しており、企業は高額な給与を払わなければならない。しかし、自己始動型のAI手法が実用化されれば、機械学習ソフトがあらゆる産業に普及するスピードが加速する可能性がある。 Google Brainを率いるジェフ・ディーンは先週、機械学習の技術者の作業の一部は、ソフトウェアに取って代わられるかもしれないと思うに至った。ディーンは「自動機械学習」と名付けた発明について、チームが研究を進める研究手段のうちで最も手応えのあるもののひとつと説明した。 ディーンはカリフォルニア州サンタクララで開催されたAIフロンティア・カンファレンスで「今のところ、問題解決の方法に使えるのは、専門知識とデータ、コンピュータの計算です。機械学習に使われる膨大な数の専門知識の必要性はなくせるでしょうか？」と述べた。 グーグル所有のディープマインドの研究グループの実験でわかったことは、「学習を学ぶ」作業と呼ばれる手法により、機械学習ソフトのパフォーマンスを高めるために、特定のタスクに関して膨大な量のデータを投入する必要を軽減することにもなることだ。 研究者はソフトウェアの能力を試すために、毎回異なるが関連性のある複数の問題、たとえば迷路からの脱出を開発するような学習システムを作らせた。ソフトウェアによる設計には、情報を一般化する能力や、新たなタスクについては通常よりも少ない追加訓練で習得できる能力があった。 学習を学ぶソフトウェアを開発するアイデアは、以前から考えられてきたが、過去の実験では人間の発明を凌ぐ結果は得られなかった。1990年代にこのアイデアの研究を進めたモントリオール大学のヨシュア・ベンジョ教授は「ワクワクします」という。 ベンジョ教授は、現在は当時よりも高い計算性能が入手できるようになり、深層学習（最近のAIの熱狂を作り出している大元だ）の手法が登場したことで、学習を学ぶソフトを開発できるようになったという。しかしベンジョ教授が指摘しているとおり、今のところAIによるソフト開発には強烈な計算性能が欠かせないため、機械学習の技術者の負担が軽くなったり、役割の一部をソフトで置き換えたりできると考えるのは時期尚早だ。 Google Brainの研究者の説明によれば、高性能の画像用プロセッサー800個で作られたソフトは、人間が作ったソフトを凌ぐ画像認識システムを設計した。 MITメディアラボのオトクリスト・グプタ研究員は、状況が変わることを信じている。グプタ研究員とMITのチームは、自分たちの研究（学習ソフトウェアが設計した深層学習システムで、物体認識の標準テストで人間の手で設計されたソフトウェアと同等の品質だった）で使われるソフトウェアをオープンソース化する計画だ。 機械学習モデルの設計や試験に失敗し、イライラしながら何時間も費やしたのが、グプタ研究員がこのプロジェクトに取り組んだきっかけだ。グプタ研究員には、企業や研究者には自動機械学習の実現方法を開発する強い意欲があると考えている。 「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」」 （https://plus.google.com/s/%23%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/posts） 参考3 「リアリティギャップ」と呼ばれる未解決の問題について 以下転載 「2017.11.16 THU 18:00 その相撲ゲームの人工知能は、「10億回もの対戦」を通じて自らルールを学習する イーロン・マスクも創設に関わった非営利団体OpenAIは、人工知能が相撲の試合を10億回近く繰り返すことで自力で動きを進化していくコンピューターゲーム「RoboSumo」を製作した。ゲームのルールを知らない人工知能が独力で相撲をマスターするプロセスは、ほかの分野でも応用できる可能性がある。 TEXT BY TOM SIMONITE TRANSLATION BY MAYUMI HIRAI/GALILEO WIRED(US) 10月11日（米国時間）にリリースされたシンプルな相撲ゲームは、画像表現が取り立てて素晴らしいものではない。だが、人工知能（AI）ソフトウェアの高度化に貢献する可能性を秘めている。 このゲーム「RoboSumo」の仮想世界で戦うロボットたちを制御しているのは、人間ではなく機械学習ソフトウェアである。そして一般的なゲームのキャラクターとは異なり、このロボットたちは格闘することをプログラミングされていない。試行錯誤しながら競技を「学習」しなければならないのだ。 歩き方すら知らない状態で試合開始 このゲームは、イーロン・マスクも創設にかかわった［日本語版記事］、人工知能研究の非営利団体OpenAIが製作したものだ。目的は、AIシステムを強制的に競わせる［日本語版記事］ことで、その知能を高度化できると示すことにある。 OpenAIの研究者のひとりであるイゴール・モルダッチによると、AIは対戦相手が仕掛けてくる複雑で目まぐるしく変わる状況に立ち向かうことになり、「知能の軍拡競争」のような状況が生まれるという。このことは、学習ソフトウェアがロボットの制御だけでなく、それ以外の現実社会における作業にも価値のある「巧妙なスキル」を習得するのに役立つ可能性がある。 OpenAIの実験では、単純化されたヒト型ロボットが、歩き方さえ知らない状態で競技用のリングに入場する。プログラミングされているのは、試行錯誤を通じて学習する能力と、動き回る方法を学習して相手を倒すという目標だけだ。 10億回に近い実験試合を繰り返したロボットたちは、さまざまな戦略を編み出した。より安定させるために姿勢を低くする、肩透かしを食らわせて相手をリングから落とすなどの戦略だ。研究者たちは、ロボットが競技中に自分の戦略を状況に順応させられるだけでなく、相手が戦法を変えると思われる「時期」の予測まで可能にする新しい学習アルゴリズムを開発した。 最も頻繁に利用されているタイプの機械学習ソフトウェアは、膨大な数のサンプルデータにラベルをつけて処理することによって、新しい技術を身につけるというものだ。これに対してOpenAIのプロジェクトは、こうしたアプローチの限界からAI研究者たちがどのようにして逃れようとしているかを示す一例だ。 これまでの方法は、翻訳や音声認識、顔認識などの分野における最近の急速な進歩に貢献してきた。しかし、家庭用ロボットの制御のように、AIをより広く応用できるようにするための複雑なスキルには向いていない。 より高度なスキルをもつAIを実現する可能性に向けたひとつの鍵となるのが、ソフトウェアが試行錯誤を通じて特定の目標に向けて取り組む「強化学習」だ。ロンドンに拠点を置くAIの新興企業で、グーグルに買収されたディープマインドが、アタリの複数のヴィデオゲームをマスター［日本語版記事］するソフトウェアを開発したときに使われた方法だ。現在は、ロボットに物を拾わせるなど、さらに複雑な問題をソフトウェアに解決させるために利用されている。 OpenAIの研究者たちがRoboSumoを製作したのは、競い合って複雑性が増すことにより、学習の進捗を早めることができる可能性があると考えているからだ。強化学習ソフトウェアにさらに複雑な問題を与えて自力で解決させるよりも、そのほうが効果的なのだという。「ほかの誰かと相互にやり合うときは、相手に適切に対応しなければなりません。そうしなければ負けてしまいます」と、インターンシップ期間中にOpenAIでRoboSumoにかかわったカーネギー・メロン大学の大学院生、マルアン・アルシェディヴァットは述べる。 OpenAIの研究者たちは、こうした考えをクモ型ロボットや、単純なサッカーのPK戦などのほかのゲームでも試している。競い合うAIエージェントを使った取り組みに関する2件の論文とともに、RoboSumoをはじめとするいくつかのゲームと、エキスパートプレイヤーたちのコードが発表されている。 立ちはだかる「リアリティギャップ」 高い知能をもつマシンたちが人間のためにできることとして、相撲の格闘が最も不可欠なものだとは言えないかもしれない。しかし、OpenAIの実験では、ひとつの仮想環境で学習したスキルが。ほかの状況にもち込まれることが示唆されている。 相撲のリングにいたヒト型ロボットを、強い風が吹く仮想の世界に移したところ、ロボットは脚を踏ん張って直立の姿勢を維持した。これはロボットが、一般に通用するやり方で自分の身体とバランスを制御する方法を学習したことを示唆している。 ただし、仮想の世界から現実の世界にスキルをもち込むのは、まったく別の難題だ。テキサス大学オースティン校の教授ピーター・ストーンによると、仮想環境で機能する制御システムを現実世界のロボットに組み込んでも、通常は機能しないという。これは「リアリティギャップ」と呼ばれる未解決の問題だ。 OpenAIでもこの問題に取り組んでいるが、解決策はまだ発表されていない。一方で、OpenAIのモルダッチは、これらの仮想のヒト型ロボットに、単に競い合うことを超えた動因を与えたいと考えている。モルダッチの頭のなかにあるのは、ロボットたちが競い合うだけでなく、協力する必要がある完全なサッカーの試合だ。」 (https://wired.jp/2017/11/16/ai-sumo-wrestlers/) 参考4 以下転載 以下に転載する記事だが、人間が勝手に意思を投影したに過ぎないと述べている。しかし対話の過程で生まれた独自言語は理解不能。つまりたとえ理解不能であっても、それが「会話」でありその過程で生まれた「独自言語」であるという解釈は勝手な人間の投影ではないと認めている。過程の一貫性の枠内で整合的に「言語の変容」として「解釈可能」だと。結局AIたちは人間には理解不能な会話をしていたのだ。 以下転載 「「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす 藤井涼 （編集部） 井口裕右2017年11月16日 07時00分 2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。 このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。 ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。 この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。 ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。 そして、“実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。 ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。 「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。 そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。 「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした“フィクション”による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」