（車、医療、兵器に組み込まれる人工知能）
ＡＩといえば近年その進歩はほんとうに目覚ましい。
とくにＣｈａｔＧＰＴなどの生成ＡＩの分野では、革命的な進歩を遂げている。
私も時々利用しているが、質問をすると、まるで人間が答えているのではと思えるような
自然な日本語で回答してくる。
質問の内容によっては、時々、英語で回答してくることもあるが、「日本語で回答して」
と要求すると、すぐに日本語で回答をし直してくれる。
ところで、この本は７年前に書かれているので、すでに内容的に古い部分多い。
それでも、この本のタイトルが示しているのは、今でもＡＩの進歩の先にある究極の恐怖
であると思える。
特に軍事面でのＡＩ利用は直近の問題ではなかろうか。ＡＩを搭載した自律型兵器に狙わ
れたときの恐怖を想像すると、その問題の深刻さがわかるだろう。
映画「ターミネーター」の世界は、もはやＳＦの世界ではなく現実のものとなりつつある。
軍事面の問題だけでない。ＡＩがわれわれの社会に入り込んでくることによって、多くの
職種において、今まで人間が行っていた仕事がＡＩにとって代わられるだろう。
「人間はＡＩができないような仕事をやればいい」という話も聞くが、そういうＡＩがで
きない仕事に就ける人はどれくらいいるのだろう。
また、ＡＩから仕事を奪われた人は、どうやって生きていけばいいのだろうか。
仕事に就けたとしても、ＡＩの圧倒的な能力の前に、人間の能力は、「無力」そのものと
化し、ただただＡＩが出す指示に従うだけの、人間のロボット化が進むのではないのか。
そうなると、人間が完全にＡＩに支配される社会の出現となる。
これが「ＡＩが人間を殺す日」となるのだろう。
問題は、そういう日がいつごろ来るかということだ。願わくば自分が生きている間には来
てほしくない。
過去に読んだ関連する本：
・ＡＩ救国論
・ＡＩ兵器と未来社会
・車の自動運転に勝るとも劣らないインパクトをもたらすのが、医療分野におけるＡＩの
導入だ。
すでに、米Ｉ利用ＢＭ製の人工知能「ワトソン」が大量の医学論文を検索し、医師が思
い付かなかった病名を提示して、患者の命を救うといったケースが報告されている。
・また今後はＭＲＩやＣＴスキャンなどの断層画像を先端ＡＩであるディープラーニング
で解析することで、病名の早期発見や医療費削減などを実現できる。
さらに同様の技術によって、様々な病気の余地や予防を可能になるとみられる。
これはすでに臨床研究の段階にあり、今後数年以内に世界中で実用化されることは間違
いない。
・そして最後に究極のケースとなるのが、兵器に組み込まれるＡＩである。
例えば「自ら標的を定めて突っこんでいくミサイル」、あるいは「上空から地上のテロ
リストを監視する自律的ドローン（無人機）」など、人工知能を搭載した様々な兵器が
世界各国で開発され、実証実験の段階に入っている。
・ＡＩは今後、私達の暮らしや社会、さらには国家システムの中枢に入り込み、それらを
（良きにつけ、悪しきにつけ）劇的に変える可能性が高い。
・であるだけに、もしもＡＩが誤動作や暴走をした場合の被害もまた、計り知れないほど
に大きい。
最悪の場合、それは私達人間の死につながる。
・ここで問題になるのは、私達がこの強力なＡＩを果たして制御できるのか、ということ
だ。
結論を先に言うと、どうも、そうではなくなりそうな恐れがあるからだ。
・例えば自動運転車である。既にテスラの提供する（部分的）自動運転機能「オートパイ
ロット」によって、米国で死亡事故が発生しているが、その主な原因はユーザーが自動
運転という「一種のＡＩ」の原理や仕組みを理解することなく、その性能を過大評価す
ることによって、運転をＡＩに丸投げしたことにある。
・が、考えてみれば中身の仕組みや技術を理解しないまま、私達がそうしたマシン（機械）
に命を預けるケースは多々ある。
従来の自動車や高速鉄道、あるいはジェット旅客機にしても、（一部の機械マニアのよ
うな人達を除けば）圧倒的多数の人々は、これらの内部機構をほとんど知ることなく利
用している。
・それでも基本的にマシンが社会に受け入れられ、根付いてきたのは、たとえ一般ユーザ
ーは理解できなくても、これらを開発した科学者や技術者、つまり専門家がその原理や
仕組みを正確に把握していたからだ。
つまり事故や故障などヤンら彼のトラブルが起きたときには、彼ら専門家がそれに対処
することによって、長期的にはマシンを人間の制御下におくことができたのである。
・ところが今後、社会の随所に導入されていくであろうＡＩ技術は、その辺りが怪しくな
り始めている。
つまり私達のような一般ユーザーだけでなく、ＡＩの研究開発に携わる当の科学・技術
者さえ、その内部メカニズムや思考回路を把握し切れなくなってきた節が見られるのだ。
・現代ＡＩは、確かに驚くほど高い精度で正解を引き出すことができる。
が、だからと言って「ブラックボックス化したＡＩ」を無条件で受け入れ、私達の生死
に関わる重大な判断を委ねるのは、はたして賢い選択と言えるのだろうか。
やはり何らかの形で私達人間が制御に介在すべきではないか。
そうだとしたら、今後、ＡＩと人間はどう関わっていけばいいのか。
ＡＩ脅威論の虚実
・コンピュータやＡＩの発達によって奪われる職種も確かに存在する。
例えば長期的に値上がりしそうな株などを選んで投資するファンド・マネージャーや、
（タクシー、トラックの）運転手や、（金融機関における）与信審査委員、あるいは放
射線科医など、近い将来、ＡＩや自動運転などの普及によって奪われそうな職種は少な
くない。
・一見、分野も収入もバラバラに見える、これらの職種には実は共通項がある。
それは仕事に占める「パターン認識」の割合が大きいことだ。
・大方の誇張されたメディア報道とは裏腹に、現在の人口知能が真にブレークスルーを成
し遂げたのは「パターン認識」と呼ばれる、ごく限られた分野だけだ。
これは、コンピュータやロボットが画像や音声を認識したり、いわゆるビッグデータ
（大量のデータ）の中から、ある種の規則性（パターン）を見出す技術だ。
・このパターン認識において、人工知能は今や人間を抜き去ったと見られている。
ということは、ある職種がパターン認識に依存する度合いが高ければ高いほど、それは
コンピュータやＡＩに奪われる可能性が高い。
・しかし私達人間が持っている能力はそれだけではない。
人は普段、自分の仕事を「単調でつまらない」などと、いくら卑下したところで、そこ
では無意識のうちにでも「洞察力」や「観察力」、あるいは「コミュニケーション能力」
や「（他者への）共感、配慮」「感受性」などを働かせている。
・これら人間固有の能力を、いずれＡＩが持つようになるのか、それは誰にも分らない。
が、仮にそうなるとしても、今からまだ何十年、あるいはそれ以上の長い年月が必要と
考えられている。
・つまりＡＩに雇用を奪われる分野は当面、パターン認識を中心とする特定の分野に限ら
れる。
それ以外の職業はＡＩに奪われるというより、むしろ互いに足りない能力を補うような
形で、徐々に機械と人間の役割分担が再構成されていく公算が大きい。
・一方、これとは異なる、そして一層深刻なＡＩ脅威論が聞かれる。
それは、いわゆる「シンギュラリティ（技術的特異点）」別名「２０４５年問題」の到
来である。
これは米国の著名な発明家「レイ・カーツワイル」氏が、かなり以前から提唱している
未来予想だ。
・それによれば、２０４５年頃には、コンピュータ・プロセッサの処理能力（人工知能の
ベースとなる技術）が人間の知力を上回り、いずれはＡＩが意識や感情までも備えるよ
うになる。
そして遠い将来にはＡＩやロボットが人類を支配し、その生存を脅かす恐れすらある、
との見方である。
・カーツワイル氏は若干奇矯な人物として知られているため、仮に彼一人がこうした予想
を口にするだけなら、それほど真剣に取り上げられなかったかもしれない。
が、実際には同氏のみならず、世界的に有名な物理学者のスティーヴン・ホーキング博
士や宇宙旅行ビジネスなどを開拓するスケールの大きな起業家イーロン・マックス氏ら、
各界の著名人も同様の警告を発している。
このためシンギュラリティに代表されるＡＩ脅威論つまり「超越的な進化を遂げたＡＩ
が人類の生存を脅かす」との予想も、非常な関心と危機感を煽っている。
・しかし、この点についても世界的な有名人に異を唱えるのは少々おこがましいが、ホー
キング博士やマスク氏はＡＩの専門家ではない。
つまり人工知能を実現するための具体的な技術や、その内部のメカニズムについては、
それほど詳しいと思えないのである。
それなのに、なぜＡＩが今後、発展していく方向性や、その潜在的な危険性などを占う
ことができるのだろうか。
むしろ彼らはある種の興味本位、あるいはセンセーショナルな予想によって世間の関心
を惹こうとする動機の方が強いのではなかろうか。
・これについては、より本格的なＡＩ研究者で、ディープラーニングの第一人者としても
知られる米スタンフォード退学准教授の「アンドリュー・ング」氏が次のようなたとえ
話で皮肉っている。
「（現代社会に生きる）我々が『ＡＩが人類を破滅させるかもしれない』と心配するの
は、火星の人口爆発を今から心配するようなものだ」
・ではＡＩには、本物の脅威は見当たらないのだろうか。
残念ながら、そうとは言えない。
実際のところ、ＡＩには「雇用破壊」や「シンギュラリティ」とは別の重大な危険性が
存在する。
そして、こちらの方が、より現実的で差し迫った「真の脅威」なのだ。
・それは「ＡＩ（やそれを搭載した各種マシン）と私達人間の関係性」を規定するもので、
専門家の間で「Human out of Loop（制御の環から人間が除外される）」と呼ばれて
いる問題だ。
これは、よりシンプルな表現を使うと「スーパー・オートメーション（超自動化）」
と呼ぶべき現象である。
これが引き起こすオートメーションは、それまでと本質的に異なる。
・たとえば、第一次産業革命から第三次産業革命におけるオートメーションでは、どれほ
交通・輸送手段や工場の自動化が進んだところで、最終的にそれを制御しているのは人
間だった。
・たとえば第一次産業革命で生まれた蒸気機関車、あるいは第二次産業革命の象徴である
自動車にしても、それぞれ「蒸気機関」や「ガソリン・エンジン」という動力、つまり
駆動系のシステムが自動化されたに過ぎない。
さらに第三次産業革命の主役として導入された産業用ロボットにしても、あくまで所定
箇所の切断や溶接、あるいは複数部品の組み立てなど、あらかじめ工場労働者やエンジ
ニア達（つまり人間）がプログラムした命令に従って、定型作業を遂行するに過ぎなか
った。
・逆にいえば、これらの乗り物やロボットなど各種マシン（機械）を制御していたのは私
達人間だった。
つまり各種動力のような「駆動系システム」は自動化されたにしても、マシンを自由自
在に操るためのハンドルなど「制御系システム」は、あくまで人間が行うべき領域とし
て確保されていたのだ。
・しかし今現在、進みつつある第四次産業革命では、人間にとって最後との砦として残さ
れてきた「制御系のシステム」、つまり「マシンをコントロール（制御）する権利」が、
ついに私達人間からマシン自体へと委譲されようとしている。
・これこそ、近代科学文明の発達史における「自動化の最終プロセス」である。
この点が、従来との決定的な違いとして特筆されるべき現象なのだ。
・その先駆けは恐らく、実用化（製品化）が間近に迫った自動運転車であろう。
既に現時点でも米テスラの「オートパイロット」など部分的な自動運転（半自動運転）
は実用化されている。
これを凌ぐ完全自動運転、あるいはそれに近い機能は、当初の予想ないし目標では
２０２０年頃を目途に製品化されると見られていたが、実際にはもう何年か後になりそ
うだ。
・いずれにしても、そう遠い未来の話ではない。
これが実用化されれば、その便利さや快適さは想像するに余りある。
身体的なハンディキャップを背負った人達や、年齢あるいは病気により視力や体力の衰
えた人達など、これまでモータリゼーションの恩恵に浴することができなかった多くの
人々が、今後は自動運転車で好きなときに好きな場所へと移動できる。
・が、一方でこの自動運転車が暴走したり、制御不能に陥ったときの恐ろしさは想像を絶
する。
・世界の自動車メーカーが自動運転に注力する、もうひとつの大きな理由は「安全性の向
上」である。
つまり「人気によりは（自動車のような）機械自体に制御を任せる方が事故を減らすこ
とができる」と考えているのだ。
これは「マシンが制御不能に陥ったときの恐怖」という視点とは対照的だが、それでも
確かに一理ある。
・ヒューマン・エラー（人為的ミス）こそ、自動車が歩行者をはねたり、他の車と衝突す
るなど各種事故の主な原因となっている。
たとえば米国における調査では、自動車事故の全体の約９４パーセントはヒューマン・
エラーに起因するという。
・が、ここで気になるのは、「機械は本当に人間より頼りになるか」という点だ。
つまり、私達人間が安心して制御権を委譲できるほど、自動運転車という機械には高い
信頼性があるのか。この点が最も重要な問題となってくる。
・これを確かめるためには自動運転の仕組み、つまりそれを実現する技術にまで踏み込ん
で顕彰する必要がある。
そこでは自動車というマシンを制御するＡＩ（人工知能）が主要な役割を果たす。
・現在の自動運転車は「６０年以上に及ぶ世界的なＡＩ研究」の集大成とも言える技術を
搭載している。
それはＡＩ開発史の初期に栄えた「ルール・ベースＡＩ］、１９９０年代から盛んにな
った「統計・確率型のＡＩ」、そして最新鋭の「ニューラルネット」という三種類の技
術に大別される。
・「ルール・ベースのＡＩ「」とは、「もし～ならば、～をしなさい」といったルールを
技術者（人間）が幾つも設定し、これらを（自動運転車のような）機械が理解できるプ
ログラミング言語で記述してから自動車に移植する、というやり方だ。
・一方、統計・確率型のＡＩでは、（車のような）機械自体が自らに搭載された各種セン
サーから取得した外界データを、確率的に処理することにより自動運転を可能にする。
この技術は「隠れマルコフ・モデル」と呼ばれる数学理論をベースにしている。
・ニューラルネットとは、私達人間（あるいは動物）の脳を（極めて限られた範囲ではあ
るが）参考にして開発さ入れた人工知能だ。
ニューラルネットの研究自体は、１９５０年代に始まった伝統的な技術だが、実用化に
足る技術水準に達したのは２１世紀に入ってからだ。
・それは「ディープ・ニューラルネット（ＤＮＮ）」あるいは「ディープラーニング（深
層学習）」などと呼ばれている。
これが得意とするのは画像や音声の認識など、いわゆる「パターン認識」と呼ばれる作
業である。この技術も最新の自動運転車に応用されている。
・このニューラルネットや統計・確率型の人工知能は、エンジニア（人間）が車にルール
を一々教え込むのではなく、むしろ自体が各種センサーで測定した外界データを学習し
て賢くなることから、一般にＡＩのなかでも「機械学習」と呼ばれる分野に属する。
・以上のＡＩ技術は各々、一長一短があるので、現在の自動運転車では、それらが、いい
按排にミックスされた形になっている。
・たとえば自動運転車が周囲の移動体を把握するには、センサーで取得した外界データを
「統計・確率型ＡＩ（隠れマルコフ・モデル）」で処理して、それら移動体の現在地を
割り出す。センサーで測定した外界データには、どうしても誤差が含まれるため、それ
を処理するには統計・確率的な方式が最も適しているからだ。
・一方、この移動体が一体、歩行者（人間）なのか、それとも犬や猫のようなペットなの
か、あるいは路上の風に舞うポリ袋なのかなど、より詳細かつ正確に把握するためには、
パターン認識を得意とする「ニューラルネット（ディープラーニング）」が使われる。
・これに対し、たとえば「赤信号では停止する」といった決まりであれば、車自体が各種
センサーを使って機械学習するよりは、むしろエンジニアがルールとして車に教え込む
方が手っ取り早いし簡単だ。
・新聞やテレビの報道番組などでは、時々記者が自動運転車に試乗する様子が報じられた
りする。
これらの体験記では、自動運転車は大抵、交通量の比較的少ない時間帯における高速道
路を巡行走行している。
その間、自動運転車は前を走る車と適切な車間距離をとり、ハンドルやアクセル、ブレ
ーキなどの操作も無難にやってのける。
また隣りのレーンを走る車がこちらのレーンに割り込んでくると、自動運転車は礼儀正
しく前方のスペースを譲り、逆に必要とあれば自らも隣りのレーンへとスムーズに車線
変更してみせる。
これらの様子を見る限り、自動運転車は今すぐにでも実用化（商用化）できるほど、完
璧な技術レベルに達しているように思われる。
が、本当はそうではない。
・世界的メーカーが開発中の自動運転車でさえ、数キロ走る間に少なくとも一回は何らか
のトラブルによって自動運転が中断され、車に搭乗したオペレーター（つまり人間）が
車（機械）に代わって運転を引き継がなければならない。
これが現時点における自動運転技術の実力である。
・なぜ、テレビの報道番組などで無難に自動運転してみせるのに、皇道でのテスト走行で
はトラブルが露呈してしまうのか。
その理由は、あらかじめ周到に準備されたテレビ放送用のデモ走行とは異なり、現実の
道路環境では何が起きるかわからないからだ。
・たとえば道路工事である。道路工事の現場では、いくつものコーンが並べられた非常レ
ーンが用意され、車は正式の車線を無視して、このレーンに入って工事現場を迂回する
ことが求められる。
そこには大抵、車の誘導を担当する作業員が立っており、旗を振りながら「こっちをお
通りください」と非常レーンまで導いてくれる。
この場合、たとえ前方の信号が赤でも、車はそれを無視して進んでも構わない。
・ドライバー（人間）が運転する普通の車であれば、こうした工事現場を難なくクリアし
て走り続けることができる。
ところが（少なくとも現在の）自動運転車には、それができない。
その理由は、自動運転車に搭載された人工知能が、自らの内部で葛藤を起こしてしまう
からだ。
・車がセンサーと機械学習によって自ら導き出した結論と、あらかじめ人間から叩き込ま
れた命令が相反するので、自動運転車がどちらに従うべきか迷ってしまう。
しかも、機械には、前方で作業員が振っている旗の意味が理解できない。
これらが相まって、自動運転車は運転を投げ出さざるを得ないのだ。
・この種の事例は他にいくらでも考えられる。
例えば自動運転車の前方を走っていた車が追突事故を起こした場合、玉突き事故を覚め
るために自動運転車は当然、中央分離線を乗り越えて対向車線へと逃げなければならな
い。あるいは最悪の場合、歩道に乗り上げるしかないかもしれない。
しかし、これらも、やはり車両にエンジニアから教育された交通ルールに違反する。
このままでは、自動運転車はどう行動していいかわからないはずだ。
・つまり現時点で試作レベルにまでこぎ着けた自動運転車が、今後、実用化（商用化）へ
と踏み込むためには、「そう頻繁には起きないが、それでもたまには起きる非常事態」
あるいは「全く未知の事態」など、どんな状況にも対応できる体制を整えなければなら
ない。
・しかし、技術者が事前にあらゆる状況を想定し、それをたとえばルール・ベースＡＩの
ような形で逐一プログラミングしていくことは事実上不可能である。
なぜなら、何が起きるかわからない現実世界では、そういう状況は数え上げれば切りが
ないからだ。
・では、どうしたらいいのか。
一つの選択肢としてメーカー各社が検討中なのは、そうした非常事態のときだけオペレ
ーター（人間）が自動運転車を遠隔操作する、という方式だ。
・このように同じ自動運転でも、車（機械）の制御権を完全にＡＩに渡してしまうのでは
なく、むしろ人間が何らかの形で制御に関与する方式は、「Human in the Loop（制御
の環に人間を入れる）」と呼ばれている。
これは既に現時点で、いわゆる「半自動運転」と呼ばれる機能として実用化されている。
・こうした半自動運転は、今後メーカー各社が最終的な目標とする完全自動運転を実現す
るまでの途中段階とみられる。
これは確かに現実的なアプローチではあるが、それなりの危険性が伴う。
つまり自動運転車のような機会と人間との間で、制御権の受け渡しが上手くいかないケ
ースが見受けられるのだ。
実際、これが原因で２０１６年以降、テスラのオートパイロットは米国や中国などで何
件かの死傷事故を引き起こしている。
・こうしたことから見て、今、真剣に考えねばならないことは、制御の環に人間を入れる
べきか否か、入れるとすれば、どの程度まで人間に任せるのか、つまり自動運転車の制
御権を巡る、機械と人間の綱引きである。
・自動運転と並んで、人工知能による判断が私達の生死を左右する分野がある。
それは医療だ。日頃、私達の健康と命を預かる、この大切な分野に今、高性能でありな
がら謎の多いＡＩが進出しようとしている。
・一般に頭脳明晰とされる医師といえども、所詮は生身の人間。そして人間の最大の短所
は視野（知識の範囲）が限られていることだ。
どれほど研鑽を積んだ優秀な医師でも、この世界に存在する、あらゆる病気やその原因、
治療法などに通じているわけではない。
・これに対し、高速プロセッサと大容量の記憶装置を駆使するＡＩであれば世界中で日々
発表され蓄積される大量の医学論文を瞬く間に読破し、医師が知らなかった病名や気づ
かなかった治療法を提示してくれる。
こうした基本的アイデアの下に、人工知能が先端医療の現場に導入されつつあるのだ。
・医療分野へと進出した人工知能には前途洋々の未来が開けそうだが、一方で深刻な懸念
も見受けられる。たとえば新たな医療過誤の危険性だ。
つまり今後、ＡＩが本格的に病院やクリニックなど医療現場へと普及したとき、人工知
能と医師（人間）の間で、何らかの齟齬が生じることが十分考えられるのだ。
・医療のように人間の生死にかかわる分野では、人工知能に患者の診断や治療を丸投げす
るのは、さすがに抵抗がある。
このため「医師（人間）が最終的な決定権と責任を持つ」ことになるのだ。
こうしたスタンスは今後、当面は維持されるだろう。
・が、ここで気になるのは「医師とＡＩとの間で、意見が割れたとき」の対応だ。
ワトソン（ＡＩ）には「ワトソン・パス」と呼ばれる医師支援機能が用意されている。
医師はこの機能を使ってワトソンの思考経路を辿ることができる。
つまりワトソンがどのような論文を参考にし、どこからどんな判断基準や考え方に基づ
いて、何らかの診断結果や治療法を提示するに至ったのか、その経緯を医師は詳しく見
ることができる。
しかし、たとえワトソンの思考経路が判明したとしても、それでもなお医師とワトソン
（ＡＩ）との間で意見が割れる可能性は十分あり得る。
・ワトソンが提供する診断や治療法は、実は絶対的な正解ではなく、あくまでも「正解で
ある確率が高い医療情報」に過ぎない。
これを参考に最終的に決定を下すのは医師だが、患者の病気に関する身からの見立てと
ワトソンの助言が食い違った場合、かなり難しい判断を迫られるだろう。
・医師がワトソンの助言を排して、自らの判断で患者を治療し、運悪く病状の悪化や死に
至った場合、そこで責任を追及される恐れはないだろうか。
つまり「なぜ、（正解率の高い）ＡＩの意見を敢えて否定してまで、自分の意見にこだ
わったのか」という周囲の批判である。
・逆に今後、ワトソンのような医療ＡＩの能力がどんどん高まることによって医師がＡＩ
にますます依存するようになり、最終的には診断や治療を（事実上）丸投げしてしまう
こともあり得る。
・こうした傾向を助長すると見られるのが、医療現場におけるディープラーニングの導入
だ。
ワトソンは伝統的な「ルール・ベースＡＩ」の流れを汲む人工知能であるのに対しディ
ープラーニングは今世紀に入って急速に発達したニューラルネット技術の最新モデルで
ある。
今、このディープラーニングを医療に応用する取り組みが、世界的に勢いを増している。
・ディープラーニングは、基本的には「機械学習」と呼ばれる分野の技術であると、ご理
解いただきたい。
つまりコンピュータのような機械が、いわゆる「ビッグデータ（大量のデータ）」を教
材にして自ら学んで賢くなるための技術だ。
・ディープラーニングは能の（後頭部にある）視角野の研究成果（理論）を採用している
ため、画像認識をもっとも得意とする。
また脳の知覚領域には汎用性があるため、視角野の仕組みを応用したディーラーニング
は聴覚のような音声認識も得意だ。
これらは一般に「パターン認識」と総称される。
・しかし一方で、やはり深刻な懸念が指摘されている。
それはディープラーニングのようなニューラルネット技術に共通する「ブラックボック
ス化」と呼ばれる現象だ。
ブラックボックス化とは文字通り、ディープラーニングという「箱」の内部で何が起き
ているのか、外側からは窺い知ることができないという問題だ。
・これは「ワトソン」とは対照的である。
そこでは「ワトソン・パス」という支援ツールを使うことで、医師はワトソンがどのよ
うにして何らかの病名や治療壕を提示するに至ったか、その思考経路を後から追跡でき
る。
・これに対し内部がブラックボックス化されているディープラーニングの場合、それがど
のようにして何らかの結論に至ったかを医師は知ることができない。
これは医師にとって非常に悩ましい決断を迫ってくる。
なぜなら、ディープラーニングはいつも非常に高い確率で正解を返してくるからだ。
つまり医師はその助言に従った方が、患者を救える可能性が高い。
・しかし、たとえそうでも合理的な理由がわからなければ、人命を左右する決断を下すこ
とは難しい。
たとえば診察室において、医師が患者やその家族に向かって「理由はよくわからないが、
ディープラーニングがこう言っているから、この治療法を試してみましょう」などと言
ったら、一体誰が承諾するだろうか。
・しかし驚くべきことに、実際の先端医療は今、まさにこの方向へと進みつつある。
そこではディープラーニングのブラックボックス問題を解決するため、「理由を説明で
きる人工知能」の研究開発も始まっているが、それはまだ緒に就いたばかりだ。
こうした危うい展開に対する社会的議論すら為されないまま、医療現場へのＡＩ導入は
前のめりに進んでいる。
・世界で突出した軍事大国の米国は近年、人工知能を搭載した次世代兵器の開発を粛々と
進めている。
たとえば無人ステルス戦闘機、敵への照準を自ら定めるミサイル、上空から地上のテロ
リストを監視する自律的ドローン・・・殺人ロボットの異名を持つ、これらシュールな
ＡＩ兵器が今、「ターミネーター」のようなＳＦ映画を飛び出し、現実世界における新
たな脅威として私達の眼前に迫りつつある。
・ペンタゴン（米国防総省）は今回、21世紀の革命的技術である人工知能を駆使して、再
び中ロなどほかの軍事大国を引き離そうとしている。
その先駆けとして象徴的な存在でもあるのが、世界的な軍需メーカーである米ロッキー
ド・マーチンが開発中の「長距離対艦ミサイル：ＬＲＡＳＭ」だ。
ＬＲＡＳＭには（人工知能の一種である）高度なパターン認識技術が搭載されている。
これによってミサイル自体が、敵の戦艦など攻撃対象を見つけて破壊することができる。
・実は、このようなＡＩ兵器は米国以外でも開発や導入が進んでいる。
たとえば英国が開発中の無人ステルス戦闘機「タラニス」、あるいはイスラエルが既に
は意味している対レーダー・ミサイル「ハービー」や防空システムの「アイアン・ドー
ム」、さらには韓国が北朝鮮との間の非武装地帯に配備した哨兵ロボット「ＳＧＲ－１」
など、いずれも兵器が自分で判断して敵を攻撃する能力を備えている。
・過去の革新的兵器と、これから戦争に投入されようとしているＡＩ兵器とでは決定的に
異なる点がある。
これまでの兵器は、主にその破壊力や攻撃範囲を拡大するため新技術が導入されてきた。
これに対し、現在開発が進められているＡＩ兵器は、攻撃対象となる敵を定めたり、相
手を攻撃するか否かを判断する能力を備えようとしている。
これらは従来、軍隊の指揮官や戦場における兵士ら人間に与えられた役割だった。
・つまり兵器がもはや「人に使われる道具」ではなくなり、むしろ「人に代わる戦闘主体」
へと質的な変化を遂げ始めているのだ。
しかし、それはまた「超えてはならぬ一線」かもしれない。
自動運転車の死角
・一般に自動運転車の車体には、外界の状況を把握するための各種センサーが搭載されて
いる。
代表的なものには、「ビデオカメラ」や「ミリ波レーダー」、さらに「レーザー・レン
ジ・ファインダー」などがある。
またじゅうらいの車のナビゲーションに利用されているＧＰＳも、自動運転に必須のセ
ンサーとなっている。
・これらのうちビデオカメラは、自動運転車のフロントガラスの辺りに複数台設置されて、
外界を立体的に把握する「ステレオ・カメラ」として使われるケースが多い」
これによって対象物（他の車、歩行者、障害物など）の形状、そこまでの距離や奥行き
なども測定できる。測定可能距離は約２００メートル。
・ミリ波レーダーは、文字通り波長が１～１０ミリメートル程度の電波を照射し、それが
対象物に反射して跳ね返ってくる「反射波」を補足することによって、対象物までの距
離や方向を測定し、そのサイズなども把握できる。測定可能距離は１００～２００メー
トル。
・レーザー・レンジ・ファインダーは別名「ＬＩＤＡＲ］とも呼ばれる。
これから照射されるレーザー光が対象物に反射して跳ね返ってくる光（反射光）を補足
することにより、対象物までの距離や、その形状を測定できる。
原理的には（ミリ波）レーダーと同じだが、両者の違いはＬＩＤＡＲの場合、（レーダ
ーのような）電波ではなくレーザー光を使う点にある。
・各種センサーには、それぞれ長所と短所がある。
まずビデオカメラは「歩行者」や「自転車」「電柱」など、対象物の形状を識別できる
点が大きな長所だ。
その一方で、人間の目と同様、夜間はライトがなければ全く使えないし、雨や霧、雪な
ど悪天候で視界が遮られる場合も役に立たず、この点が最大の短所と言える。
・一方、ミリ波レーダーは「夜間や悪天候でも使える」という長所の反面、「対象物の形
状を認識するのが苦手」という短所も併せ持つ。
また対象物が金属の場合には認識できるが、歩行者（人間）や街路樹のような非金属は
認識できない。
・これに対し、ＬＩＤＡＲでは歩行者など非金属も認識できる。
また分解能（各種測定器のよる識別能力の限界を示す指標）がビデオカメラやミリ波レ
ーダーなどより高いため、対象物の形状も正確に把握できる。
が、一方で測定可能距離が５０～１００メートル程度と比較的短い。
またビデオカメラと同様、悪天候に弱いが、（ビデオカメラとは対照的に）暗闇でも使
える。
・以上のように、各種センサーにはそれぞれ長所と短所があるので、これらを組み合わせ
て使えば、互いの弱点を補い合うことにより、自動運転車の周囲を隈なく把握できる。
ただし、そこにはコスト面での制約が伴う。つまり車体に搭載されるセンサーの種類や
数が多くなるほど、自動運転車の開発・製造コストも増すことになる。
・このため自動運転の種類や目的に応じて、車体に搭載される各種センサーの構成を必要
最小限に抑えることが求められる。
たとえばテスラの「オートパイロット」のような半自動運転の場合、コストを抑えるこ
とを優先して、比較的簡素なセンサー構成になる。
一方、グーグルが目指しているような完全自動運転の場合、できる限り高い安全性を確
保するために、より高性能なセンサーを多数搭載する必要がある。
・中でも各社による差別化のカギを握るのはＬＩＤＡＲである。
ＬＩＤＡＲはミリ波レーダーやビデオカメラなどと比べて測定可能距離は短いが、数セ
ンチメートル単位で周囲の物体との距離を測定し、車体の周囲３６０度をカバーする詳
細な３Ｄ（立体的）マップを作成できる。
これは完全自動運転を実現する上で必須と見られている。
因みに、テスラ「モデルＳ］にはＬＩＤＡＲが搭載されていないが、グーグルや世界の
主要メーカーが開発中の完全自動運転車には、この高性能センサーが必ず搭載されてい
る。
・確率的判断こそが、テスラやグーグル、さらには世界の主要メーカーが開発進める自動
運転車の最大のポイントである。
それは各種センサーで測定した位置情報などビッグデータを統計的に処理することから、
「統計的なＡＩ」とも呼ばれる。
・「統計・確率的なＡＩ」は原理的な問題を抱えている。それは「ファットテール」と呼
ばれる現象だ。
ファットテールは「理論と現実との微妙だが、極めて重大なズレ」を意味する概念だ。
私達の世界で起きる確率的な事象を表現するためには、一般に正規分布曲線が使われる
ことが多い。
つまり正規分布曲線とは、この世界を確率的に記述するための理論である。
ところが私達が普段生きている現実世界は、この正規分布曲線からは微妙にずれている。
・つまり「正規分布（理論）上は起こり得ない」とされることが、現実世界では意外に高
い確率で起きるのだ。
・この宿命的な問題に対し、自動運転車を開発するメーカー側はどう対応すればいいのか。
一つの方法は、テスラあるいは世界各国の自動車メーカーのように、「自動運転はあく
まで運転支援機能の一種」と位置付け、「運転の主導権はあくまでドライバー（人間）
側にある」とあらかじめ断って提供することである。
この場合、ドライバーは自動運転時も常に周囲への注意を怠らず、何か非常事態が発生
したときには自動運転から制御権を取り返して、ドライバー（人間）が車を運転しなけ
ればならない。
ただ、これは私達ユーザーの立場から見ると、正直、本来の役割の放棄をという印象を
受ける。
・つまり、そもそもいったい何のための自動運転なのか。むしろ、そうした対応の難しい
非常事態にこそ、自動運転、つまり人工知能がドライバーに代わって適切に対応してく
れる。これこそ自動運転の本来の目的ではなかったのか。
・また、ここまで「統計・確率型ＡＩでは非常事態に対応できない」と強調してきたが、
逆に「人間なら対応できる」という保証があるわけではない。
・結局、平時の容易な雲天は自動運転（機械、ＡＩ）に任せ、非常事態における困難な運
転はドライバー（人間）に任せるようでは、自動運転の存在価値が著しく失われるばか
りか、むしろ危険であると言わざるを得ない。
・一方、これと対照的なアプローチは、グーグルが開発を進めている「完全自動運転」で
ある。
同社が２０１５年にお披露目したテントウムシ型の小型自動運転車（試作車）では、ハ
ンドルもアクセル／ブレーキ・ペダルも排除され、搭乗者（ユーザー）は車の制御権を
完全に奪われた。
・今から振り返ると意外な印象を受けるかもしれないが、グーグルが２００９年頃、本格
的に自動運転技術の開発を始めた当初は、むしろ現在のテスラの方式に傾いていた。
ところが、その後、グーグルが実際にそうした半自動運転車に自社の従業員を試乗させ、
社内に取り付けたビデオカメラでその雲天の様子を撮影・観察したところ、ドライバー
はありとあらゆる想定外の行為に耽っていた。
・つまり、「自動運転中で周囲への注意を怠らない」など、あらかじめ定められたルール
を無視し、運転席から後部座席に移動したり、果ては同乗者にキスしたり、身体を愛撫
するといった実にひどいケースが多発したという。
・これを見たグーグルは、「中途半端に人間（ドライバー）に頼ること」はむしろ危険と
判断し、つまり人間を制御の環からは持して車（機械）に全ての制御権を移譲する方式
へと切り替えたのである。
・しかし、頃やり方にはファットテール問題がつきまとう。
つまり、確率的なＡＩでは、異常事態には対応できない。
この問題に対してグーグル取った当面の対策は、自動運転車が絶対に異常事態に巻き込
まれないように、大事を取って「極端な安全策を取る」ということである。
・だが、このやり方では致命的な事故は免れるかもしれないが、現実的な道路・交通事情
に適応できないことが、その後のテスト走行の過程でわかってきた。
・例えばグーグルの自動運転車は高速道路に走行中に、周囲を走る車の流れに乗って走り
ことができない。
つまりドライバーが運転する通常の車では、速度制限を多少オーバーしても、周囲を走
る車の流れに合わせて柔軟に速度を上げ下げするのに対し、グーグルの自動運転車は徹
頭徹尾、速度制限を遵守するので、周囲の車のスムーズな走りをむしろ妨げてしまう。
・あるいは交差点における信号待ちのような状況では、たとえ信号が青になっても、対向
車線から直進してくる車が全部いなくなるまで、（右綿通行の米国で左折する）自動運
転車は停止して待ち続けるので、いつまでたっても動かないのである。
・本来必要とされているのは、「完璧な」自動運転機能のはずだ。
技術的にこれを実現するカギは、自動運転車がファットテールのような異常事態に遭遇
した際の、対応能力向上である。
・すでに、柔軟性に富む人工知能であるディープラーニングを自動運転車の中枢機能とし
て搭載すべく研究開発を進めている。
彼らは「異なる物体の識別」といった従来の目的だけでなく、車の運転をすべてディプ
ラーニングに任せようとしている。
・ディープラーニングでは、自動運転車のような機械がテスト走行などのデータを解析し
て自ら学ぶ「機械学習」の適応の能力が、単なる統計・確率型ＡＩより格段にアップす
る。
このため、従来ならファットテールに該当する以上時代もあらかじめ学習し、対応でき
るようになると期待している
ロボ・ドクターの誤診
・世界全体で発表される医学論文の数は、２０１６年だけで１２０万本以上、累計では、
２６００万本にも達するという。
また現代医学と密接に関係する「生命科学」の分野では、年間で実に１５０万本もの論
文が発表されている。
・これほど大量の文献を、独りの医師が読みこなせるはずがない。
つまり癌を始め現代人を苦しめる様々な病気を、水も漏らさぬ最新の医学知識を持って
理解し、あらゆる角度から見てベストの治療法を提案することは、所詮生身の人間に過
ぎない医師の能力を遥かに超えているのだ。
・しかしシリコン製のプロセッサと記憶装置、そして高性能の人工知能を搭載したワトソ
ンなら、それができる。
言わば、疲れを知らぬ「ロボ・ドクター」としての氏名をＩＢＭから課せられたワトソ
ンとは、一体どんなコンピュータなのだろうか。
・「ワトソン」はＩＢＭの基礎研究部門が開発した質疑応答用の大型コンピュータだ。
それは私達人間のように言葉を理解して操ると共に、その能力を使って私達の様々な質
問に答えてくれる。
・ＩＢＭはこの「ワトソン」事業部を次世代の基幹ビジネスと位置付け、同部門発足時の
２０１４年には約１０マンドル（約１０５０億円）を投資、また当初２０００人からス
タートした同事業部の人員は、２０１６年には約１万人に達するなど、多大なリソース
を傾注している。
・医療の世界では、新しい治療法や薬が続々開発されており、これらに関する専門的文献
は５年間に２倍のペースで増えている。
一方、現場の医師が、こうした新しい情報を入手するための勉強に割くことのできる時
間は、平均して月にわずか５時間しかないと言われる。
・たとえは「断層画像に写っている腫瘍が悪性である」とワトソンが診断した場合、その
確信度は７０パーセント、その治療法の効果に対する確信度は８５パーセント、追加検
査の必要性に対する確信度は６５パーセントといった具合だ。
・ワトソンが提示する診断や治療法には、各々の確信度を算出するに至ったエビデンス
（根拠）となる医学論文などの文献が付加されている。
これらの情報を医師らが入念にチェックすることにより、ワトソンが明らかに間違いを
犯したことが判明することもある。
その場合、間違いを指摘する情報が意思からワトソンにフィードバックされることによ
り、ワトソンは徐々にベストの状態へとチューニングされていった。
・ワトソンを試験的に導入した米ノースカロライナ大学・医学大学院では、各種癌の症例
１０００ケースをワトソンに入力したところ、その９９パーセントでワトソンが提示し
た治療法は癌専門医によりものと一致した。
そればかりか全体の３０パーセントでは、ワトソンは医師が見落としていた別の治療法
も発見した。
・癌に関する医学論文は年に２０万本以上に及ぶが、ワトソンが提案した別の治療法とは、
これら膨大な医学論文には記されているが、医師が目を通すことのできなかった最新の
臨床試験の結果などではないか、と見られている。
・日本では、さらに劇的な事例が報告されている。
何秒で死の危険にさらされていた女性を、ワトソンが救ったのだ。
・ただワトソンは（少なくとも現時点では）厚生労働省から医療機器として認定されてい
ないので、あくまで「臨床研究」にしか使えない。
たとえ、どれほど劇的な成果が報告されても、一般の患者を診断・治療するためにワト
ソンを使うことはできないのだ。
つまり日本では規制障壁が、ドクター・ワトソンにとって最大の難関となっている。
これに対しシンガポールやタイ、インドなどほかのアジア諸国では、既に医療現場にワ
トソンが導入され、通常の治療に利用されている。
・ただし、ワトソンはあくまでも病気や治療法の候補を提案するに過ぎず、これらの情報
を参考に最終的な判断を下すのは医師である。
ここで気になるのは、ワトソン（ＡＩ）と医師（人間）との間で意見が割れた場合だ。
・よく考えると、近い将来、ワトソンのようなＡＩが広く医療の現場に普及した際に起こ
り得る「きわめて複雑で厄介な事態」を示唆している。
それは「ＡＩが引き起こす、新たな医療過誤」の危険性だ。
・もちろん、医師がワトソンの意見に従って事なきを得たり、あるいは最終的に病気の根
治に至れば問題ない。
しかし医師がたとえワトソン・パスで、その思考回路を辿ることができたとしても、
ワトソンが提示した診断結果や治療法に納得できない場合も当然、起こり得る。
そのようなプロセスを経て、最終的に患者が死亡した場合、大別して以下の二種類の可
能性が考えらえる。
①ＡＩが提示した診断や治療法を却下し、医師が独自のやり方で患者を死なせた場合、
遺族は「なぜ医師は敢えて賢明なＡＩの意見に逆らって、自分の治療法を押しつけた
のか」として医師や病院を訴える。
②逆にＡＩの意見に従って医師が患者を治療して死なせ、後日、別の医療関係者らが、
「このＡＩの提案した治療法は明らかにおかしい」と指摘した場合、遺族は「医師が
本来の医療業務を怠って、ＡＩに診断や治療法を丸投げするから、こういうことにな
るんだ」として医師や病院を訴える。
・また、そこにはワトソンのような医療用ＡＩの「製造物責任」が追及されることもあり
得る。
つまりＡＩの進める治療法に従って医師（病院）が患者を死なせた場合、「その責任は
医師や病院ではなく、医療用ＡＩを開発したメーカー側にある」とする考え方だ。
・もちろんＩＢＭが現時点でワトソンを「あくまでも医療支援ツールに過ぎず、最終的な
決定・決断は現場の医師が下す」としている以上、将来、こうした医療ＡＩに他のメー
カーが参入した場合も同じ主張をするだろう。
となると法的な責任も、医師や病院、ひいてはインフォームド・コンセプトに合意した
患者側が負う公算が大きい。
・が、たとえ法的責任は免れたとしても、より実質的な問題は残るだろう。
それは「将来、ワトソンのような医療ＡＩが高度な進化をどけた場合、医師がほとんど
ＡＩに依存してしまう」という危険性だ。
・つまり、いくらメーカー側が「医療ＡＩはあくまで診断・治療の支援ツールに過ぎず、
最終的な決断を下し、その責任を負うのはあくまで現場の医師」とくぎを刺したところ
で、そうした医療ＡＩの信頼性が今後、どんどん向上すれば、結局、医師はＡＩに頼る
ことになってしまうのではないか。
・そこで大きな問題となるのは、これらのＡＩが返してくる答えは、実は必ずしも正解と
は限らないということだ。
こうしたＡＩは今後、どれほど性能がアップしても、誤った答えを返す可能性が宿命的
に残っている。
医師や病院を始め医学界は、今から、そうした事態に備えて、医療ＡＩとの適切なスタ
ンスを検討しておくべきだろう。
・一方、ワトソンとは正反対の性格を備えるＡＩを、医療に応用する試みも始まっている。
そして実は、こちらの方がより大きな可能性を秘めるとともに、得体のしれない不安も
抱えている。
・それは「ディープラーニング」を、様々な病気に診断や予防などに取り入れようとする
動きだ。
・その中でも最初に手掛けたのが眼底検査、つまり「目の病気の診断」をＡＩで自動化す
る取り組みだ。
私達の身体を構成する様々な臓器や器官の中で、「目」は唯一、身体にメスを入れなく
ても血管の構造がわかる器官である。
このためＡＩのような先端技術を試験的に医療へと応用する場合、「目の病気の診断」
が最も取り組みやすい分野と見られているのだ。
・実はＡＩを医療に応用する取り組みは、かなり以前から行われてきた。
特に１９７０－８０年代にかけては、医師のような専門家（エキスパート）の知識やノ
ウハウをコンピュータに移植することによって、医師に代わってコンピュータが患者の
診断を行う「エキスパート・システム」が一世を風靡した。
これは「ルール・ベースＡＩ」、つまり、「古典的な人工知能」の大業的な事例である。
・しかし、こうしたやり方はあまり上手にいかなかった。
その主な理由としては、医師が網膜画像などイメージ・データを見ながら診断する場合、
一種の暗黙知に従って病気を見つけるケースが多いからである。
具体的には、ある患者の診断画像を見るやいなや、「ああ、これはこの病気だよ、間違
いない」などと言ってのける。
つまり傍目からすれば、医師が理屈ではなく直観に従って診断しているように見える。
・逆に言うと、医師が自らの言葉を使って「これこれ、こういう形の影が画像に写ってい
たときには、かくかくしかじかの病気です」と明示的にルール化することが非常に難し
いのだ。
また仮にルール化できたとしても、たとえば患者の年齢や既往歴、各種体質など様々な
条件に応じて、事細かく場合分けしてルールを作成しなければならないため、いくらた
くさんのルールを用意しても足りない。
・溜まり多様性と例外に富む現実世界、特に微妙な症状の差異が患者の病状や生命を左右
する医療現場では、杓子定規のルールに従って患者を診断することは、ほぼ不可能に近
い。
結果、エキスパート・システムのようなＡＩは、医療現場にほとんど普及しなかったの
である。
・これに対し、今、開発中の医療用ディープラーニングは、医師がコンピュータに「ルー
ル」を教えこむのではない。
むしろ何万枚にも上る網膜画像のような「大量のデータ」をコンピュータに入力し、コ
ンピュータ自体がそのデータを解析することによって、各種の病気を示す視覚的特徴を
識別して診断できるようになる。
・機械学習は「教師有り学習」「教師無し学習」「強化学習」など幾つかの方式に大別さ
れるが、今開発中のディープラーニング・システムは「教師有り学習」を採用している。
教師とは、この場合、医師を意味する。
つまり眼科医がディープラーニングという人工知能に、各種の眼疾患の診断方法を教え
るのである。
・大量の網膜画像のイメージ・データをあらかじめ三人の眼科医が目視で検査し、個々の
画像に対し「これは病気Ａ」「これは病気Ｂ」「これは病気Ｃ］「これは健康な目」
というように、それぞれラベル付けしていくのだ。
・ここで特筆すべき点は、眼科医がこうしたラベル付け（一種の診断）をする際、その診
断に至る理由を明記する必要がない、ということだ。
ここが過去の「エキスパート・システム」との大きな違いである。
・つまり、この種の画像診断が基本的に医師の暗黙知に頼る以上、それを言葉でルール化
するのは無理がある。
むしろ教育用のトレーニング・セットをコンピュータ（人工知能）に入力し、そこから
コンピュータ自体が診断のカギを握る要素を自習する方が効率的だ。
このＡＩシステムは各種眼疾患を示す視覚的な特徴点（特徴量）を自ら学び取る。
そして次回からあらたな患者の網膜画像を入力された際、それら視覚的特徴量を判断材
料にして、各種の眼疾患を自動診断できるようになる。
・約１万２０００枚の網膜画像からなる「テスト・セット」をディープラーニング・シス
テムに入力したところ、全体の９０パーセント以上で経験豊富な眼科医と同等、あるい
は彼らを凌ぐ高い精度で、眼疾患を診断することに成功したという。
・実際、三人の眼科医が約１２万８０００枚もの網膜画像を逐一チェックして、その診断
結果を各々の画像にラベル付けしていくのは、大変な労力と長い時間を必要とする作業
だ。
そのうえ、最後には約１万２０００枚ものテスト画像でシステムの性能を評価しなけれ
ばならない。一体、これらのどこが自動化だというのだ。
・確かに、そうして見方にも一理がある。
が、多大な労力に十分見合う成果もあるのだ。
それは一旦、こうした入力作業によって教育されたディープラーニング（ＡＩ）が完成
すると、以降はこのシステムを桁違いに多数の患者に利用できる。ということだ。
・以上のような画像の解析（認識）は「パター認識」の一種であり、ディープラーニング
のもっとも得意とするところだ。
このため眼底診断に限らず、癌をはじめ、より一般的な病気を診断するための「ＣＴス
キャン」や「ＭＲＩ」の自動解析にも応用されつつある。
・これら様々な取り組みには、医療関係者から大きな期待が寄せられる一方で、幾つかの
懸念も囁かれる。
一つは、患者のプライバシーを侵害する恐れだ。
・これまで様々な分野で社会的摩擦を引き起こしてきたグーグルだけに、「プライバシー
中のプライバシー」とも言える医療／ヘルスケア・データを彼らに与えることへの抵抗
感は拭いきれないようだ。
また
同社による医療データの独占を憂慮する声も聞かれる。
・実際、グーグルの過去を振り返ると、これらの批判を浴びるのも仕方がない。
例えば創業以来の主力事業「インターネット検索」については、２００２年に米国内の
競合他社が「グーグルは独占的地位を悪用して、我々を検索市場から追い出そうとして
いる」として司法当局に告訴。このような動きは、やがて欧洲にも広がった。
また、２００５年には、世界各国の図書館にある全書籍を丸ごとスキャンして、ウエブ
から検索可能にする「グーグル・ブックス」プロジェクトが、著者や出版社などの権利を侵
害しているとして告訴された。
他の分野も見渡せば、こうしたケースは枚挙に暇がない。
・そして今回、グーグルは傘下のディープマインドを介して「医療データ」の大規模な収
集を始めた。
このデータは「人命や健康にかかわる」という点で、これまで同社が扱っていた、どの
情報よりも扱いが難しい。
また医療や製薬とも関係してくるだけに、非常に大きな商業的価値を秘めている。
しかもグーグルによる医療データの収集能力は群を抜いている。日本の産学連携プロジ
ェクトなどとはケタ違いに大量のデータを瞬く間に集めてしまう。
これらの点から見ても、医療関係者がグーグルの医療分野への進出に神経を尖らせるの
も、やむを得ないだろう。
・しかし、それらの懸念も、ディープラーニングの奥深くに潜むミステリアスな脅威に比
べれば霞んで見える。
それはニューラルネットの「ブラックボックス化」と呼ばれる現象だ。
・現在の人工知能、最先端のＡＩ「ディープラーニング」は、ときに暴走する。
がその理由は、それを開発したエンジニアさえ理解できないのである。
開発したエンジニアらが「なぜ、暴走したのかわからない」と言うのは、「ブラックボ
ックス化」のせいだ。
つまり暴走を引き起こした情報の伝達ルートを解明できないからだ。
皮肉なことに今後、ニューラルネットが高度化すればするほど、ブラックボックス化の
問題はむしろ深刻化していく。
・ディープラーニングは、既にＭＲＩやＣＴスキャンなど断層画像の自動診断や各種病気
の予知・予防など、様々な医療分野への応用（臨床研究）が開始されている。
ディープラーニングはこれまでに画像・」音声認識の分野で、既に人間の能力を追い越
したと見られている。
例えば、画像認識の場合、人間のエラー率（誤認識率）が５パーセント前後であるのに
対し、グーグルやマイクロソフトなど世界的なＩＴ企業が開発した最高水準のディープ
ラーニング・システムでは３パーセント前後まで低下している。
・このような優れた画像認識能力を断層画像の解析に応用すれば、放射線科医より早く正
確な診断を下すことができると期待されているのだ。
しかし、そこには危険な落とし穴が潜んでいる。
少なくとも現段階のディープラーニングには暴走、つまり誤動作の恐れが残されている。
したがって、医師に代わってディープラーニングに診断を丸投げすることには、かなり
の危険性が伴う。
・つまり病気の診断や予測などにディープラーニングを導入したとしても、それに依存す
るのではなく、むしろそ・の解析結果を参考に、最終的には医師が診断を下す。
つまり先端ＡＩと医師が共同で仕事に当たることが、作業時間の短縮と、より正確な診
断に結びつくと見らえている。
・今、ニューラルネット研究者らの関心は次のフェーズに移りつつある。
たとえばフェイスブックＡＩ研究所の「ヤン・ルカン」所長らは、ディープラーニング
を自然言語処理に応用しようとしている。
自然言語処理とは、単に耳で聞いた音声を文字として認識するだけでなく、これを言葉
（言語）として捉えて意味を理解し、それによってコンピュータやロボットが人間と自
由に会話でいるようにする技術である。
・こうした技術はこれまでも存在したが、それは１９５０年代から営々と続けられてきた
「ルール・ベースＡＩ］に立脚している。
例えば文法や語彙をルール化してコンピュータに移植し、これらを記号的に処理するこ
とにより、人間の言語能力を疑似的に再現したものである（ＩＢＭ「ワトソン」やソフ
トバンク「ペッパー」などもその系譜の属する）。
・このやり方は長年にわたって改良を重ねたことにより、使用環境を限定すると何とか使
いものになるが、人間のように柔軟で汎用的な言語能力はないし、将来性も限られてい
る。
・そこでルカン博士らは、脳の仕組みを模倣しニューラルネットを自然言語処理に応用す
ることで、人間と自然に会話できるコンピュータやロボットを実現しようとしている。
・２０１６年１１月に「グーグル翻訳」のリニューアルを実施した。
これはコンピュータが人間に代わって、例えば「英語ー日本語」など異なる言語間の翻
訳を自動的に行う機能だ。
こうした機能は一般的に「機械翻訳」と呼ばれ、「自然言語処理」の一種である。
・それ以前の「グーグル翻訳」は、例えば英・独・仏・西など、互いに親和性の高い欧洲
言語族の間では、かなり質の高い機械翻訳サービスを提供していたが、逆に「日本語」
と「英語」など構造のまったく異なる言語間では、ほとんど使いものにならなかった。
・２０１６年１１月のリニューアルでは、ここにディープラーニングを導入することによ
り、日本語と英語の間でも「グーグル翻訳」の性能が大幅に向上したと評判になった。
・私もいくつかの例文を使って「グーグル翻訳」の実力を試してみた。
確かに以前よりは改良されているが、かなり凝った文章表現が多い英語長文の保本語訳
には、いまだに難があると言わざるを得ない。
・その理由は「グーグル翻訳」がリニューアル後もパターン認識に頼っているからだ。
このやり方では、あらかじめ英語と日本語の対訳文書を大量にシステムに読み込ませ、
機械学習させることによって、両言語の間をつなぐ統計的なパターンが浮かび上がって
くる。
・つまり「グーグル翻訳」はリニューアルによって性能が向上したとは言っても、所詮は
パターン認識に頼っている点では以前と同じである。
このやり方では「日本語ー英語」など、構造が根本的に異なる言語間の翻訳では、限界
がある。
逆に、ここでブレークスルーを成し遂げるには、ディープラーニングという人工知能が
単なるマター認識を脱して、われわれ人間のように言語の意味を理解しる必要があるが、
現時点では、まだそのレベルには達していないのである。
・その大きな理由の一つに、脳科学の成果が応用できないことがある。
ニューラルネットが画像・音声認識などの分野で急成長した一因に、「ニューラル・リ
ワイヤリング」のような、動物を使った、かなり荒っぽい生体実験の成果がある。
このように「モノを見たり、聞いたりする脳の仕組み」は、犬や猫のような動物でも人
間でも同じだ。しかし言語を理解し、操れるのは人間だけ。
したがって人間の言語能力を解明し、それをニューラルネットに応用するには、動物を
相手に行ったような生体実験を人気でも行う必要があるが、常識・倫理的に考えて、そ
んなことは許されるはずがない。
自律的兵器の照準
・「自ら標的を定めて突っこんでいくミサイル」、あるいは「上空から地上のテロリスト
を監視する自律的ドローン」、さらには「敵の潜水艦をどこまでも追跡する無人軍用艦」
等々、いずれもペンタゴン傘下の「ＤＡＲＰＦ（国防高等研究計画局）」が今、総力を
挙げて開発中の次世代兵器だ。
・これら奇想天外な兵器は単なる「机上の空論」や「コンセプト・デザイン」などではな
く、既に設計や試作を経てテスト（実験）段階に入っている。それもだいぶ前からだ。
・ＬＲＡＳＭは従来の対艦ミサイルとは異なり、ＧＰＳから遮断された状況でも、自力で
敵のレーダー網を回避し、遠方の海洋まで到達。そこに浮かんでいる敵の艦船を攻撃す
る。
・また「パイロットの要らない無人戦闘機」も開発されている。
例えば大手軍需メーカー、米ノースロップ・グラマンが開発した次世代ステルス戦闘機
［Ｘ－４７Ｂ］は、空母から自律的に飛び立ち、自らに搭載された各種センサーと人工
知能によって標的を定め、これをミサイル攻撃にする能力を備えている。
・２０１６年夏、ＤＡＲＰＡは自律的ドローンの使用テストを実施した。
ドローンが離陸するには兵士が発信指示を出さなければならないが、一旦飛び立ってし
まえば、あらかじめ指定された監視対象を見つける作業は、無人機自体の判断で行うこ
とができる。
ドローンは自らに搭載されたビデオカメラで地上の様子を撮影し、そのライブ映像を地
上にいる兵士に送信する。
・ドローンには人物やその顔面を認識する特殊菜ソフトウェアが搭載されている。
あらかじめテロリストなど危険人物を登録したデータベースと、この人物・顔認識ソフ
トの解析結果を照合することにより、ドローンは上空から撮影したビデオに危険人物が
写っているかどうかを判定する。
・１９７０-８０年代にかけて、米国は、二度目の軍事刷新を断行した。
それはミサイルなど各種兵器の小型・高精度化による兵力の効率化である。
例えばレーザーやＧＰＳなどで敵の位置を正確に把握して攻撃する「精密誘導兵器」な
どが、それに該当する。
これらは別名「スマート兵器」とも呼ばれ、冷戦期の最後の１０年に当たる１９８０年
代に大きな役割を果たした。
・が、これによる米国の優位性も今世紀に入ると崩れてしまった。
つまりロシアや中国などほかの軍事大国も今や、こうしたスマート兵器を大量に保有し、
米国に引けを取らないレベルまでに達している。
・そこで米国はまたも、抜本的な軍事改革へと乗り出した。
今回、彼らは各種兵器に人工知能を搭載することにより、私達人間の認識・操作能力で
は太刀打ちできないほど、高い精度とスピードを兼ね備えた自律的兵器を開発しようと
している。
・そうした中で今、最も懸念されているのは「兵器の自律性が今後、どこまで進化するの
か」という問題だ。
・兵器自体が戦場における周囲の情報から機械学習して、臨機応変に対応するようになれ
ば、それはペンタゴンが主張する、
「兵器の使用について実質的な判断を下し、その責任を負うのは、兵士や指揮官のよう
な人間である」
という基準とは相容れないことになる。
・また、こうした自律的兵器（ロボット）は、荒々しい戦場に適応する過程で技術者（人
間）が予想だにしなかった能力や行動様式を育んで、最終的に「人間には制御不能の兵
器」へと進化してしまう恐れがある。極端な話、ＳＦ映画「ターミネーター」に登場す
るような殺人ロボットである。
・これは実は米国だけの話ではない。
すでに英国、フランス、イスラエル、ノルウェー、韓国、中国など、主要国の多くが
ＡＩを搭載した自律的兵器の開発や配備を進めている。
・例えば英国の国防省が開発中の「タラニス」は、米国の「Ｘ－４７Ｂ」と同様の無人ス
テルス戦闘機だ。
自律飛行中のタラニスは自力で標的を定め、これをミサイル攻撃する。
・米・英に負けじとフランス政府もまた、無人ステルス戦闘機「ニューロン」の開発を進
めている。
・ただし英タラニスも仏ニューロンも、米国Ｘ－４７Ｂ同様、あくまで国やメーカーが技
術力を蓄えるためのプロトタイプ（試験機）という位置づけ。
つまり実戦用に良さん・配備される計画は、少なくとも現時点では存在しない。
・これに対し、既に実用化されている自律的兵器としては英国空軍の「ブリムストーン・
ミサイル」がよく知られている。
これは英国の軍需メーカー「ＭＢＤＡ」が開発・製造したもので、空軍パイロットの間
では「撃ったら、忘れろ」という合言葉で使われている。
このミサイルが発射されると、あとは自力でバス、自動車などを識別し、そこから標的
を見つけ出して仕留めることができる。
同様の兵器はノルウェーでも開発され、既に同国空軍に配備する計画が進んでいる。
・一方、イスラエルでは対レーダー・ミサイルの「ハーピー」が既に実用化されている。
このミサイルは敵地の上空を徘徊しながら辛抱強く待ち続け、敵防空システムのレーダ
ーがオンになった瞬間に、これを検知してレーダーに突っこんでいく。
ハーピーは母国イスラエルだけでなく、韓国、トルコ、インド、中国などへも輸出され
ている。
・また韓国では哨兵（見張り）ロボット「ＳＧＲ－１」が、北朝鮮との間にある非武装地
帯で既に使われている。
このロボットは機関銃とグレード・ランチャー（擲弾発射筒）を装備。
国境を越えて侵入を図る北朝鮮兵士の体温や動きを赤外線センサーなどで感知し、自律
的に敵を攻撃する能力を備えていると言われる。
・世界に拡散し始めた自律的兵器への警戒感は当然ながら高まっている。
この種の兵器は国際介護などの場では、皮肉にも「ＬＡＷＳ：致死的自律兵器システム」
と呼ばれている。
・国連の検討会議では、これまで何度かＬＡＷＳを規制するための議論が行われてきたが、
何らかの実効性を持つ合意には至っていたい。
・一方、米国や英国など、この種の兵器開発に積極的な国々でも、政府関係者の間で
「ＬＡＷＳを禁止する国際条約を制定すべき」とする意見は聞かれるが、「そんなこと
をいっている間に、敵に後れをとったら、どうするか」という反論に結局は押し切られ、
自律的兵器の開発が否応なしに進んでいる。
・以上のような国際情勢を受け、２０１５年には著名な宇宙物理学者「スティーヴィン・
ホーキング」博士や、米国有数のＡＩ研究者「スチュアート・ラッセル」博士ら約千名
の科学者が公開書簡に署名した。
その中で彼らは「一旦、自律的兵器の開発が始まれば、世界的な軍拡競争へとつながる
ことは不可避だ。自律的兵器は明日のカラシニコフ銃（ありふれた武器）になるだろう」
と警鐘を鳴らした。
・特に彼らが警戒しているのが、こうした自律的兵器が国家の枠組みを超え、より危険は
勢力へと広がることだ。同じ書簡の中で彼らは
「国際的なブラックマーケットに出回り、テロリストの手に渡ったり、独裁者が権力の
基盤固めに使ったり、部族のリーダーが他民族を抑圧するために使うのは時間の問題だ
ろう」予想している。
・かつて米クリントン政権下で国防長官を務めたウィリアム・ペリー氏は、米ニューヨー
ク・タイムズ紙に寄稿した記事の中で、次のような体験談を紹介している。
それは同氏が国防総省の研究開発担当・副長官を務めていた１９７０年代のことだ。
ある日の深夜、ペリー氏は米軍大将からの緊急電話で叩き起こされた。
国防総省のコンピュータ・システムが、ソビエト連邦から発射された２００発の大陸間
弾道ミサイルを自動検知して警報を発したという。
これを聞いた瞬間、ペリー氏は「世界の終わり」を覚悟した。
しかし受話器から聞こえる対象の声は、「いえ、これはフォルス・アラーム（誤認警報）
であることが、すぐに判明しました。私が電話したのは、このコンピュータ・システム
のどこがおかしいかを貴方はおわかりになるかどうか、それを聞きたかったのです」と
告げた。ペリー氏は胸を撫で下ろしたという。
・このエピソードは私たち人類がその存亡にかかわる究極の判断を、コンピュータに委ね
ることの危険性を如実に物語っている。
現在、急激に発達するＡＩが引き起こすスーパー自動化のうねりは、この恐怖を次のス
テップへと押し上げるものだ。
人工知能の研究開発に携わる科学・技術者のみならず、私達のような一般市民も相応の
思慮深さと責任感を持って新しい時代に向き合わなければならないだろう。
スーパー・オートメーションの罠
・私達人類の歴史は今、類まれな分岐点に差しかかっている。
ブラックボックス化された人工知能が、「交通」や「医療」、さらには「ぐんじ」など、
社会・国家の中枢に組み込まれようとしているからだ。
・もちろん普段の生活やビジネスの範囲内であれば、ＡＩによる自動化は歓迎すべきこと
かもしれない。
しかし「人の生死」や「国の安全保障」などを左右する最重要事項について、ＡＩにそ
の判断や意思決定を委ねることは、人類にとってはたして正しい選択であろうか。
・ＡＩには、人間のような心を持たない。
人の生死や運命を左右する重大な事柄において、その帰趨を決定するのは、往々にして
当事者を取り巻く人々の心だ。
・たとえば患者を診断する意思を想像してみよう。
優れた医師は、あらゆる角度から症状に関する質問を患者に投げかけて、病気の本当の
原因を探り当てようとする。
もちろん患者の血液検査も行い、レントゲン写真を撮影し、今後はディープラーニング
で患部の断層画像の解析も行うようになるだろう。
しかし、それらは医師が病気の原因を突き止めるためのツールに過ぎない。
ＡＩのようなツールは病気の原因を探そうとはしないし、患者を治そうともしない。
すべての手を尽くし、なんとしても患者を救おうとする「心」を持った医師が、ツール
を使って患者を治すのだ。
・逆に、いつの日か私達がそうした本来の心を失い、ＡＩによるスーパー・オートメーシ
ョンに全ての判断を委ねたとき、人は人であることをやめ、人の姿をしたロボットにな
る。
ＡＩがもたらす真の脅威とは、それが人間を殺すことではなく、むしろ人間性を殺すこ
となのかもしれない。私達はこれを警戒する必要があるのだ。