著者略歴

1987年　東京大学医学部医学科　卒業
1991年　東京大学大学院医学系研究科　修了（医学博士）
1993年　東京大学医学部　助手
1995年　電子技術総合研究所　主任研究官
2003年　順天堂大学医学部生理学講座　教授
2011年　大阪大学大学院生命機能研究科・大阪大学医学部生理学講座　教授
2013〜8年　新学術領域「こころの時間学」領域代表
2018年より　新学術領域「時間生成学」領域代表
2011年より雑誌『CLINICAL NEUROSCIENCE』編集委員
専門分野
神経生理学・認知神経科学
受賞
1999年　塚原仲晃記念賞（小脳における上肢随意運動の学習機構の解明）
2018年　中山賞大賞（「こころの時間」の心理学・生理学的研究）

はじめに

　私が医学生だった1980年代は，「第2次ニューロブーム」の時代だった．「バックプロパゲーション」が再発見されただけでなく，実験と理論を融合した「新しい研究のスタイル」が生まれた時代である．例えば，1987年のZipserとAndersenの論文は，3層の人工神経回路の中間層のニューロンの受容野と，サルの頭頂葉のニューロンの受容野特性を比較するという斬新な論文で，私は大いに感動した．しかし，ブームは長続きしなかった．バックプロパゲーションは極小にトラップされやすい．層を重ねると，学習がうまく進まないことも多く，規模の拡張は困難だった．第2次ニューロブームは，バブル景気とともに消えさった．
　ところが，2012年にブームが再燃した．第2次ブームが去った後も，変わることなく研究に取り組んでいたHintonらが，100万枚の写真の分類にバックプロパゲーションが使えることを示したのだ．実用にならないと見捨てられていたバックプロパゲーションが，なぜ，使えるようになったのだろうか．そして，2016年には，Hassabisらが作った人工知能（AlphaGo）が囲碁の世界チャンピオンを破るという快挙を成し遂げた．囲碁は機械が侵せない最後の聖域ではなかったのか．
　納得がいかないときは，原典を読む．なるほど，学習感度が低下する問題は，神経回路の出力が直線的に伸び続ける，という「ReL関数」に置き換えて解決したのか．おや，最初の入力層のニューロンの縞模様の受容野は，一次視覚野の受容野とそっくりではないか．これは面白い，などと思ううち，脳の視覚野の階層構造と深層学習した人工神経回路の階層構造を比較したYaminsらの論文に行き当たった．これは，ZipserとAndersenの論文の再来ではないか．爆発的に増大した計算力を支えとして，人工神経回路は本当の脳の機能的構築を再現するほどの規模に達したのだ．人工神経回路をうまく育てれば，ヒトの脳と同等のシステムを構築することができる．人特有の言語や高度に発達した認知機能の真髄は，動物モデルでは決して解明できない．人工神経回路を正しく育てて比較対照とする方法論は，ヒト高次機能の理解を飛躍的に深めるに違いない．新しい時代が始まったことを確信した私は，大阪大学医学部の生理学の講義の中に「人工知能と脳」という項目を追加することにした．本書は，講義ノートを元に24回にわたって臨床神経科学誌上に連載した原稿をまとめたものである．
　AlphaGoの衝撃を伝える第1章に続いて，2章から12章は，いわゆる深層学習（ディープラーニング）の説明に費した．2〜5章はAlexNet，6〜8章は脳との比較，9章は再帰型神経回路の雄「LSTM」の解説にあてた．そして，10章でようやく医療（画像診断）への応用を紹介した．11章では単語を「意味空間」に配置するword2vec法，12章では日常生活に浸透した音声認識の原理，を紹介した．続く，13，14章で扱った「GANs」は新しい絵や写真を作りだす切磋琢磨する二人組である．現ブームで登場した新星である．15章から20章は強化学習とAlphaGoの解説にあてた．20章で解説したAlphaGo Zeroの威容は緻密に設計された荘厳な聖堂を思わせる．最後の4章は，「意味とは何か」を巡る旅である．新井は人工知能が東大に入れないのは「意味とは何か」がわからないからだという．意味とは一体何なのだろうか．どうすれば意味を理解する人工知能が作れるのだろうか．旅の途中で，トノーニの意識の理論（22章）とフリストンの知覚の理論（23章）に寄り道をして，終点に至る．
　「医師・医学生のための人工知能入門」というおとなしい題名の本書は，人工知能の医学応用を主題とした本ではない．実は，「これから医師になる医学生の好奇心に火をつけて，あわよくば脳研究の道に引き込む」ことを意図した危険な本なのだ．
　遅筆で締め切りを守らない（守れない）著者を見限らずに，励ましてくださった編集部の佐渡さん，大重さん，笹形さん，pythonを軽快に使いこなしてZipserとAndersenの解析を再現してくれた秋山君と李君，そして本書で精読させていただいた珠玉の論文を執筆された著者の方々に心からの感謝をささげる．
　　　2020年3月
北澤　茂

目　次

Chapter1　人工知能が東大に合格する日は来るか　
　囲碁の世界チャンピオンが人工知能に負けた日
　人工知能は東京大学に合格できない
　AlphaGoは意外にも人間的
　「守」は師に学ぶ深層学習
　「破」は実戦で学ぶ強化学習
　師の教え＋大局観＋先読みで「離」の境地へ
　人間的なAlphaGoが敗れた日
　本書の目標
　ブレイクスルーは「脳を作る」若者から

Chapter 2　「画像を分類する」人工知能（1）深層学習がブレイクスルーをもたらした
　人工知能でどんな機能を実現するのか
　2012年にブレイクしたのは「画像を分類する」人工知能
　人工知能はコピーできる
　AlexNetの「知識」には限界があった
　深層学習は何をどう学習するのか

Chapter 3　「画像を分類する」人工知能（2）分類の基本は線を引く
　分類の基本は「線で分ける」　
　ニューロン1個で線を1本引ける
　分割平面の法線ベクトルを調整して分類を学習する
　入り組んでいたら線の数を増やす
　取り囲まれていたら？
　多層人工神経回路には強さと弱さが共存する
　　　　　　
Chapter 4　「画像を分類する」人工知能（3）AlexNet成功の鍵　1　畳み込みでシナプスを減らす
　AlexNetは画像を1,000種類に分類する9層の神経回路である
　AlexNetの入力層はカラー対応で3層になっている
　どうして1辺が224画素なのか
　第2層は入力層のごく一部の領域を「受容野」としている
　さらに畳み込みでシナプス数を激減させた
　カーネル（受容野のパターン）は局所の特徴を取り出すフィルターである
　第2層は世界を96個の小さい波で分解する
　第2層のニューロンは整流線形ユニットである
　カーネルの深さ方向に出力の規格化も行う
　さらに間引く最大プーリングを行った結果が第3層へ
　第3，4，5，6層も畳み込みを採用　
　第7層以降は前の層と全結合
　出力層に1,000個のニューロンを準備した

Chapter 5　「画像を分類する」人工知能（4）AlexNet成功の鍵　2　シナプスの結合を正しい方向に変える
　学習の原則を決める損失関数
　AlexNetの損失関数はクロスエントロピー
　損失関数を微分すれば修正方向がわかる
　出力層のシナプスの学習規則を導いてみよう
　さらに前の層のシナプスの学習規則を導く
　AlexNetは勾配消失問題を2つの工夫で解消
　局所的な谷からはモメンタムで脱出
　データ増産とドロップアウトで過学習を解消

Chapter 6　深層学習で再現された視覚経路の階層構造　（1）
　網膜座標から外部座標への変換が腕の運動制御には必要
　頭頂葉の7a野にはゲインフィールドを持つニューロンがあった
　中間層にゲインフィールドを持つニューロンが出現した
　ゲインフィールドは座標変換の役に立つ
　25年後の発展へ

Chapter 7　深層学習で再現された視覚経路の階層構造　（2）
　Yaminsらは階層型人工神経回路を2段階で構成した
　脳は回転に強い
　第1段階では中間層3層以下の回路を大量に育てた
　第2段階で「力を合わせる」ことで飛躍的に性能が向上した
　各駅停車と急行・特急の組み合わせで能力が上がる
　8カテゴリー5,760枚の画像をHMOモデルとサルの両方に見せた
　下側頭皮質の応答はHMOモデルの最上位層の応答で近似できた
　V4野の応答はHMOモデルの第3層の応答で近似できた

Chapter 8　深層学習で再現された格子細胞
　海馬には場所細胞
　前海馬台には純粋な頭方向細胞
　嗅内野には格子細胞
　前庭器官からの信号は海馬に様々な経路で到達している
　頭の速度を入力，場所細胞と頭方向細胞を出力として深層学習を行った
　ドロップアウトを採用すると格子細胞が線形の中間層に出現した

Chapter 9　LSTMで時系列信号の情報処理が飛躍的に発展した
　LSTMは再帰型神経回路網の一種
　出力が入力に戻る経路をつけるとRNNになる
　RNNは入力時系列を出力時系列に変換する
　RNNの学習は一方向の多層神経回路に展開してから誤差逆伝播
　RNNの誤差逆伝播は実は10ステップぐらいしか伝わらない
　LSTMがRNNの短期記憶を長期化した
　3種類のゲートの機能
　3種類のゲートの制御も誤差逆伝播法で学習する
　LSTMは簡単に医療にも応用できる

Chapter 10　深層学習を画像診断に応用する
　画像データは何枚必要なのか
　手抜きしたいなら転移学習を使う
　皮膚疾患の悪性・良性の診断力は名医のレベル
　肺結核の診断については1,000枚の転移学習でAUC＝0.99を達成
　網膜疾患の診断力も15,000データで専門医超え
　脳外科CT画像の評価にも3次元畳み込み神経回路が応用された
　深層学習の医療への応用は日進月歩

Chapter 11　深層学習による音声・言語処理（1）Word2Vec：人工神経回路を使った単語のベクトル化
　単語の数
　単語の空間を考える
　Mikolovが3層の人工神経回路を使う優れた方法を提案した
　CBOWは前後の数語から中央の語を推定する
　CBOWは単語を袋に放り込む
　Skip—gramは中央の1単語から周りの単語を推定する
　Skip—gramの学習には様々な推定幅
　W入力が中間層の「状態」を決める
　Word2Vecの面白い性質

Chapter 12　深層学習による音声・言語処理（2）音声を「聞き取る」多層人工神経回路
　音声認識の目標は，音を入れて言葉を出すこと
　入力として使われるのはコクレアグラム
　例えば2秒の音声を提示して中央の単語を推定する
　成績はヒトを超えた
　間違い方はヒトに似ていた
　多層人工神経回路とヒトの聴覚言語情報処理系の階層構造は似ていた

Chapter 13　GANs（1）データを作り出す2人組
　GANsは「贋作者」と「鑑定人」の2人組　
　「贋作者」はAlexNetの逆回転　
　「鑑定人」は真作か贋作かを鑑定する
　鑑定人（D）は価値を最大化する
　贋作者（G）は価値を最小化する
　鑑定人と贋作者が互いに切磋琢磨する
　贋作者は鑑定人を盲信して努力する
　真作もどきが出力される

Chapter 14　GANs（2）急速な進展と脳科学への示唆
　GANsは「不気味の谷」を越えた
　Progressive GANsは4×4のモザイク画から徐々に修練する
　ステップアップにも段差をなくす工夫が
　CycleGANを使うと1,000枚のモネの真作でモネ
　風の絵が作れる
　DCGANsとCycleGANの違いは何か
　脳に鑑定人はいるのか

Chapter 15　強化学習（1）歴史的背景
　強化学習は快楽の最大化を目標とする
　報酬の最大化は報酬の予測誤差を使った学習で達成できる
　報酬の予測誤差の神経表現は20世紀末に発見された
　強化学習の図式はSkinnerに遡る　
　Thorndikeは100年以上前に刺激―反応―効果の法則を喝破していた
　強化学習理論の優れた点

Chapter 16　強化学習（2）TD学習：価値の時間差分で報酬予測誤差を表現する
　同じ出発点から何度も試行錯誤を繰り返す
　価値は報酬の和
　報酬の価値は時間とともに減る
　価値関数の時間差分（TD）が報酬予測を与える
　TD学習は報酬の予測誤差学習のこと
　TD学習でドーパミンニューロンの応答を再現しよう
　条件2（点灯―報酬）で何が起こるか
　条件3（点灯―報酬なし）で何が起きるか
　TD学習はドーパミンニューロンの応答をよく説明する

Chapter 17　強化学習（3）TD学習でスペースインベーダーを攻略する
　画面が環境の状態である
　ジョイスティック（3通り）とボタン押し（2通り）が行動の選択肢
　報酬は追加された得点
　ポリシーは状態sで行動aを選択する確率として表現できる
　深層学習がブレイクスルーをもたらした
　状態―行動価値を導入すると一石二鳥である
　Mnihらが採用したのはQ学習
　Deep Q—netの構造
　Deep Q—netの学習
　記憶をランダムに再生しながら学習
　2つのDQNを準備
　報酬予測誤差は−1と1の範囲に制限
　DQNはプロゲーマーの成績を超えた

Chapter 18　強化学習（4）AlphaGo　1　深層学習の応用　
　碁の必勝法はまだ発見されていない
　AlphaGoはまず有段者の手筋を覚えた（SLポリシーネットワーク）
　さらに強化学習で鍛え上げた（RLポリシーネットワーク）
　盤面の状態から勝つ確率（価値）を出力する価値ネットワークを作った
　価値ネットワークがあれば碁を打てる
　ポリシーと価値の合議でさらに強くなる

Chapter 19　強化学習（5）AlphaGo　2　ゲーム木を使った先読み
　価値ネットワークが完璧なら価値が1の手を選ぶだけ
　価値ネットワークが教えてくれる上位候補の先を比較する
　価値ネットワークが頼りないなら最後まで打ってみよう
　ロールアウトに何を使うか
　モンテカルロ木探索
　価値とポリシーの和が最大のエッジを選択する
　ボーナスは探索回数で割る
　探索の先端（葉ノード）に到達したらロールアウトして葉ノードの価値を計算する
　エッジの価値を更新する
　葉ノードの展開
　制限時間まで繰り返して通過回数が最大のエッジを選択する
　AlphaGoはどれくらい強くなったのか

Chapter 20　強化学習（6）AlphaGo Zero独力で「離」の境地に達した孤高の棋士
　AlphaGo Zeroは自己完結した人工知能である
　AlphaGo Zeroの本体はポリシーと価値を統合した残差ネットワーク
　手の選択にはモンテカルロ木探索
　手の選択は始めの30手は確率的に行う
　学習用のデータは自分で対局して作り出した
　1,000回の学習ごとに「タイトルマッチ」を行った
　3日間で490万対局，70万ミニバッチ学習を行った
　10時間でアマチュア初段，20時間でプロ初段
　　　　　　　　　　　
Chapter 21　意味とは何か（1）情報理論は意味を捨てた
　情報理論は意味を捨象した
　情報量はなぜ対数で計るのか　　
　確率の対数の期待値が不確実性の指標（エントロピー）になる　　
　エントロピーの最大値はlog2 N　
　エントロピーの最小値は0
　情報量はエントロピーの差で定義される

Chapter 22　意味とは何か（2）情報理論で意識のレベルと内容を定義する試み
　トノーニは情報理論を使って意識にアプローチした
　脳の「現在」の状態は過去や未来の状態についての情報を持つ
　脳を分割して情報量の減り方を量ることにした
　統合情報量を導入したことで意識の境界が明確になる
　複合体の内部には概念（concept）が含まれている
　概念の星座が意味を表現する
　意識は現在の状態だけでは決まらない

Chapter 23　意味とは何か（3）フリストンの自由エネルギー原理
　トノーニの理論はシステムを選ばない
　フリストンの「自由エネルギー原理：脳の統一理論？」
　熱力学の自由エネルギーではない
　世界は動的モデルに従ってxとsを生成する
　脳はsを受け取ってxを推定する
　変分ベイズ法の情報幾何学的なイメージ　
　自由エネルギーFはKL距離とだいたい同じ
　FとDは結局ノイズの2次形式
　脳に実装してみる
　制御信号vを加えて階層化
　自由エネルギー原理に従う回路の「概念」はどうなるのか

Chapter 24　意味とは何か（4）人工知能は東大に入れるか
　東ロボくんは意味を理解しないまま答案を作っていた
　単語応答地図は両側の大脳半球に広がっていた
　言葉は感覚器を通して脳に入りDMNまで到達して脳全体で意味を生じる
　言葉と世界の状態の対応表があれば意味がわかる
　AlexNetは世界xとして100万枚の画像，言葉yとして1,000個の名詞を準備した
　言葉yには語彙と文法を追加する必要がある
　世界xには他の感覚，身体の運動，対人関係，常識などを追加する必要がある
　東大受験生は出題者と「対応表」を共有している
対応表は社会から徐々に学んで獲得する
　ヒト型汎用人工知能を育てるプロジェクトをはじめよう

索引　

執筆者一覧

北澤　茂　大阪大学医学系研究科教授　著