嗜好品を、最先端の科学はいかに分析し、創造することができるのか。
この連載では、認知科学、脳科学、心理学など一線で活躍するサイエンスの研究者が読み解く「嗜好を科学する」をお届けする。
今回は玉川大学脳科学研究所長、坂上雅道教授をたずねた。
前編では、私たちの脳は「価値をつくる」臓器であることが語られた。
後編では、その価値を用いて、どのように私たちが生き、豊かになるのか、その根本的な営みである「学習」の本質に迫り、嗜好体験を紐解いていく。
曰く、脳科学の研究は「世界平和のため」。
前編》ひとがハマるとき、脳はどうなっているのか。「嗜好する脳」の正体：脳科学者・坂上雅道
嗜好品：栄養分として直接必要ではないが、ひとの味覚。触覚、嗅覚、視覚などに快感を与える食料。飲料の総称。
茶、コーヒー、たばこ、酒、漬物、清涼飲料、氷などがこれで、有機酸、カフェイン、タンニン酸、コカイン、アルコール、苦味物質、揮発油成分を含むものが多い。広い意味では菓子類も含む。
ブリタニカ国際大百科事典
（取材・文：森旭彦 編集：笹川ねこ 写真：西田香織）
「なんとなく」を可能にする、脳のモデルフリー学習
ーー前編では、私たちの学習にドーパミン、報酬、そして報酬予測誤差情報が深く関わっているというお話を聞きました。そして嗜好体験にハマっている状態とは、私たちが「学習」をし続けている結果だということでした。では、そもそも私たちはどのように学習をして生きているのでしょうか？
私たちの脳内には、大きく分けて2つの学習モードがあります。「モデルフリー学習」と「モデルベース学習」です。
モデルフリー学習とは、自動的に「価値」を計算する学習です。
価値については前編でお話しましたが、ドーパミンニューロンは私たちの報酬予測誤差に応答しています。私たちの脳は、ドーパミンニューロンの働きによる報酬予測誤差情報をもとにした、価値の情報のグーグルマップのようなものを持っているのです。
このマップを用いることで、目の前で起きる事象と報酬の関係について、経験的関係を構築し、客観的・確率的な価値の計算を自動で行い、意思決定をしていくことができます。
こう話すと難しく聞こえますが、要するにモデルフリー学習で何ができるかと言うと、「なんとなく行動できる」ようになります。
ーー「なんとなく行動できる」とは、どういうことでしょうか？
なんとなくは、なんとなくです。つまり学校や会社、訪問先になんとなく到着できるというようなとき、私たちはモデルフリー学習をしています。意識というものがあまり表に出てこない学習と言えます。
脳は中心部に行くほど、本能的で動物的な機能を司っていますが、モデルフリー学習は大脳基底核の深い場所で行われており、動物とも比較的共通です。
野生動物などは、まさにモデルフリー学習にしたがって合理的に行動することで、その生存を確かなものにしています。
「なんとなく」と言うと大したことないように思えますが、実際はすごいことです。
もし、モデルフリー学習がなければ、私たちは学校や会社に到着するまでに、さまざまなことに毎回一喜一憂しなければなりませんし、野生動物はその生存を続けることはできないでしょう。
「目的思考」を可能にする、脳のモデルベース学習
ーーもう一方の「モデルベース学習」とはどんな学習なのでしょうか？
私たち人間には、非常に大きく発達した大脳皮質があります。脳の外側にある大脳皮質が行う学習が「モデルベース学習」です。
モデルフリー学習が、「なんとなく」学習をする方式であることに比べ、モデルベース学習は「目標指向的」です。先にゴールを決め、ゴールを達成するためにはどうすればいいかを逆算していく学習をします。
この学習は、直接経験していない価値を計算するための学習です。
たとえば、東京都内のあるレストランに行こうとするとき、私たちは電車の乗り継ぎや徒歩の時間などを考慮した一連のストーリーを構築し、それに沿って行動します。
この経験から導かれるストーリーのようなものを、「モデル」と呼びます。
私たちの脳は非常に多くのモデルを持っており、それらを組み合わせることで、たとえば「今日は雨が降っているので、最寄り駅までは電車で行き、駅からレストランまではタクシーにしよう」といった、環境に合わせた複合的な選択肢もつくることができます。
一つひとつのモデルは頭の中にある架空の情報です。よって、それらを切り貼りしたり、つなぎ合わせたり、非常に柔軟に加工することができます。
モデルベース学習のもっとも重要な機能のひとつに「抽象化」があります。
たとえば、「お腹を満たす」というゴールがあり、目の前にイチゴとバナナがあったときに、私たちはこれら両方を食べてしまいます。
これは、イチゴを食べた経験と、バナナを食べた経験を個別のものとして学習するのではなく、抽象化し「果物はみな食べられる」という学習をし、モデル化しているからです。
このように私たちの脳内には2つの学習モードが併存しており、あるときはモデルフリー学習、またあるときはモデルベース学習が優先になります。さらには、この2つの学習が協調することで、多様な状況に、柔軟に対応しているのです。
人間が「モラル」から解放され「野生」に返るとき
ーー2つの学習モードは、何かにハマる、没入するような嗜好体験とはどのように関わっていると言えるでしょうか？
さまざまな関わりがあると推測されますが、たとえばアルコールは、モデルフリー学習とモデルベース学習の協調に不全を起こすことが、嗜好体験になっていると言えるところがあります。
正確には分かっていませんが、アルコールはなぜか大脳皮質の前頭葉や海馬など、モデルベース学習に関連する脳の部位に作用し、その機能を麻痺させることがあります。そうして誘発されるのが、酔っぱらいの状態です。
モデルフリー学習は、私たちの野生的な欲求を満たすことを促します。しかし野生的であるばかりでは、社会生活がままなりません。そこでモデルベース学習は、私たちが社会の中で理性的な振る舞いをすることを実現します。
つまり、モデルベース学習は「そそう」をしないようにするための学習なのです。これは時に自分の意思を抑圧するストレスになります。
私たちが酒を喜んで飲むのは、モデルベース学習の規制がなくなる、つまり本来の欲求が発揮される状態を愉しんでいるからかもしれません。
しかし大脳皮質が麻痺し、モデルフリー学習の要求を抑えられなくなると当然、問題も起きます。
例えば、会社の飲み会の席を考えてみましょう。喉が乾いたら飲み物を飲みたくなります。しかるに、机の上にあるビールのジョッキに手を伸ばし、それを飲むことになります。そうして喉を潤しているうちに、前頭葉や海馬などにアルコールが効き、モデルベース学習に支障をきたすようになります。
このとき、ストーリーや文脈を把握する理性的な機能を持っている大脳皮質は、「取引先のお客さんがいる前では酔っぱらってはいけない」「他人のビールジョッキを飲んではいけない」と、私たちの行動にブレーキをかけます。
しかし、これらの酔っ払ってブレーキ機能が徐々に阻害されていくことで、正確で社会的な意思決定ができなくなります。
すると、間違えて取引先のお客さんのビールを飲んでしまうという事態が発生し、それを上司の目の前でやってしまい、後で大変なことに…ということが起こりえます。
「お酒は適量に」というのは誰もが分かっているけれど、そうしたモラルを管理しているのはモデルベース学習であり、アルコールはまずモデルベース学習を行う大脳皮質を麻痺させるわけです。
すると、モデルフリー学習が解き放たれる。かくして、いろいろな問題が起きますが、やはり楽しい。これが酒を飲むことの醍醐味とも言えますね。
「良いこと」を選択するときの単純なポイント
ーー前編で、価値というのは「どれだけ嬉しいか」を予測すること、というお話がありました。人間というのは非常にいろんな価値を見出す生き物です。新しい価値に対し、人間はどのように適応していくのでしょうか？
実は私たちの脳で、どのように感覚刺激と報酬を関係させているかは、まだ良く分かっていません。
連鎖的に学習している間に情報が高度に抽象化されたり、報酬の仕組みに併せて脳内で情報を整理したりしすることがあります。そうすることで、新しい価値を見出したりしますが、その理由はまだよく分かっていないのです。
ただ、脳科学で面白いのは、私たちが「高度な脳の複雑な働きだ」と思っているようなことほど、案外単純な脳の働きで処理されていたりすることです。
たとえば「向社会性」という言葉があります。私たちは疲れて電車に乗って座っていても、目の前におばあさんが来たら、良心として、譲ってしまいます。疲れているのに「なぜこんなことをするのだろう？」と思ってしまいますよね。
私たちは自分の利益を失ってでも、他人に利益を与えてしまう。外的な報酬を期待することなく、他者を助け援助しようとする行動をするときがあります。こうした性質のことを向社会性といいます。
このような社会的な行動は、人間だけのものです。
テレビ番組などで動物の助け合いが映し出されますが、ほとんどの場合が「たまたま」です。動物は自分の子どもにすら譲らないことが多いですし、ましてや自分の利益を失うような社会行動はしません。
では、人間の社会行動はどのような脳の仕組みで実現されているのか？
2000年頃まで、学者たちはストーリーをつくる大脳皮質が、報酬と行動を複雑に結びつけて社会行動を維持していると考えてきました。
しかし、これがどうやら違うらしいという仮説が提唱されているのです。私たちは社会行動を、じつはモデルフリー学習、つまり本能的・自動的にやっているのかもしれないのです。
ーー人間の社会的な行動は、実は本能的なものだと。
アメリカのハーバード大学のマーティン・ノヴァク博士という生物学者が、ある「経済ゲーム」（公共財ゲーム）を用いた実験をしました。
この（大人数で楽しむ）ゲームでは、「あなたに1000円あげますから公共に好きな額を寄付してください」と伝えます。金額はいくらでも構いません。いくら寄付しますか？
寄付してくれたら、それを集計し、将来的には倍にして、均等に分けてお返しします。あなた以外の人が多くの金額を寄付し、集団として集まる金額が大きいほど、あなたの将来的な取り分は増えます。しかし、もし集団として集まる金額が低ければ、あなたが多く寄付したとしても、あなたの将来的なとりぶんは低くなります。考えてみてください。
ーーそうですね…500円くらいでしょうか？
500円という人が一番多いですね。1000円全額渡すという人もいると思います。0円という人もいます。
これは、税制度に似ています。みんなで税金を払って、そのお金をつかって公共財をつくる。つまり、高額を支出する人ほど社会貢献をしたことになる。それをゲームにしたものです。
ノヴァク博士の報告によると、考えない人ほどたくさんお金を出すそうです。
ーー（笑）
この実験結果から何が分かるかと言うと、じっくり考えると、人は公共的で社会的なお金の支出はしないということです。
つまり、どうやら私たちは、社会的な行動をとるときはあまり考えていないようなのです。
幼稚園の頃から人に良いことをすると褒められている。人は幼少期からすぐに社会的に良いことができるような学習の仕方をしているのです。
どうも、私たちは考え始めてしまうと、社会的行動ができなくなる。実際の社会状況は、考えて行動するほど暇がないのかもしれません。
だから私たちは良いことや社会貢献をするとき、モデルフリー学習でやっている。つまりは深く考えずに自動的に社会貢献をしているということです。
すべてはないにせよ、私たちの社会行動は、非常に浅いレベルで学習していると考えられます。それが最近の私たちの仮説です。
昔は誰でも社会行動は複雑だと思っていました。ところがノヴァク博士の仮説がでてきてそれが覆ったのです。
脳の学習：新たな嗜好体験が生まれるとき
ーー最後に、未知なる嗜好体験を探求するとき、脳の「学習」からはどのようなことが言ええるでしょうか。つまり、未知の嗜好体験に挑戦し、ハマっていくとき、脳ではどのような学習が起きているのでしょう？
嗜好品について特化した研究があるというわけではありませんが、嗜好品を嗜んでいるときも、人は案外考えていないのかもしれません。
たとえば、コーヒーを飲むとき、多くの人はモデルフリー学習でなんとなく飲んでいます。つまり習慣化しているわけです。
新しい嗜好品に挑戦するとき、最初はモデルベース学習です。つまり、直接経験していない価値を計算する学習です。
しかし、慣れてくるとそれをモデルフリー学習にして自動化していく。
このモデルベース学習からモデルフリー学習へ移行すること、つまり嗜好体験を習慣化する仕掛け作りが、新しい嗜好品をつくっていく上では大切なのではないでしょうか。
前編》ひとがハマるとき、脳はどうなっているのか。「嗜好する脳」の正体：脳科学者・坂上雅道
連載》「嗜好を科学する」シリーズの記事はこちら