よい判断のために減らしたい「NOISE」

行動経済学の始祖でノーベル賞学者ダニエル・カーネマンの「ファスト&スロー」の続編ともいうべき新作。

世の中のひとの判断にはノイズが非常に多いが、あまり気づかれていないとし、例えば、裁判官の量刑、保険会社の見積りや支払い、医者の判断、会社における採用や評価などが、とりあげられ容赦のない事実に打ちのめされそうになります。

一方でノイズの分類からはじまって、それではどうすればよいか、を様々な実例や研究とともに解説しています。しかしノイズを減らすために一番大きな障害となるものは、自分は正しい判断をしているというひとの思い込みと、それを補正するであろうAIなどへの心理的な抵抗になります。誰もがコンピューターや簡単なチェックリストの方が自分の判断よりも優れていると認めることが難しいからです。

しかし、本書による深刻なノイズの影響を考えれば、どうノイズを減らしていくかは正しく誰にとっても公平な判断をするために極めて重要であることが分かりますし、なんとかこの考え方を自分や会社に取り入れられないかをと考えることになります。私も本書を元に、採用や評価から、戦略や重要な意思決定などを改善できないか考えていきたいと思います。

※前著「ファスト&スロー」について個人的メモとしてもレビューが残っていないですが、ヒューリスティックやバイアスの話、システム1、2のような意思決定の違いはその後の様々な本にも引用されており、なんとなく覚えています。が、再読した方がよいかなと思ってます

以下、印象に残った部分を抜粋コメントします。

いまのところ機械学習モデルの予測精度は、同じ予測変数を使った線形モデルよりはるかに高い。その理由はなかなか意味深長だ。「機械学習アルゴリズムは、他のモデルが見落としてしまうような変数の組み合わせの中に重要なシグナルを見つける」からだという( 16)。アルゴリズムのパターン認識能力、それも他の方法ではあっさり見逃してしまうようなパターンを発見する能力がとくに際立つのは、ハイリスクの被告の場合である。つまり、データに隠れているある種のきわめて稀なパターンがハイリスクと強く相関しており、アルゴリズムはそれを発見できるわけだ。

AIをどう使うかが極めて重要になってくるという話

無知の否定は、ミールらを悩ませた謎、すなわちミールの指摘はなぜ無視されたのか、意思決定者はなぜ自分の直感に頼りたがるのかという謎への一つの答えだと言えるだろう。意思決定者が自分の直感の声を聞くとき、それは内なるシグナルを聞いているのであり、そのシグナルから満足感や達成感というご褒美をもらっている。「よい判断をした」、「これでよし」と囁く内なるシグナルは自信を与えてくれる。「どうしてかわからないがとにかく自分にはわかっている」という自信である。だが彼らが持ち合わせている情報や証拠を客観的に評価すれば、それほどの自信を正当化できるほどの予測精度に達することはまず不可能だ。  しかし、満足感や達成感というご褒美を諦めるのは容易ではない。直感的判断に頼りたくなるのは状況が非常に不確実なときだとエグゼクティブ自身が認めている( 8)。事実をいくら眺めてもまったく先が読めず、何かにすがりたいというとき、彼らは直感の声を聞いて自信を取り戻す。

私たちが世界を「理解する」やり方は、現実を絶えず因果論的に解釈することにほかならない。日々の暮らしの中で起きるさまざまなことを理解したと感じるのは、正常の谷の中でのべつ後知恵を連発していることの証である。この理解の感覚は、本質的に因果論的な性格のものだ。新しい出来事も、いったん起きてしまえばちがう結果になった可能性は消滅し、後知恵でひねり出した説明には不確実性の入り込む余地はほとんどない。後知恵に関する過去の研究によると、たとえ一時的に主観的な不確実性が存在しても、すっかり説明がつき解決されてしまえば、その記憶は消滅するという

なぜ直感に頼りたくなるのか。そして後知恵のパワーは非常に強いということ

すくなくとも原理的には、レベルノイズすなわち判断者間の全般的な傾向の差は単純で計測しやすく、比較的対処しやすい問題だと言える。桁外れに「厳しい」裁判官や「慎重すぎる」ケースマネジャーや「リスクに敏感すぎる」融資担当者がいたら、上司や組織がそれに気づき、判断を平均的な水準に近づけるよう何らかの手を打つことができる。たとえば大学の場合、評点の望ましい分布をあらかじめ定めておき、クラスごとにこれに近づけるよう教授に求めるといったことが考えられる。

レベルノイズに対応する方法はいろいろある

予測的判断でとりわけ有効なのは、複数の独立した判断を統合することだ。具体的には同じ問題について独立した複数の判断を得て集計し平均する。そう、あの「群衆の知恵」効果である。

例えば、「群衆の知恵」もそのひとつ

ここで重視すべき点は三つある。判断を下す人が専門的な訓練を受けていること、知的水準が高いこと、正しい認知方法を身につけていることだ。こうした人材が判断するなら、ノイズもバイアスも減る。言い換えれば、よい判断というものは、何を知っているか、知識をどう活用するか、どのように考えるかに大きく左右される。すぐれた判断者は、経験豊富で賢明であると同時に、さまざまな視点を積極的に取り入れ、新たな情報から学ぶ姿勢を備えている。

おそらく求めるべき人材は、自分の最初の考えに反するような情報も積極的に探し、そうした情報を冷静に分析し自分自身の見方と客観的に比較考量して、当初の判断を変えることを厭わない人、いやむしろ、すすんで変えようとする人である。

超予測者を超予測者たらしめているのは、備わっている能力や気質ではなく、予測に臨むやり方である。精力的な調査、注意深い思考、自分の当初の予測に対する批判的検証、他の情報や判断の収集と比較考量、絶え間ないアップデートが超予測者の特徴だ」。彼らは「試す、失敗する、分析する、修正する、また試す」という思考サイクルが大好きなのである( 19)。

よい判断者、超予測者の特徴はこの辺り

アプガースコアは、ガイドラインがいかに有効か、なぜノイズを減らせるのかを示す代表例と言える。ルールやアルゴリズムとは異なり、ガイドラインは判断の必要性を排除しない。したがって最終判断は純粋な計算結果として導き出せるわけではない。だから項目ごとにばらつきが出る可能性はあり、したがって最終判断が一致しない可能性もある。それでもガイドラインによってノイズを削減できるのは、複雑な判断をあらかじめこまかく定義された判断しやすい要素に分解してあるからだ。

ガイドラインも有効な方法のひとつ

グーグルの場合で言えば、媒介評価項目が四つ設定されている。認知能力、リーダーシップ、文化的な適性(つまり「グーグルらしさ」)、職務関連知識である(これらの項目のいくつかはさらに細分化されている)。候補者の容姿はもちろんのこと、話術や趣味やその他良きにつけ悪しきにつけ面接官が注意を奪われがちな他の要素は、構造化面接の評価項目にいっさい含まれていないことに注意されたい。

それでも、一つ確実なことがある。それは、構造化面接は従来の非構造化面接に比べ、将来の実績との相関性がずっと高いことだ。相関係数は〇・四四~〇・五七、PCで言えば六五~六九%である( 17)。つまり、よい人材を選べる確率が七割近い。これは、非構造化面接の五六~六一%と比べると顕著な改善と言ってよい。

面接や評価でできることのヒントもたくさんある