June 2016

Volume 31 Number 6

編集長より - 認知バイアス

Michael Desmond | June 2016

先月 (msdn.com/magazine/mt703429) は、1979 年にスリーマイル島 (TMI) 原子力発電所で起きた冷却系喪失事故を制御する行動に、別の領域で得た知識 (この事故では、発電所のオペレーターが米国海軍の原子力艦隊で受けた訓練) が与えた影響について説明しました。機能不全に陥ったシステムからの情報と制御系からの情報が矛盾している場面に遭遇し、オペレーターは原子炉の炉心水位を示す値ではなく、冷却系の加圧器タンクの水位計が示す値に従いました。この判断により、炉心が一部融解し、米国史上最悪の原子炉事故を招く結果になりました。

TMI 原発事故から得られる教訓は、専門家が組織や、プロジェクト、役職を変わっていく中で認識に偏り (認知バイアス) が生まれることだけではありません。TMI や、2011 年に日本で起きた福島第一原子力発電所事故などの原子力事故では、実は、危機に直面したときに人間の本性の重要な側面が露呈しています。こうした側面は、納期、予算の制約、コードの欠陥、セキュリティの脅威、多くのストレスなどに向き合わなければならないソフトウェア開発者にとって戒めとなる教訓を表しています。

Arnie Gundersen は原子力業界の経験豊富な専門家で、Fairewinds Energy Education で主任エンジニアを務めています。同氏は、2016 年 4 月に日本で行ったプレゼンテーションで、TMI 原発と福島原発のオペレーターは、どちらも「原子炉に実際には水がないのに、水がたくさんある」と誤って表示した機器を信じたことを指摘しました。

「オペレーターは、真実を示しているのに、ひどい状態を示す値であることから、それを誤っていると判断し、間違っているのに、好ましい状態を示す値を信じたのです。これは、人間が緊急時にいつも取りがちな反応です。オペレーターは、好ましい結果を示す機器を信じたくなります」

こうした心理特性を、正常性バイアスといいます。人間には、災害が起こる可能性やその災害による影響を過小評価する性質があります。Wikipedia によると、「人間には警告をできる限り楽観的に解釈し、状況がそれほど深刻ではないと推測して曖昧なものに飛びつこうとする傾向がある」そうです。こうした認知行動はあらゆる場面で現れます。航空機のコックピット、金融機関、政府団体などで現れ、ソフトウェアの開発現場も例外ではありません。たとえば、金融機関は、2008 年に世界金融危機が起こる前、景気の低迷が差し迫っている明らかな兆しがあったにもかかわらず、リスクの高い行動を取り続けました。2010 年のメキシコ湾岸原油流出事故では、事故の数分から数時間前に、海底油井内の異常圧力と流量測定値が悲劇的な爆発の前兆を示していたのに、オペレーターはその値に従って行動できませんでした。爆発後も、British Petroleum は事故の影響の見積もりが甘く、メキシコ湾への原油流出量を 1 日あたり 1,000 ～ 5000 バレル程度と推測しました。この値は、後に米国政府の Flow Rate Technical Group (FRTG) によって 62,000 バレルに置き換えられています。

問題のある計器を無視する、損傷を軽視する、好ましい結果を示す情報を信じる、といった間違った反応は、状況をさらに悪化させかねません。しかし、こうした行動への欲求はとても強いものです。Gundersen はインタビューに答えて、要点を明確にするために、小説家アプトン シンクレアの次の有名な一節を引用しました。「自分が何をしているかを理解しないで給料をもらっている人に、真実を理解させることは難しい」

非現実的な出荷スケジュール、予算不足、野心的なソフトウェア要件などからプレッシャーを受ける開発者にとって、今難しい判断を下すのか、判断を先送りにしてもっと難しい場面に直面するかの分かれ目になるのは、はっきりとした判断を下す能力です。

Michael Desmond は MSDN マガジンの編集長です。