AIの「もっともらしい嘘(ハルシネーション)」が招く業務上のリスクと、ファクトチェックの徹底
AIは構造上、事実とは異なる架空の情報を自信満々に出力する「ハルシネーション」を起こします。米国の弁護士が架空の判例を提出して処分された実例を交え、AIの出力を鵜呑みにする法的リスク(善管注意義務違反等)と、必ず「一次情報」で事実確認を行うプロフェッショナルとしての義務を解説します。
1. 息を吐くように嘘をつく「ハルシネーション」の恐怖
「AIに要約を頼んだら、書かれていない架空の結論が混ざっていた」 「業界の動向を聞いたら、実在しない企業名やデタラメな統計データが返ってきた」
生成AIを日常的に触っていると、こうした現象に必ず遭遇します。これまでの学習で学んだ通り、生成AIは「事実を検索して提示するデータベース」ではなく、「次に来る確率が高い単語を予測して繋ぎ合わせる文章作成ツール」です。そのため、自分の知らない事柄について質問されると、「分かりません」と答える代わりに、手持ちの語彙を組み合わせて**「文法的に正しく、論理的で、極めてもっともらしい嘘」**を生成してしまいます。この現象を「ハルシネーション(Hallucination=幻覚)」と呼びます。
ハルシネーションの最も恐ろしい点は、AIが**「いかにも本当らしく、自信満々に嘘をつく」**ことです。人間のように「〜だと思います」「〜かもしれません」といった自信のなさを見せることなく、断定的なトーンで架空の事実を語るため、AIの仕組みを正しく理解していない人は、その情報を完全に信じ込んでしまいます。
2. 【実例】架空の判例を提出した米国の弁護士
AIの出力を無批判に受け入れた結果、キャリアと組織の信用を失墜させてしまった有名な実例があります。
2023年、アメリカのニューヨーク州で、ある航空会社を相手取った人身傷害訴訟において信じがたい事件が起きました。原告側の弁護士が裁判所に提出した準備書面(自らの主張を裏付けるための過去の判例をまとめた法的文書)の中に、「存在しない架空の判例」が少なくとも6件も含まれていたのです。
相手方の弁護士と裁判官がその判例を調べても、データベースのどこにも見当たりません。問い詰められた原告側弁護士は、驚くべき事実を告白しました。 「文書の作成にChatGPTを使用しました。出力された判例が本物かどうか、ChatGPT自身に『これは本物か?』と尋ねたところ『本物です』と返ってきたため、それを信じて提出してしまいました。まさかAIが嘘をつくとは思っていませんでした」
この弁護士と所属事務所は、裁判所から厳しく叱責され、罰金を科されました。さらに、この失態は世界中のメディアで報じられ、弁護士としての社会的信用を完全に失う結果となりました。 「AIが嘘をつくとは思わなかった」という言い訳は、プロのビジネスパーソンとして絶対に通用しないことを、この事件は如実に物語っています。
3. 業務における「鵜呑み」が招く重大な法的リスク
前述の弁護士の事件は対岸の火事ではありません。私たちの日常業務においても、AIのハルシネーションによるリスクは至る所に潜んでいます。
例えば、顧客へ提出する重要な提案書を作る際、市場調査のデータをAIに出力させ、それを裏付けを取らずにそのまま記載したとします。もしそれがハルシネーションによる「架空のデータ」であり、顧客がその提案を信じて多額の投資を行った結果、大損害を被った場合どうなるでしょうか。
顧客からすれば、AIが作ったかどうかは関係ありません。「御社が虚偽のデータを用いて不当な勧誘を行った」として、あなたの会社に対して損害賠償を請求してきます。 また、従業員個人の責任としても、業務において求められる一般的な注意を怠ったとして**「善管注意義務(善良な管理者の注意義務)違反」**に問われる可能性があります。会社から懲戒処分を受けたり、場合によっては会社から損害の補填を求められたりする重大な過失となり得るのです。
「AIが言ったから」は免責事由にはなりません。AIの出力結果を業務に適用するという最終的な意思決定を下した時点で、その内容に関するすべての責任は「あなた」と「組織」が負うことになります。
4. プロの防衛策:「一次情報」にあたる習慣の徹底
では、ハルシネーションのリスクを回避しながらAIを業務で活用するにはどうすればよいのでしょうか。答えは一つしかありません。AIの出力結果に対して、人間が必ず「ファクトチェック(事実確認)」を行うことです。
そしてファクトチェックにおいて最も重要なのが、「一次情報(オリジナルソース)」に直接あたる習慣です。
一次情報とは、誰かの解釈や要約が加わっていない「大元の情報源」のことです。
- 法律や制度に関する情報: 各省庁の公式サイト、e-Gov法令検索などで条文を直接確認する。
- 企業の業績や方針に関する情報: その企業が発表しているIR資料、有価証券報告書、公式プレスリリースを確認する。
- 統計データ: 政府統計の総合窓口(e-Stat)や、調査を実施した機関の公式レポートを確認する。
AIに「〇〇の市場規模は?」と聞いて「2025年には約〇〇兆円になります」と返ってきたら、そのまま使うのではなく、「そのデータの出典はどこか?」と自分自身で検索エンジンを使い直し、大元の調査会社のレポートを探し出して自分の目で数字を確認する。この「ひと手間」を絶対に惜しんではいけません。
5. 結びに:AIは「下書き」、人間が「編集長」
AIは、アイデアの壁打ち相手や、大量の文章を要約する「作業アシスタント」としては超一流です。しかし、「事実を調べる検索エンジン」としては、まだ致命的な欠陥(ハルシネーション)を抱えています。
業務においてAIが出力した文章は、いかに完璧に見えても、あくまで「事実確認が必要な下書き(ドラフト)」に過ぎません。 その下書きの裏付けを取り、誤りを修正し、「自社の公式な見解として世に出して問題ないか」を判断する。それは「編集長」である私たち人間の役割であり、責任です。
AIの出力を前にしたときは、常に「この情報は本当か? 根拠はどこにあるのか?」という健全な批判的思考(クリティカル・シンキング)を働かせてください。その「疑う力」こそが、AI時代に組織を守り、あなたのビジネスパーソンとしての価値を高める最強の盾となります。
この記事の監修者
石崎 一之進
中小企業診断士
年間50回以上のセミナー・研修に登壇する「Web・ITが得意な中小企業診断士」。単なるツール導入ではなく、経営視点から現場の「業務効率化」と「売れる仕組み」づくりを両輪で伴走支援し、企業の自走を促すDX人材育成に力を入れています。
参考文献
- The New York Times: "Here’s What Happens When Your Lawyer Uses ChatGPT" (2023年5月27日) https://www.nytimes.com/2023/05/27/nyregion/avianca-airline-lawsuit-chatgpt.html
- CNBC: "Lawyers fined for submitting fake ChatGPT cases to court" (2023年6月23日) https://www.cnbc.com/2023/06/22/judge-fines-lawyers-who-used-chatgpt.html