ハルシネーションとは？
生成AIが、事実とは異なる情報を正確な回答であるかのように出力する現象を「ハルシネーション」と呼びます。
AIは文章として自然に成立する言葉を確率的に選んで出力する仕組みであり、内容が正しいかどうかを自ら検証する機能を持っていません。そのため、存在しない人物・出来事・法令を、いかにも事実であるかのように回答することが起きます。
なぜ法律・法務分野は特にリスクが高いのか
法律の世界では、条文の一言、判例の有無が判断の結論を大きく左右します。
一般的なビジネス文書であれば誤りが後から発覚しても修正できる場合が多いですが、契約書や法的見解にAIの誤情報が紛れ込んだ場合、署名・提出後に問題が表面化するリスクがあります。加えて、AIの出力は自信ありげな文体で書かれる傾向があるため、専門知識のある担当者でも誤りを見逃しやすいという点も要注意です。
弁護士によるAI生成契約書の検証では、法的な正確性においてなお発展途上にあるとの評価が示されており、法務業務への無条件な適用には慎重な姿勢が求められます。
企業法務でハルシネーションが引き起こす具体的リスク
生成AIの法務活用が広がる一方、ハルシネーションによって企業が実害を受けるケースが増えています。ここでは具体的なリスクについて言及します。
契約書に架空の法令・条項が入り込むリスク
生成AIに契約書の作成を依頼した際、実在しない法律名や条文番号が堂々と記載されることがあります。
AIはもっともらしい文体で出力するため、一見すると正規の条文と区別がつきません。そのまま取引先へ提出すれば、契約内容の根拠が存在しないという重大な瑕疵が生じます。
法令の改正に対応できていないケースも多く、施行済みの旧法を引用した契約書が作られることも珍しくありません。最終的な確認を怠ると、後から契約の有効性そのものが問われる事態にもつながります。
法的判断を誤り、コンプライアンス違反になるリスク
法律の解釈や社内規程の判断にAIを活用する場合、ハルシネーションによる誤った情報をもとに意思決定が行われるリスクがあります。
たとえば、個人情報の取り扱い基準や労働関連の規制について誤った回答を参照し、実際には違法となる運用を社内で進めてしまうケースが考えられます。
AIの出力が確信に満ちた表現である分、担当者が疑問を持ちにくく、誤りが組織内で定着しやすい点が問題です。AIはあくまで補助的なツールであり、最終的な判断や修正は人が責任をもって行う必要があります。
取引先・顧客への誤情報提供による信頼失墜リスク
法務担当者がAIの回答をもとに取引先へ説明を行い、後から内容の誤りが判明した場合、企業としての信用に影響します。契約条件の解釈や法的な権利関係について誤った情報を伝えてしまえば、交渉の前提が崩れ、取引関係そのものが損なわれる可能性もあります。
ハルシネーション発生時の「責任の所在」はどこか
ハルシネーションによるトラブルが起きた場合、「AIが勝手にやったこと」では済みません。現行の法的な枠組みでは、AIを使った側の企業や担当者が責任を問われるケースが大半です。
AI開発会社が責任を負わないケースが多い理由
ChatGPTやGeminiといった生成AIの利用規約には、出力内容の正確性に関する免責条項が設けられています。つまり、AIが誤情報を出力しても、開発会社側の責任は原則として及びません。利用規約上の免責はあくまでOpenAIやGoogleの責任を免除するものであり、自社サービスとして提供する企業は責任を負う立場になります。
また、日本国内においてAIを直接対象とした包括的な責任規定の整備はなお途上にあるため、開発会社への責任追及は法的にも難しい状況です。
AIを使った企業・担当者個人が問われる可能性も
AIの誤情報によって第三者に損害が生じた場合、民法上の不法行為責任が利用企業に及ぶ可能性があります。担当者個人についても、ファクトチェックを怠ったまま法的書類を提出するといった行為が問題視されるケースがあり、業務上の注意義務として出力内容を確認する体制が求められます。
実際に起きた「ハルシネーション×法律」トラブル事例
ハルシネーションによる法的トラブルはすでに海外で現実のものとなっています。以下の事例は、AIを業務利用する際の判断材料として参考になります。
【米国】弁護士が架空判例を法廷提出して尋問を受けた事件
2023年、ニューヨーク州の連邦裁判所で、航空機内のトラブルに関する訴訟を担当していた弁護士2名が、ChatGPTを使って作成した準備書面を法廷に提出しました。（Mata v. Avianca, No. 22-cv-1461 (S.D.N.Y. 2023)）
ところが、書面に引用されていた判例が実在せず、AIが生成した架空のものだったことが被告側の指摘で発覚。裁判所は同弁護士らに、提出書類の正確性を確保する役割を怠ったと結論づけ、5000ドルの制裁金を課しました。 「AIがそういう出力をするとは知らなかった」という釈明は通らず、内容の確認を怠った事実が問われた事例です。
【米国】ChatGPTの誤情報でOpenAIが名誉毀損訴訟を起こされた事件
米ジョージア州のラジオ番組司会者マーク・ウォルターズ氏は、OpenAIを相手取った名誉毀損訴訟を起こしました。（Walters v. OpenAI, L.L.C., No. 23-A-04860-2 (Ga. Super. Ct. 2023)）発端は、別の訴訟を調べていたジャーナリストがChatGPTに情報を求めた際、ウォルターズ氏が横領で訴えられているという虚偽の情報が出力されたことです。
実際のウォルターズ氏はその訴訟に無関係なラジオ司会者でしたが、ChatGPTは彼を財団の財務責任者として資金横領に関与したと出力し、架空の訴状まで生成しました。2025年5月、ジョージア州裁判所はOpenAI側の略式判決申立を認め、OpenAIの勝訴で決着しましたが、この事件は、AIが実在の人物について事実と異なる情報を生成し、名誉毀損訴訟にまで発展した最初期の事例として広く知られています。
【カナダ】エア・カナダがAI回答の誤案内で敗訴した事件
カナダの大手航空会社エア・カナダのチャットボットが、実際には存在しない割引制度を乗客に案内し、それを信じた乗客が返金を求めたところ拒否されたため裁判になりました。（Moffatt v. Air Canada, 2024 BCCRT 149）
裁判所は「顧客がチャットボットの情報を信用するのは合理的だ」として企業側の主張を退け、AI開発会社ではなくAIを導入したエア・カナダに賠償責任があると判断しました。 AIの回答が誤りであっても、それを業務に使った企業が責任を負うという点を明確にした事例として、法務担当者の間でも注目されています。
企業が取るべきハルシネーション対策と安全な運用ルール
ハルシネーションを完全になくす方法は現時点では存在しません。ただし、適切な体制と運用ルールを整えることで、リスクを現実的なレベルまで抑えることは十分に可能です。
① AI出力を必ずファクトチェックする体制を作る
AIの出力内容を担当者が一次確認し、法務部門が再確認するダブルチェックの体制を整えることが基本です。
「誰が、どのような方法で事実確認を行うのか」というルールをあらかじめ定めておけば、チェック漏れを防ぐことができます。特に契約書や法的判断を含む文書については、AIの出力をたたき台として扱い、必ず一次情報と照らし合わせる運用が前提になります。個人の判断に委ねるのではなく、組織として確認プロセスを明文化しておくことが重要です。
② 法務業務でのAI利用範囲を明確に定める
AIを「何にでも使える便利ツール」として扱うと、ハルシネーションによるリスクが見えにくくなります。法務業務では、実在しない条文や誤った法律解釈であっても、AIがもっともらしく提示するケースがあり、その出力を前提に判断を進めること自体が危険になり得ます。
そのため、AIの利用をアイデア出しや文書のたたき台作成に限定し、対外文書や法的判断への直接使用は認めないといったルールを社内で定めておく必要があります。
③ RAG（検索拡張生成）など精度向上技術を活用する
RAGとは、AIが回答を生成する際に信頼できる外部データや社内情報を参照できるようにする技術です。通常の生成AIは学習済みのデータだけをもとに回答しますが、RAGを導入することで、最新の法令や社内規程を参照しながら回答を生成することができます。
RAGによって生成AIが信頼できる情報を検索し、それを根拠として回答させることで、ハルシネーションを抑えつつ社内知識が反映された回答を得られるようになります。 法務分野でのAI活用を進める際には、有効なアプローチです。
④ AIリテラシー研修で社員の判断力を高める
ハルシネーションによるトラブルの多くは、AIの出力を疑わずにそのまま使ったことが原因です。「AIが出力した内容であっても、最終的な責任は企業にある」という認識を全社で共有しておくことが重要です。
そのためには、AIの仕組みとリスクを正しく理解するための研修を定期的に実施し、社員がAIの出力に対して適切な距離感を持てる環境を整えることが対策の土台になります。
まとめ｜ハルシネーションと正しく向き合いAIを安全に活用する
ハルシネーションは、生成AIを法務業務に活用する上で避けて通れないリスクです。架空の判例を法廷に提出した事件やAIの誤案内が訴訟に発展した事例が示す通り、対策なしのAI利用は企業にとって深刻な問題につながります。AIを業務に導入した企業が責任を問われやすい構造にある以上、「AIが間違える前提で使う」という姿勢を組織全体で持つことが重要です。
ファクトチェック体制の整備、社内ルールの明文化、RAGのような技術的対策を組み合わせることで、リスクを現実的な水準まで抑えることは可能です。法務業務へのAI導入を検討するなら、汎用ツールではなく「LegalOn」のような法務業務に特化したツールを選ぶことも、リスク低減の現実的な選択肢の一つです。「LegalOn」は、弁護士監修の情報や自社の契約データを参照して回答を生成する仕組みがあり、ハルシネーションのリスクを抑えながら活用できる点が特長です。
詳しい機能は以下の資料からご確認ください。
＜関連記事＞
AIガバナンスとは？ 法務担当者に求められるリスク回避と運用のポイントを解説
生成AI利用で企業が負う著作権リスクと5つの実践対策｜文化庁見解も解説【2026年最新】
