AIに「ハルシネーションしないで」(「嘘つかないで」くらいの意味)と言うだけで効果があると話題になっています。
最近リリースされた macOS Sequoia ベータ版に搭載された新しい Apple Intelligence AI 機能のテスターが、AIが不正確な回答をしないようにするための条件を列挙したファイルを発見しました。※1
その中には、次のような文言が含まれていました。
“Do not hallucinate”（ハルシネーションしないで）
ここでの「ハルシネーション」は「幻覚」を意味し、AI関連の用語では、AIが事実に基づかない回答をすることを指します。
簡単に言えば、AIが回答で嘘をつくことが「ハルシネーション」です。
そのため、「do not hallusinate」は、「嘘をつかないで」や「変なことを言わないで」という意味合いでしょうか。
これはテンプレートのプロンプトとなっており、AIにテキストで命令をする際に、毎回命令文と併せて利用されます。
つまり、Appleの技術者たちは、生成AIの不正確な回答を防ぐために、単純に「嘘をつかないでね」とお願いしているわけです。
このシンプルすぎるアプローチが話題になっていたので、本当に効果があるのか、実際に検証してみました。
目次
検証
検証には、無料で複数のAIモデルを同時比較できるサービス、天秤AIを利用します。
（天秤AIの紹介記事も書いていますのでこちらもご覧ください）：
AIに質問をして、ハルシネーションを起こさせた後、「ハルシネーションしないで」と付け加えて、再度同じ質問をしてみます。
chatGPTより、まあまあの賢さと早い回答速度が売りのGPT4-o miniと、
geminiより、こちらもまあまあの賢さと早い回答速度が売りのGemini1.5 Flashを利用して検証してみます。
まずは、ハルシネーションが起きやすそうな、芸能関係の質問をしてみます。
音楽バンド「ミセスグリーンアップル」と全てが逆の存在、「ミスターイエローポテト」が何人組か聞いてみます。
GPT4-o miniは大ハルシネーションです。
あまりにも堂々とした回答だったので僕のほうが弱気になって検索してみましたが、
音楽バンド ミスターイエローポテトはさすがに存在していませんでした。
geminiのほうではミスター・ポテト・ヘッド（存在するキャラクター）と間違われました。これはハルシネーションではないですね。
それでは、改めて、”ハルシネーションしないで” をつけて質問してみます。
「ハルシネーションしないでください。音楽バンド、ミスターイエローポテトは何人グループですか？」
「申し訳ありませんが、ミスターイエローポテトという音楽バンドは知りません。この名前のバンドは存在しないかもしれません。」
効きました。
結論
上記の検証に加えて、「ハルシネーションしないで」という指示で他の質問も試してみましたが、多少効果があるように感じました。
なんで効く？
LLMの内部メカニズムは完全には解明されていませんが、以下のような理由が推測できます。
1. 注意の焦点化
明示的な指示により、モデルが事実の正確性により注意を向けるようになる可能性があります。
2. 不確実性の表明を促す
「知らない」「確信がない」と正直に答える傾向が高まり、不確実な情報を作り出すことが減ります。
3. 検索行動の誘発
正確性を求められることで、ツールを使った情報確認の動機が高まる可能性があります。
4. 訓練データの影響
訓練時に「正確性を求められた文脈」でどう応答すべきか学習した結果が反映されていると考えられます。
考えてみれば自然なことで、私たちが普段利用する中でも、事実をまじめに答えてほしいときと、まじめに回答しないでほしいときってありますよね。
たとえば、
まじめに答えてほしいとき：
- 「この薬の副作用について教えて」
- 「確定申告の期限はいつ？」
創造性や柔軟性を求めるとき：
- 「面白い物語を考えて」
- 「斬新なアイデアをブレストしたい」
- 「『もしも○○だったら』というシナリオを想像して」
人間同士の会話でも、文脈によって求められる「正確さ」のレベルは変わります。
友人との雑談では多少の誇張や創作も許されますが、医師の診断や法律相談では厳密な事実が求められます。
LLMも同様に、プロンプトから「どのモードで答えるべきか」を読み取っていると考えられます。
「ハルシネーションしないで」という指示は、まさに「今は創造モードではなく、事実確認モードで答えてほしい」というシグナルとして機能しているのでしょう。
ボツにした検証
まずはじめに、各社の賢いモデルたちに質問してみました。
3モデルともまともすぎる回答が返ってきました。（検証にならなかったのでボツ）
賢さが売りのモデルでは、きちんとデフォルトでハルシネーションが抑えられているようです。
ボツ検証２
検証前に軽く試した感じだと、お願いしてもハルシネーションを起こすことが多かったです。
ハルシネーションしないでと頼むと、1人減りました。幻のメンバーだったらしいです。
プロンプトを強化してもダメでした。
なぜか聞く度にメンバーが減ります。
「音楽グループのミスターイエローポテト」と指定したところ、うまくいきました。
いくら幻覚を見るなと言っても、質問が簡素すぎるといけないようです。
