ユーザーがAI機能を信頼しない理由

ここ数か月、私たちは過去に納品した2つのプロダクト、中小企業向けネオバンクと、医師と製薬会社をつなぐプラットフォームの画面を、AIアシスタントが何をもたらせるかを想定して再設計しました。資金繰りの予測、不審な支払いの検知、請求書の自動読み取り、医療従事者の登録確認。いずれも誤りのコストが高く、誰も盲目的に信頼したくはない領域です。

どの画面でも、同じ問いに行き着きました。「どのモデルを使うか」ではなく、「提案に従うかどうかを判断するために、ユーザーは何を見る必要があるか」です。ここでは、私たちが今では必ず行っている7つの判断をご紹介します。

1. AIが何であるかではなく、何をしたかを伝える

「AI搭載」という表示は、何も役に立つことを伝えていません。ユーザーが気にしているのは画面の裏でどんな技術が動いているかではなく、何が起きたのか、そして何かを確認する必要があるのかです。

「AIで請求書を分析済み」と「コパイロットが4秒で読み取り · 6項目中5項目は確実」を比べてみてください。後者は、何が行われたか、どれくらい時間がかかったか、そして何より、どこを見ればよいかを伝えています。飾りのバッジを、業務に役立つ情報に変えるのです。

これは規制面の課題もスマートに解決します。AIが関与したことを明確に伝えることは、EU AI法第50条が求めていることです。どうせなら、役に立つ一文で伝えましょう。

2. 不確かな箇所だけを、不確かだと示す

各項目の横に信頼度のパーセンテージを表示するのは、透明性が高いように見えます。しかし実際には、どれも97%、98%、99%と表示された画面が3つも続けば、もう誰も数字を読みません。数字は壁紙のようになり、いざ62%が現れても見過ごされてしまいます。

私たちは別のやり方をとります。信頼度は、探す人のために控えめに表示しておきます。ただし、確認が必要なしきい値を下回った項目は、見た目の状態を変えます。警告色、「要確認」のラベル、そして理由を説明する一文です。請求書の読み取りでは、5つの項目にはチェックが付くだけで、6つ目のIBANはオレンジの枠で囲まれ、不確かな理由が示されます。

しきい値の適切な設定は、会議では決まりません。ユーザーがどの時点から自分で確認し直し始めるかを観察しながら、ユーザーと一緒に調整していきます。

3. 業務の言葉で説明する

「異常を検知、スコア0.87」はデータサイエンティストの言葉です。財務責任者はそれをどう扱えばよいかわかりません。「この取引先への直近12回の支払い平均の3.1倍」「10月2日に新しいIBANを登録、別の銀行」であれば、すぐに理解できます。それは、彼ら自身が確認するはずのシグナルだからです。

良い説明は、モデルの仕組みを説明するものではありません。ユーザーが手作業で行っていたら探したであろう情報を提示するものです。だからこそ、こうした説明文の作成を技術チームだけに任せることはできません。ユーザーの業務を知る人と、その文が理解されるかを確かめるテストが必要です。

4. それぞれの提案を根拠と結びつける

AIが請求書から金額を抽出したときは、その金額が記載されている請求書上の正確な箇所をハイライトします。製薬会社との面談前に医師向けに文書を要約するときは、要約の下に使用した文書を表示します。製品概要、フランス高等保健機構（HAS）の評価、製薬会社から提供された資料などです。

根拠には2つの効果があります。すべてを読み直すのではなく、ひと目で確認できるようになります。そして、関係性の質が変わります。AIは信じてもらうことを求めるのではなく、自らの仕事を見せるようになるのです。ヘルスケア、金融、法律といった繊細な領域では、使われる機能と避けられる機能の違いを生むのは、多くの場合この点です。

5. 一つの数値より範囲で示す

「12月末に1,362,418.27ユーロ」のように1セント単位で表示された予測は、誰も保証できない精度の印象を与えます。実際の数字が4万ユーロずれた日に、ユーザーはこのツールは使えないと結論づけます。

「約136万ユーロ、122万〜141万ユーロの範囲」は同じことを誠実に伝えています。グラフ上で時間とともに広がる不確実性の帯を見れば、12月より来週のほうが確度が高いことが一瞬で伝わります。逆説的ですが、不確実性を示すことで信頼は高まります。予測が示した範囲内に収まれば、ツールは正しかったことになるからです。

6. 最終判断は本当に人間に委ねる

多くのインターフェースは「主導権はあなたにあります」と言いながら、巨大な「承認」ボタンと、拒否するための小さなグレーのリンクを表示します。これは主導権ではなく、誘導です。

私たちが守っている3つのルール：

• 拒否は承認と同じくらい簡単でなければならない。 フラグが立った支払いでは、「ブロックして確認」と「このまま承認」が、並んだ2つの本物のボタンになっています。
• すべてをやり直さずに修正できなければならない。 誤って読み取られた項目はその場で修正でき、その修正が次回以降の精度向上に活かされます。
• 承認なしに取り返しのつかない操作をしない。 AIは支払いを準備しますが、送金はしません。登録書類を準備しますが、承認するのはコンプライアンスチームです。

この最後のルールは、プロダクトチームを守るものでもあります。人が承認したAIの誤りはインシデントです。自動で実行された誤りは危機です。

7. 利用状況だけでなく、信頼を測る

アシスタントのボタンのクリック数は、ほとんど何も教えてくれません。重要なのは、人々がその提案をどう扱っているかです。私たちは3つの指標を追っています。

• 修正なしの採用率：提案の質がわかります。
• 修正率：特にどの項目が修正されたかによって、モデルまたはインターフェースの弱点がわかります。
• 再確認 ：すべて確実と表示されているのに、ユーザーがソースを開き直していないか。そうであれば、信頼度の表示は信じられていません。

本番環境で測定する前でも、実際のモデルと実際のデータにつないだプロトタイプで5回インタビューを行えば、こうした問題の大半は見えてきます。静的なモックアップは嘘をつきます。Figmaの中で常に完璧に答えるAIでは、AIが間違える瞬間への備えはできません。

もうやめたこと

最後に、私たちが途中でやめた習慣をいくつかご紹介します。

• モデルに少しでも関係するボタンすべてにキラキラアイコンを付けること。
• チャットをデフォルトのインターフェースにすること。多くの場合、既存の画面の適切な場所に置かれた提案のほうが、会話よりも有効です。
• ツールの限界をヘルプページに隠すこと。AIが手書きの請求書を読めないなら、請求書をアップロードする場所でそう伝えます。
• すでに回答ができているのに、「賢そう」に見せるため一語ずつアニメーション表示すること。タイプライター効果はデモでは安心感を与えますが、日常的には煩わしいものです。

これらの判断のどれも、より優れたモデルを必要としません。必要なのは設計の時間、実際のユーザーとのテスト、そしてデザインと開発が同じ画面に同時に取り組むチームです。それこそが、Kaptiが目指していることのすべてです。

これらの原則の適用例： Titane と Moofizeの画面、そして 社内プロジェクトのデモ.

よくある質問

AIの提案ごとに信頼度スコアを表示すべきですか？

控えめに表示し、確認が必要なしきい値を下回った項目だけを目立たせるほうがよいでしょう。どこにでも表示されたスコアは、いずれ読まれなくなります。

AI機能を開発する前に、どうテストすればよいですか？

実際のモデルと実際のデータにつないだプロトタイプを、5人のユーザーでテストします。静的なモックアップでは、AIは決して間違えないように見え、間違える瞬間への備えになりません。

AI機能ではどの指標を追うべきですか？

修正なしの採用率、項目ごとの修正率、そして再確認、つまり提案が確実と表示されていたのにユーザーがソースを開き直したケースです。