社内規程のQ&Aチャットボットを試作して分かった、回答が外れやすい3つの落とし穴

「有給の申請はいつまでに出せばいい？」「出張の宿泊費はいくらまで？」。社内で毎回同じ質問が飛び交い、答えるのはいつも決まった人。そんな状況を、規程やマニュアルに答えるAIチャットボットで減らせないかという相談をいただくことがあります。

SNAPE&Co.でも、架空の会社の規程を使って、この仕組みを自主制作のデモとして作ってみました。実在のお客様の案件ではありません。作る途中で、うまく動かない所が何度か出たので、その内容を残しておきます。導入を考えている方が、つまずきやすい所を先に知っておけるようにするためです。

どんな仕組みか

社内の規程（文書）をあらかじめ登録しておき、質問されたら、まず文書の中から関係しそうな部分を探し出します。次に、見つけた部分だけをAIに渡して、答えを文章にしてもらいます。文書にない内容をAIが想像で答えてしまうのを防ぐための、一般的な作り方です。

つまり、答えの正しさは「関係する部分を正しく探せるか」にかなり左右されます。つまずいたのも、ほとんどが、この「探す」部分でした。

文書は、AIが探しやすいように、短い断片に区切って登録します。今回は「1つの条文を1つの断片」にしたかったので、条文と条文の間に空行を入れた文書を用意しました。

ところが、実際に登録してみると、条文の見出しだけが入った、中身のない断片ができていました。原因は、文書の改行の種類（Windowsで作った文書とそれ以外で違います）が、ツール側の区切りの条件と合っていなかったことでした。見た目は同じ空行なのに、ツールには区切りとして認識されていなかったのです。

文書を作り直し、「条文ごとに、ひとまとまりの断片になっているか」を、登録後に1つずつ目で確認するようにしました。区切りは、登録した結果を見ないと分かりません。

探した断片には、質問との関連度が点数で付きます。点数が低い断片は渡さない、という足切りの基準を決めておくと、無関係な内容が混ざりにくくなります。

最初は0.5に設定しました。すると、本来渡すべき正しい断片まで落ちて、「分かりません」と答えるようになる質問が出ました。0.4に下げたところ、用意した10問の質問がすべて期待どおりに答えられました。

この数字は、文書の書き方や言葉の使い方で変わります。基準は一度決めたら終わりではなく、実際の質問で試しながら決めるものでした。

もう1つ困ったのが、「静かに失敗する」ことです。

どちらも、エラーが出ないぶん気づきにくいものでした。納品の前に、実際の質問で通しで試すことが欠かせないと感じました。

10問すべてが期待どおりに答えられた一方で、正直に残しておきたい限界もあります。

文書にない質問をしたとき、回答自体は「分かりません」となっても、画面の「参照した箇所」に、無関係な部分が表示されることがありました。文書にある質問とない質問の関連度の点数が近く、点数だけでは線を引けなかったためです。

このため、お客様に使っていただくときは、「答えが正しいか」と「参照元が出ること」の両方を、導入前に一緒に確認する必要があると考えています。

こうした仕組みは、「AIに任せれば全部うまくいく」ものではなく、文書の整え方と、実際の質問での確認が、品質を決めます。自社の規程やマニュアルで試してみたい方は、まず対象の文書と、よく聞かれる質問を教えてください。小さく試作して、どこまで答えられるかを一緒に確認するところから始められます。

上の一覧にあるような困りごとだけでなく、一覧にない困りごとも、トップページから、そのまま相談内容として送れます(見本です。実際の内容は、お仕事の流れを伺ってから決めます)。