AIアンサーボット”Alli”は、手動のデータのタグ付けが必要ないAllganizeの自然言語理解AIをベースとしており、Q&Aデータのアップロード後すぐに使用が可能です。本ガイドでは、Q&A精度をさらに引き上げるfine-tuningについて、説明していきます。

回答の精度を引き上げるには、以下の3つの方法があります。

  1. エージェント フィードバック機能を活用してAIトレーニングを行い、
     各Q&Aの「調整後の信頼度(Q&A候補提示基準)」を調整します。
  2. 辞書機能(類語と対義語)を登録し、業界限定用語や頭字語などを学習
     させます。
  3. Q&A品質設定の最適化を行い、ユーザーに実際どのように質問に対して
     Q&A候補を提示するかを調整します。

1.エージェントのフィードバック機能を活用した「調整後の信頼度」の調整

Alliは、ユーザーフィードバックに応じて「調整後の信頼度」の値を調整します。 調整後の信頼度は、ユーザーがAlliに提案されたQ&Aを選択すると増加します。
ユーザーが「該当する質問がありません」を選択すると、提案されたすべてのQ&Aの調整後の信頼度が減少します。 調整後の信頼度は、ユーザーの質問に対してAlliが提案するQ&Aの順序を決定します。(詳細については、「ユーザーフィードバック機能」を参照ください)。

ダッシュボードにてクエリトレーニングを使用して、同様の調整を行うことができます。 これを行うには2つの方法があります。Q&A表示レビューを使用する方法と、トレーニングタブを使用する方法です。

Q&A表示レビューでフィードバック実行します。
「トレーニング対象の質問」フィールドに、学習させたい文章を入力しトレーニングを行います。

詳細は「エージェント フィードバック機能」を参照してください。

2. 類語と対義語を登録する

Q&Aの信頼度の決定には、キーワードが大きな影響を与えます。基本的に、AlliのAIは同じキーワードを使用していなくても、単語や文章の意味を理解して、最も適切なQ&A検索結果を提示しますが、質問の中には、特定の業種、さらには対象の顧客の間でのみ使用されている特異な表現が含まれている場合があります。必要に応じて、辞書機能を使用し、類語と対義語を追加してAlliに理解させることができます。
ナレッジベース に移動し、[類語/対義語辞書]ボタンをクリックし登録します。(参照:ユーザーガイド 類語辞書/対義語辞書登録
※AIトレーニングは必要ありません。

類語/対義語辞書

(例)「Machine Reading Comprehension」に対して「MRC」が、類語として登録されており、プレビューの上位の検索結果にこれを反映しています。

既存の質問データと予想リストを使用し、必要に合わせて類語と対義語を登録します。 辞書は適宜追加登録ができます。

プレビューモード、Q&AレビューでAIトレーニングを実施し、必要に合わせて類語/対義語辞書登録を実施することで、Alliは、正確なQ&A候補を提案する頻度が高くなります。この作業プロセスを経て、ほんの数時間で80%~90%以上の精度に達し、正しい質問/回答候補を提示できるようになります。

3. Q&A品質設定の最適化

最後のステップとして、Q&A品質設定を最適化し、ユーザーに実際どのように質問に対してQ&A候補を提示するかを調整します。

一般的な最初の設定例は以下の通りです。
多少柔軟に様々なQ&A候補が提示されるようにし、直接回答はできるだけ少なくします。

・質問の類似性基準値      : 0.5〜0.6
・ダイレクト回答の類似性基準値 : 0.9〜0.95
・質問候補の表示件数      : 3〜5
・ユーザー行動の信頼度への影響 : 0.1〜0.5
(推奨値として、ユーザーからの質問が多い場合には高く設定し、低い場合には低く設定することを検討ください。また、本番利用時には影響を少なくするために、低く設定することも合わせて推奨いたします。)

Q&A品質設定メニューを開きながら設定値を調整すると、Q&A表示レビュー結果がリアルタイムに変化しますので、レビューの結果を参考にしながら数値を決定していきます。各項目の数値を決定後、[適用]ボタンを押して設定を完了します。

短時間でQ&A回答精度を上げる為の方法は以上となります。
ご不明点がございましたら、担当者まで、お気軽にご連絡ください。

AllganizeのAIソリューション