AIアンサーボット”Alli”は、手動のデータのタグ付けが必要ないAllganizeの自然言語理解AIをベースとしており、FAQデータのアップロード後すぐに使用が可能です。本ガイドでは、FAQ精度をさらに引き上げるfine-tuningについて、説明していきます。

回答の精度を引き上げるには、以下の3つの方法があります。

1.エージェント フィードバック機能を活用してAIトレーニングを行い、
 各FAQの「調整後の信頼度(FAQ候補提示基準)」を調整します。

2.辞書機能(類義語と反意語)を登録し、業界限定用語や頭字語などを学習
 させます。

3.FAQ品質設定の最適化を行い、ユーザーに実際どのように質問に対して
 FAQ候補を提示するかを調整します。

1.エージェントのフィードバック機能を活用した「調整後の信頼度」の調整

Alliは、ユーザーフィードバックに応じて「調整後の信頼度」の値を調整します。 調整後の信頼度は、ユーザーがAlliに提案されたFAQを選択すると増加します。
ユーザーが「該当する質問がありません」を選択すると、提案されたすべてのFAQの調整後の信頼度が減少します。 調整後の信頼度は、ユーザーの質問に対してAlliが提案するFAQの順序を決定します。(詳細については、「ユーザーフィードバック機能」を参照ください)。

ダッシュボードにてクエリトレーニングを使用して、同様の調整を行うことができます。 これを行うには2つの方法があります。FAQ表示レビューを使用する方法と、トレーニングタブを使用する方法です。

FAQ表示レビューでフィードバック実行します。
「トレーニング対象の質問」フィールドに、学習させたい文章を入力しトレーニングを行います。

詳細は「エージェント フィードバック機能」を参照のください。

2. 同義語と反義語を登録する

キーワードは、FAQ検索において信頼値の決定に重要な役割を果たします。 Alliの自然言語理解AIは、FAQを検索するために同じキーワードを必要としませんが、業界固有の用語や頭字語を完全には理解していません。

辞書機能を使用し、同義語と反意語を追加してAlliに理解させることができます。 同義語はAlliに同じ意味の複数の単語を理解させ、反意語は異なる意味の類似した単語を区別させます。たとえば、”MRC”と”Machine Reading Comprehension”を同意語として登録してAlliに教えたり、反意語を使用して、類似しているが異なる製品名の回答を表示しないようできます。

ナレッジベース に移動し、「類語/対義語辞書」ボタンをクリックし登録します。(参照:ユーザーガイド 類義語辞書/対義語辞書登録
※AIトレーニングは必要ありません。

類語/対義語辞書

(例)「Machine Reading Comprehension」と「MRC」が、同義語として登録されており、プレビューの上位の検索結果にこれを反映しています。

既存の顧客質問データと予想リストを使用し、必要に合わせて同義語と反意語を登録します。 Alli実装後でも適宜追加登録することが可能です。

プレビューモードでのAI訓練と同義登録を繰り返す事で、Alliは、正確なFAQ候補を推薦する頻度が高くなります。この作業プロセスを経て、ほんの数時間で80%~90%以上の精度に達し、正しい質問/回答候補を提示できるようになります。

3. FAQ品質設定の最適化

最後のステップとして、FAQ品質設定を最適化し、ユーザーに実際どのように質問に対してFAQ候補を提示するかを調整します。

一般的な最初の設定例は以下の通りです。多少柔軟に様々なFAQ候補が提示されるようにし、直接回答はできるだけ少なくします。また、顧客からのフィードバックに追加fine-tuneを行うことができる設定です。

・質問の類似性基準値      : 0.5〜0.6
・ダイレクト回答の類似性基準値 : 0.9〜0.95
・質問候補の表示件数      : 3〜5
・ユーザー行動の信頼度への影響 : 0.1〜0.5
 (質問が多い場合に低く、多い場合には高く設定)

FAQ品質設定メニューを開きながら数値を調整すると、FAQ表示レビュー結果がリアルタイムに変化しますので、レビューの結果を参考にしながら数値を決定していきます。各項目の数値を決定後、[適用]ボタンを押して設定を完了します。

短時間でFAQ回答精度を上げる為の方法は以上となります。
ご不明点がございましたら、担当者まで、お気軽にご連絡ください。