Press Release

■お知らせ■ 日本語RAG性能を評価した「Allganize RAG Leaderboard」を本日公開

Allganize Japan

• 8 min read
■お知らせ■ 日本語RAG性能を評価した「Allganize RAG Leaderboard」を本日公開

国内初、RAG性能に特化したLeaderboard（性能表）を公開。金融、情報通信、製造、公共、流通・小売の5つの業種ドメインにおける、主要なRAGソリューションの日本語RAG性能を評価。

Allganize Japanは、日本語RAG性能を評価した日本初の「RAG Leaderboard」を公開しました。

RAG（Retrieval Augmented Generation：検索拡張生成）は、社内ドキュメントや特定情報から信頼できるデータを検索の上で情報抽出し、同データに基づいてLLMに回答させる技術です。企業内部情報の生成AI・LLM活用や、ハルシネーション低減の役割で注目されています。RAGの実装方法は各社によって異なるため、採用するRAGソリューションによって回答精度は異なります。Allganizeでは、企業によるRAG活用の参考情報として、主要なRAGソリューションの日本語性能を評価した Allganize RAG Leaderboard を作成しました。本Leaderboardは、AIに特化したプラットフォームである「Hugging Face」にて本日より閲覧いただけます。

allganize/RAG-Evaluation-Dataset-JA · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Allganize RAG Leaderboard とは

Allganize RAG Leaderboardとは、客観的な手法で主要なRAG（Retrieval Augmented Generation：検索拡張生成）ソリューションの性能を評価した性能表です。

企業の内部情報や特定情報を生成AI・LLMで活用するために、RAGを導入する企業が増えています。RAGの導入により、業務効率化や生産性向上を実現できますが、RAGの実装技術や仕組みによって回答精度が大きく変わるため、思ったような成果が得られないといった声も少なくありません。特に、日本企業が取り扱うドキュメントは図表などを多数含む複雑な文書が多く、さらに業種ドメイン毎にドキュメント形態や内容も異なるため、回答の難易度が高い傾向にあります。

RAGソリューションの性能評価には、検証ドキュメントや質問と回答といったデータセット、検証環境の構築が求められ、各社が自社で検証を行うことは容易ではありません。Allganizeは、企業のRAG導入検討の参考にしていただきたく、Allganize RAG Leaderboard を公開いたしました。

Allganize RAG Leaderboard URL：https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

Hugging FaceのAllganize RAG Leaderboardから抜粋

Allganize RAG Leaderboardの特徴

1. RAGソリューションの3つの要素を評価

RAGソリューションの構成要素である、以下の3つを評価しています。

（1）Parser：文書から文字・図・表などを抽出し、読みやすいフォーマットに変更

（2）Retriever：企業が保有する膨大なデータの中から、ユーザーの質問の回答となる情報を抽出

（3）Generation：Retrieverが抽出した情報と学習データにもとづいてLLMが回答を生成

2. 5つの業種ドメインについて、図表を含むドキュメントのRAGの性能を評価

業種によってドキュメントの傾向が異なるため、「金融」「情報通信」「製造」「公共」「流通・小売」の5つの業種ドメインのドキュメントに対して、RAGの性能を評価しています。各ドメイン12〜14のドキュメントを用意し、ドメイン毎に60個の質問を行っています。実際の業務で利用するドキュメントと同様、図表を含むドキュメントを使用して評価しました。

3. 客観性を保つ自動性能評価

客観的な評価を実施するために、自動性能評価方法を採用しています。あらかじめ質問に対する正解回答を用意し、質問に対してRAGソリューションで生成した回答について、4つのLLM Eval（測定ツール）を用いて評価しました。

対象のRAGソリューション

以下のRAGソリューションを評価対象としています。今後も評価対象を追加予定です。
・Alli（Allganizeの提供するRAGソリューション）
・LangChain
・OpenAI Assistant
・Cohere

Allganize RAG Leaderboardの公開先

Allganize RAG Leaderboardは、AI・機械学習分野に特化したプラットフォームである「Hugging Face」にて、本日より閲覧いただけます。ドキュメント、質問と正解回答といった検証に利用したデータセット、各RAGソリューションのリンクも公開していますので、どなたでも同様の検証を行なっていただくことが可能です。

Allganize RAG Leaderboard URL：https://huggingface.co/datasets/allganize/RAG-Evaluation-Dataset-JA

allganize/RAG-Evaluation-Dataset-JA · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AllganizeのRAGソリューションについて

Allganizeは、様々な業界のお客様のAI活用をサポートしており、その経験をもとに、企業利用を前提としたRAGソリューションを独自開発し提供しています。

AllganizeのRAGは特許出願中の独自技術により、図表からも高精度で回答を生成します。また、数百万件以上の社内文書から正確な回答を見つけることができるよう、高性能なリトリーバーモデルを構築しています。キーワードベースのElastic Searchと、文書のタイトルやページのベクトル検索で構成され、業界固有のデータが事前に学習されています。さらに、顧客のドキュメントやデータベースを連携させることで、追加開発を行うことなく顧客専用のモデルを自動的に作成します。結果に対するユーザーフィードバックも反映できるようになっており、リトリーバーの精度を継続的に向上できるRAGシステムとなっています。ユーザーのフィードバックを活用した回答生成手法、キーワードベース検索と意味ベース検索を相互補完して検索性能を向上させる方法、表形式データを崩さず認識する方法は、それぞれ特許出願中の独自技術を用いています。

AllganizeのRAG技術の詳細はこちら：https://blog-ja.allganize.ai/tag/tech/

技術解説 - Allganize Japan Blog
オールインワン企業向け生成AI・LLMソリューション「Alli LLM App Market」を提供するAllganize Japanの公式ブログ。活用事例や生成AI等の最新情報を発信
Allganize Japan Blog

また、AllganizeのRAGソリューションは、Allganizeが提供するオールインワン生成AI・LLMアプリケーションプラットフォーム：Alli LLM App Market にて標準提供しています。RAG対象のドキュメント管理、Retrieverの最適化機能、ユーザー向けのインタフェースなど、企業活用にあたっての必要な要素を揃えており、アプリを選択するだけですぐに業務活用いただくことが可能です。

Alli LLM App Marketはこちら

Allganize | Alli LLM App Market（生成AI・LLMアプリケーションプラットフォーム）
Alli LLM App Marketは、企業向けの生成AI、LLMアプリを100個以上のテンプレートから選び、即座に業務に活用できるLLMアプリプラットフォームです。「契約書チェック」「クレーム対応メール作成」「特定文書の要約」「社内ドキュメントから自動応答」「新規事業アイディア提案」など、すぐに業務活用できる生成AI、LLMアプリのテンプレートを提供しています。
Alli LLM App Market（生成AI・LLMアプリケーションプラットフォーム）

関連イベント開催

2024年9月20日に開催する以下のイベントにて、AllganizeのRAGソリューションおよび本RAG Leaderboardについて紹介いたします。

【東京メトロ様ご登壇！】生成AI・LLMで実現するコールセンター業務・CXの高度化

〜業務効率化から新たな価値創造へ〜
　日時：2024年9月20日（金）16:30〜
　会場：渋谷ソラスタコンファレンス
　主催：Allganize Japan株式会社
　費用：参加無料（事前申し込み制）
　イベント詳細・お申し込みはこちら：
　https://www.allganize.ai/ja/events/20240920event

東京メトロ様ご登壇！ 生成AI・LLMで実現するコールセンター業務・CXの高度化 〜業務効率化から新たな価値創造へ〜
お客様対応領域で大きなチャレンジを行っている東京地下鉄様（東京メトロ様）をゲストにお迎えし、お客様対応業務への生成AI活用への取り組みなどを伺います。また、生成AIのトレンドや潮流などもご紹介しながら、生成AIによるCXの高度化について考えてまいります。第二部では、登壇者も交えた参加者交流会も実施いたします。生成AI活用やCXのお取り組みのご参考に、ぜひご参加ください。

Allganizeについて

Allganizeは、「AIによって全てのビジネスのワークフローを自動化・最適化する」というビジョンのもと、日本、米国、韓国を中心に、グローバルで企業向けのオールインワン生成AI・LLMソリューションを提供しています。グローバルマーケットでの事業経験豊富なメンバーによって創業したAllganizeは、国内外の投資家に支えられ、東京（日本）、ヒューストン（米国）、ソウル（韓国）に拠点を構え事業を展開しています。

会社名：Allganize Japan株式会社（オルガナイズ ジャパン）

代表者：代表取締役CEO　佐藤 康雄

所在地：東京都渋谷区

設立：2019年1月

URL：https://allganize.ai

関連リンク

Allganize | Alli LLM App Market（生成AI・LLMアプリケーションプラットフォーム）
Alli LLM App Marketは、企業向けの生成AI、LLMアプリを100個以上のテンプレートから選び、即座に業務に活用できるLLMアプリプラットフォームです。「契約書チェック」「クレーム対応メール作成」「特定文書の要約」「社内ドキュメントから自動応答」「新規事業アイディア提案」など、すぐに業務活用できる生成AI、LLMアプリのテンプレートを提供しています。
Alli LLM App Market（生成AI・LLMアプリケーションプラットフォーム）
■技術解説■ RAGを活用した生成AIの回答生成精度に直結する「Retriever」。Retrieverの仕組みと最適化戦略とは？
生成AI・LLMを活用し、企業の社内情報や特定情報から回答を生成するにあたって、LLMのハルシネーションを低減するRAG（Retrieval Augmented Generation：検索拡張生成）への関心が高まっています。最近では、多数のRAGソリューションの中から自社に適したものを探す企業が増えています。 RAGの仕組みや企業向けのRAGにつきましては、以前の当ブログの記事でもご紹介しておりますので、よろしければ過去記事（技術解説：企業向けRAGとは？）もご覧ください。 ■技術解説■ 生成AIのハルシネーションを低減するRAG。図表データまで特定できる”企業向けRAG”とは？（前編）生成AIのハルシネーションを低減する技術として注目されるRAG（Retrieval Augmented Generation：検索拡張生成）。 このRAGという技術を活用することで、特定ドキュメント等から回答を自動生成できます。 本記事では、RAGの概念、動作の仕組み、RAGにおける検索性能の重要さ、RAGの性能を向上させる戦略について説明します。 1回目の今回は、RAGの概念や仕組みや、RAGにお
Allganize Japan BlogAllganize Japan
東京メトロ様ご登壇！ 生成AI・LLMで実現するコールセンター業務・CXの高度化 〜業務効率化から新たな価値創造へ〜
お客様対応領域で大きなチャレンジを行っている東京地下鉄様（東京メトロ様）をゲストにお迎えし、お客様対応業務への生成AI活用への取り組みなどを伺います。また、生成AIのトレンドや潮流などもご紹介しながら、生成AIによるCXの高度化について考えてまいります。第二部では、登壇者も交えた参加者交流会も実施いたします。生成AI活用やCXのお取り組みのご参考に、ぜひご参加ください。