【講演サマリー】生成AIと外部知識の活用への挑戦の最前線
～生成AI時代のナレッジグラフ構築技術：ナレッジグラフ推論チャレンジ2023～
講師：江上 周作 産業技術総合研究所 人工知能研究センター 主任研究員
©2023 Shusaku Egami | National Institute of Advanced Industrial Science and Technology （AIST）
（本コンテンツの著作権は、江上 周作様に帰属いたします。）
開催概要
[1] 開催日時：2023年11月15日(水) 17:00～18:30 （セミナー会場とオンラインのハイブリッド形式）
[2] テーマ：生成AIと外部知識の活用への挑戦の最前線～生成AI時代のナレッジグラフ構築技術：ナレッジグラフ推論チャレンジ2023～
[3] 講師：江上 周作 産業技術総合研究所 人工知能研究センター 主任研究員
[4] 参加者：185名（会場参加 、オンライン参加の合計）
【セミナーでの講演の様子】
コンテンツ
１．導入：ChatGPTの活用
– My GPTs
２．外部データの活用
2-1. Retrieval-Augmented Generation (RAG)
2-2. LlamaIndex
３．知識の活用
3-1. 知識グラフ(ナレッジグラフ）
3-2. 研究動向
4. ナレッジグラフ推論チャレンジ
4-1. ナレッジグラフ推論チャレンジの狙いと概要
4-2. ナレッジグラフ推論チャレンジ2023
4-3. ナレッジグラフ推論チャレンジ【実社会版】
5. まとめ
講師プロフィール
1. 導入：ChatGPTの活用
GPTs
（2023年11月10日）自分用にカスタマイズしたMy GPTを作成できるサービス「GPTs」がChatGPT Plusユーザに解禁
(設定画面)
– Name: 名前
– Description: 説明
– Instructions: GPTへの動作、機能などの指示
– Conversation starters: 会話を始めるためのプロンプトの例
– Knowledge: GPTが参照する追加のデータ（※ファイル内容が出力に含まれることがある）
– Capabilities: Web検索やDALL-Eなどの機能
– Actions: サードパーティAPIを使用するための設定
(ロゴデザインGPT)
2. 外部データの活用
2-1. Retrieval-Augmented Generation (RAG)
– 外部データを取り込んでLLMを利用する手法として，Retrieval-Augmented Generation
(RAG)[Lewis+ ’20]が注目されている。
– LangChain, LlamaIndexなどのフレームワークが有名
LlamaIndexの概略図
[Lewis+ ’20] P. Lewis, et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020
2-2. LlamaIndex
LlamaIndexにおけるインデックス
【用語】
– Chunk（チャンク）：トークンの塊
– Node（ノード）：チャンクに対応。LlamaIndexはDocumentオブジェクトを受け取り、内部でそれらをNodeオブジェクトに分割する。
– Response Synthesis（レスポンス合成）：取得したノードを指定してレスポンスを合成するモジュール。
パラメータ
– チャンクサイズ：この値を下回るようにチャンクを作成
– 区切り文字：チャンク分割の切れ目
– チャンクオーバーラップ：前のチャンクとオーバーラップするトークン数
【インデックス方法】
– List, Vector Store, Tree, Keyword Table
LlamaIndexで外部テキストに対して質問（1）
使用するテキスト
– まだらのひも『シャーロック・ホームズの冒険』
– 青空文庫よりダウンロード： https://www.aozora.gr.jp/cards/000009/card50717.html
設定
モデル選択については、以下のとおり設定した。
– LLM：GPT-3.5-turbo
– 埋め込みモデル：text-embeddinng-ada-002
質問
– ロイロットは義理の娘の結婚を邪魔することでどのような得があります
結果
ChatGPTへの質問では、情報提供は難しいという応答であるのに対し、外部テキストを与えたLlamaIndexを利用した場合には、正しい応答が得られた。
[下図] ChatGPT (GPT-3.5-turbo)による応答
[下図] LlamaIndexによる応答
ロイロットが義理の娘の結婚を邪魔することで得るものは、年収の増加です。結婚すると、娘一人につき年収二五〇ポンドずつ受け取れるようになっています。したがって、娘が結婚してしまうと、ロイロットの年収が少なくなるため、彼にとっては損失となります。
LlamaIndexで外部テキストに対して質問（2）
チャンクとプロンプトの確認
– CallbackManager, LlamaDebugHandlerでログを確認、デバッグ
ノードの確認
Context information is below.
そして娘が結婚すると、ひとりにつき年収二五〇ポンドずつ受け取れるようになってある。それゆえに、もしふたりの娘が嫁いでしまえば、うま味が少しだけになってしまうわけだ。ひとりだけでも深刻なほどに損なわれる。今朝の仕事は無駄ではなかった。
わたくしと、姉のジュリアは双子で、再婚したときはまだ二歳の赤ん坊でございました。母はかなりの金持ちでございまして、一年に一〇〇〇ポンド以上の収入がございましたが、その金はそっくりロイロット博士に遺言で譲ってしまいました
Given the context information and not prior knowledge, answer the query.
Query:
ロイロットは義理の娘の結婚を邪魔することでどのような得がありますか？
Answer:
最終的にLLMに入力されるプロンプト
LlamaIndexで出力を構造化
LLMの下流アプリケーションにおいて出力の構造化が需要
出力を構造化するためのモジュールを提供
– Guardrails：オープンソースのPythonパッケージ
– https://github.com/ShreyaR/guardrails
– LangChain：LangChainの出力解析モジュール
LlamaIndexでデータベースに接続
LlamaIndexでデータベース（RDB，NoSQL等）に接続し，直接データベース検索を行う機能を提供
– Text-to-SQL：テキストを元にSQLクエリ文を生成する
3. 知識の活用
3-1. 知識グラフ（ナレッジグラフ）
– LLMの課題の一つ：Hallucination（幻覚）
– LLMに、明示化されたファクトデータや論理的知識を接続することで解決できないか
⇒ 知識グラフ
[上図] 知識グラフ
知識グラフ（ナレッジグラフ：KG）
– 主語，述語，目的語の三つ組みにより様々な知識をグラフ構造で表現する
LlamaIndexでナレッジグラフを取り込む
【RDF Loader (LlamaHubで配布)】
– RDF (Resource Description Framework)： ナレッジグラフデータの標準的な記述方法
– KGからrdfs:label（エンティティ名称文字列）の値を抽出して並べている → グラフを文書化している
【課題】
– エンティティの一意性が失われる
– 意味的な関係は欠落する
– データを取り込んだ上でのHallucinationは回避できない
https://llamahub.ai/l/file-rdf
利用可能なナレッジグラフの例
Knowledge Graph Question Answering（ナレッジグラフに対する質問応答）
ナレッジグラフに対して質問応答を行う技術
– 質問文を元にナレッジグラフに対するクエリ言語（SPARQL）を生成する「Text-to-SPARQL」を行う方法が主流
– 特に近年ではニューラル機械翻訳（NMT）によるText-to-SPARQLが主流で、LLMも利用され始めている
※ (wd:Q53268, Toyota)
3-2. 研究動向
KGQA (Knowledge Graph Question Answering)に関する研究
[1] Modern Baselines for SPARQL Semantic Parsing[Banerjee+ ‘22]
– モデル
– Text-to-Text Transfer Transformer (T5)
– Bidirectional Bidirectional and Auto-Regressive Transformer (BART)
– Pointer Generator Network (PGN)
– データセット（LC-QuAD, LC-QuAD 2.0）でファインチューニングして比較実験
– いずれも既存手法を上回り，T5が最高精度
– この比較実験結果は下図のとおり
[Banerjee+ ‘22] D. Banerjee, et al.: Modern Baselines for SPARQL Semantic Parsing. SIGIR, 2022
[2] GETT-QA: Graph Embedding Based T2T Transformer for Knowledge Graph Question Answering[Banerjee+ ‘23]
– T5を用いたクエリ生成とエンティティの埋め込みを利用したKGQAシステムを開発
– LC-QuAD 2.0とSimpleQuestions-Wikidataで既存手法を上回る精度を達成
[Banerjee et al. 2023] D. Banerjee, et al. GETT-QA: Graph Embedding Based T2T Transformer for Knowledge Graph Question Answering. In: European Semantic Web Conference, pp. 279-297, 2023
[上図] T5を用いたクエリ生成とエンティティの埋め込みを利用したKGQAシステム（図引用[Banerjee et al. 2023]）
[3] SGPT: A Generative Approach for SPARQL Query Generation From Natural Language Questions[Rony+ ‘22]
– POS-tag埋め込みと係り受け関係の埋め込みをTransformerでエンコードし，位置埋め込みと単語埋め込みを加えてGPT-2でデコード
– データセットはLC-QuAD 2.0, QALD-9, VQuAnDa
– SP-BLEUとSP-F1スコアの提案して比較し，既存手法を上回った
[上図] POS-tag埋め込みと係り受け関係の埋め込みをTransformerでエンコードし、位置埋め込みと単語埋め込みを加えてGPT-2でデコード（図引用[Rony et al. 2022]）
[Rony et al. 2022] M. R. A. H. Rony, et al. SGPT: a generative approach for SPARQL query generation from natural language questions. IEEE Access, 10: 70712-70723, 2022
[4] Language Models as Controlled Natural Language Semantic Parsers for Knowledge Graph Question Answering[Lehmann+ ‘23]
– SPARQLを直接生成する代わりに制御された自然言語（CNL）をLLMで生成する手法
– Mintakaデータセットの550の質問にSPARQL, Sparklis, SQUALLの３つの形式でラベル付け
– BLOOM, GPT Neo, GPT-2, GPT-3, T5, Llama2でファインチューニング実験
– SPARQL直よりCNLでKGQAの精度向上を確認
[Lehmann et al. 2023] J. Lehmann, et al. Language Models as Controlled Natural Language Semantic Parsers for Knowledge Graph Question Answering. In: European Conference on Artificial Intelligence, pp. 1348-1356, 2023
[上図] SPARQLを直接生成する代わりに制御された自然言語（CNL）をLLMで生成する手法
BLOOM, GPT Neo, GPT-2, GPT-3, T5, Llama2でファインチューニング
（図引用[Lehmann et al. 2023]）
4. ナレッジグラフ推論チャレンジ
4-1. ナレッジグラフ推論チャレンジの狙いと概要
[1] ナレッジグラフ推論チャレンジ（2018年度から毎年度開催）
– シャーロック・ホームズのような“推理”（推論）ができるAIシステムの開発を目指した技術コンテスト
[2] チャレンジのねらい
– 説明可能性（解釈可能性）を有するAI技術に関する最新技術の促進・共有と，その分析・評価，体系化を行う
[3] チャレンジの概要
提供するナレッジグラフ
ナレッジグラフの要求仕様
– 犯人を推論（推理）するのに必要な知識を提供する
-「推理小説」で描かれる様々な状況を，できるだけ統一的な形式で計算機処理（検索・推論・etc.）可能にする
⇒ 標準形式であるResource Description Framework (RDF)で提供
ナレッジグラフ化の基本方針
-「推理小説」の内容を，最小単位の場面（シーン）に分割 → 場面ごとにID（IRI）を付与
– 各場面の記述内容および場面間の関係をグラフ化
→ グラフ化に必要なクラス・プロパティを定義
ナレッジグラフ推論チャレンジの年表
2023年度開催
-（国内）ナレッジグラフ推論チャレンジ〜生成AI時代のナレッジグラフ構築技術〜
-（国際）ナレッジグラフ推論チャレンジ【実社会版】@ IEEE ICSC 2024 2月頃発表会
開催主体：人工知能学会セマンティックウェブとオントロジー研究会企画委員（産総研以外のメンバーも含む）
ナレッジグラフ推論チャレンジ（差分）
– 第1回ナレッジグラフ推論チャレンジ2018 [← 1小説]
https://challenge.knowledge-graph.jp/2018/
– 第2回ナレッジグラフ推論チャレンジ2019 [← 5小説]
https://challenge.knowledge-graph.jp/2019/
– 第3回ナレッジグラフ推論チャレンジ2020 [← 8小説]
https://challenge.knowledge-graph.jp/2020/
– 第1回学生向け！ナレッジグラフ推論チャレンジ2021 [← データ洗練]
https://challenge.knowledge-graph.jp/2021/
– 国際ナレッジグラフ推論チャレンジ2023@IEEE ICSC2023 [← 国際化]
https://ikgrc.org/2023/
生成AI時代のナレッジグラフ構築技術
– ChatGPTを始めとした大規模言語モデルを用いた生成AIの開発・利用は，知識工学，セマンティックWeb分野への応用においても大きな可能性がある
– 課題
– 正確性が保証されない
– 誤った内容が出力される場合がある
– 根拠となる情報（出典）が暗黙的である
– どのような情報を基にして出力されたのかが分からない
– 再現性が担保されない場合がある
– Webサービスとして提供されているモデルを使用した場合には，毎回，同様の内容が生成されるとは限らない
– これらは，これまでのチャレンジにおいてナレッジグラフを用いた説明可能なAI技術の開発・共有に取り組んできた理由でもある
4-2. ナレッジグラフ推論チャレンジ2023
ナレッジグラフ(KG)と大規模言語モデルの双方を用いたチャレンジ(*)を実施
(*)本チャレンジでは、応募要件に記載のナレッジグラフの構築手法を応募対象として応募を受け付けます。
今年度は、上述の課題への対策と評価に関する知見をコミュニティで蓄積するために
大規模言語モデルを用いたナレッジグラフの構築
というタスクを課題として設定
生成AI時代の新しいKG構築技術の開発を目指したチャレンジとして開催
https://challenge.knowledge-graph.jp/2023/
参考アプローチ
– 2023年8月24日開催の第60回人工知能学会SWO研究会にて実施した企画セッション「ナレッジグラフ推論チャレンジ〜生成AI時代のナレッジグラフ構築技術〜」の資料を公開
– https://github.com/KnowledgeGraphJapan/KGRC-ws-2023/
応募要領
[1] 応募要件
– 下記の要件を満たす「大規模言語モデルを利用したナレッジグラフの構築手法」を応募対象とします
1. ナレッジグラフを構築する手法である
2. 言語モデルを利用した手法である
3. 情報源として使用するデータは制限しない
[2] 応募部門
– 推理小説部門
– 一般部門
[3] 応募締め切り
– 2024年1月末
4-3. ナレッジグラフ推論チャレンジ【実社会版】
背景
– 社会の高齢化の進行
– 新型コロナのまん延による在宅生活時間の増加
– 65歳以上の事故は「住宅」が7割以上
独立行政法人国民生活センター．医療機関ネットワーク事業からみた家庭内事故－高齢者編－ (2013)
(出典)平成30年版高齢社会白書（全体版） 4 生活環境 図1－2－4－2
VirtualHome2KG : 日常生活の合成知識グラフ化
ナレッジグラフ推論チャレンジ2022【実社会版】
チャレンジの概要
– これまでのナレッジグラフ推論チャレンジ開催の経験と知見を踏まえて、高齢者の安全を題材にしたより実務的な「ナレッジグラフ推論チャレンジ【実社会版】」を新たに開催
タスク
– タスク１：危険な状況を検出（どれか１つでも可）
– 提供されるKGや動画から危険な状況（リスク）を検出する
– 検出した状況がなぜ危険な状況なのか理由を説明する
– 解決策を提示する
– タスク２：生活行動ナレッジグラフの作成
– タスク３：定量的評価基準の作成
https://challenge.knowledge-graph.jp/2022/
提供データセット
– 家庭内日常生活を仮想空間でシミュレーションした動画と，その内容を表すナレッジグラフのセット
– https://github.com/aistairc/VirtualHome2KG/blob/main/README_ja.md
– 動画 (mp4)
– 204種類の行動シナリオ(更新: 2023/02/21)
– 1種類につきキャラクター後方視点（ファイル名末尾0），室内カメラ視点（ファイル名末尾1）があり，合計1224個の動画 (更新: 2023/02/21)
– キャラクター動作がゆっくりな動画は高齢者の動きを再現しています
– ナレッジグラフ (RDF)
– RDF形式
– 動画に対応する204個のナレッジグラフ(更新: 2023/02/21)
– SPARQLエンドポイントやクエリ例はこちら
– 台本データ (txt)
– 動画とナレッジグラフを生成するためにVirtualHome2KG[Egami, et al. 2023]に与えたデータ
– 行動のタイトルと簡単な文章説明を含む
[Egami, et al 2023] S. Egami, et al.: Synthesizing Event-Centric Knowledge Graphs of Daily Activities Using Virtual Space, IEEE Access, vol.11, 2023］
チャレンジ実施記録
– スケジュール
| 2022年6月 | データ、タスク、評価方法の公開 |
| 2022年9月 | データセット追加 |
| 2022年10月 | 【第59回AIセミナー】「人工知能の産業利用におけるナレッジグラフの最新動向」開催 |
| 2022年11月 | ナレッジグラフ推論チャレンジ【実社会版】技術勉強会 |
| 2022年12月 | データセット追加 |
| 2023年2月 | ナレッジグラフ推論チャレンジ【実社会版】技術勉強会（第二回） |
| 2023年3月 | 応募締め切り、最終審査会 |
応募作品
大学、民間企業から合計6件
使用技術：GPT-3、ChatGPT、DistilRoBERTa、CLIP、BLIP、知識グラフ埋め込み、リンク予測、依存構造解析、オントロジー、SPARQL、…
応募例：黒川（KDDI総合研究所）
応募例：浅野 +（青山学院大学)
ナレッジグラフ推論チャレンジ【実社会版】2023
今年度は国際版として開催
– 国際ナレッジグラフ推論チャレンジ(IKGRC)としてIEEE International Conference on Semantic Computing (ICSC2024)@カリフォルニアと併催
– IEEEフォーマット2p、アイデア段階でもok、採択論文はICSC Proceedingsに掲載
5. まとめ
LLMとKGは相補的な関係
講師プロフィール
江上 周作 (Shusaku Egami) 博⼠(⼯学)
[所属]
産業技術総合研究所 主任研究員
電気通信⼤学 連携准教授
法政⼤学 兼任講師
[経歴]
2020.10 – 現在︓産業技術総合研究所
2019.4 – 2020.9︓電⼦航法研究所
2019.3︓電気通信⼤学 博⼠後期課程修了
2018.3 – 2019.3︓⽇本学術振興会 特別研究員(DC2)
[専⾨分野]
知能情報学，ウェブ情報学，知識⼯学，データ⼯学
[主な委員会活動]
⼈⼯知能学会 セマンティックウェブとオントロジー研究会 幹事
国際会議 ISWC、ESWC、CIKM各プログラム委員、IJCKGワークショップ委員⻑
LODチャレンジ実⾏委員
[主な受賞]
⼈⼯知能学会 研究会優秀賞(2019, 2023)
⼈⼯知能学会 全国⼤会優秀賞(2022)
ISWC Best Poster Award (2021)
LODチャレンジ 最優秀賞(2014, 2016, 2023)