SOC業務での生成AI活用についての考察(その1)LLM+RAG

生成AIのSOCへの適用について、つい最近まで自分はLLM+RAGがあれば十分とおもっていました。

しかしながら以下の書籍を読み、あらためてその認識は誤りであることに気付かされました。そこで自分の知識向上の為にもこのブログを書いていきたいと思います。

本記事では、SOCにおける生成AIの活用方法を以下の段階に分けて整理する予定ですが、執筆中に変わって行った場合ご容赦ください。

1.LLMによるSOC業務支援
2.RAGによる独自ナレッジの活用
3.Graph RAGによる関係性を考慮した調査
4.AI Agentによる自律的な調査
5.WorkflowによるAI適用範囲の最適化
6.Multi-Agentによる複数の専門Agentのオーケストレーション

1.LLMによるSOC業務支援

最も基本的な方法は、素のLLM(Large Language Model)をSOCアナリストのアシスタントとして利用する方法になるかと思います。

具体的には、次のような活用が考えられます。

セキュリティアラートの概要説明
ログの要約
想定される攻撃手法の説明 など

しかし、ここから先(アラートやログからのリスク判定など)に踏み込もうとすると、「LLMは環境固有の知識を持っていない」ということがネックになってきます。

例えば一般的なLLMは、環境固有の以下のような知識を有していません。

正常なユーザの行動パターン
その環境固有のセキュリティポリシー
過去のアラート対応結果 など

そのため、LLM単体でSOC業務を支援させる場合、回答の精度には限界があると考えています。そこでまず考えられるのが、RAGという仕組みの活用です。

2.RAGによる独自ナレッジの活用

RAG(Retrieval-Augmented Generation)は、LLMが回答を生成する前に、外部のナレッジベースから関連情報を検索する仕組みです。

SOCで利用する場合、さきほど1.であげた情報をナレッジベースに格納しRAGの仕組みにてLLMに参照させることで、一般的なセキュリティ知識だけではなく、組織独自の知識を活用し、回答の精度をアップさせることが可能です。

RAGの検索エンジンの仕組みには以下のようなものがあるので、どの方式がSOC調査にマッチするか検証していく必要があります。(これ以外にもいろいろあるみたいです。)

・キーワード検索(フルテキスト検索)
・ベクトル検索
・ハイブリッド検索(キーワード+ベクトル検索)

なお一般的には下に行くほど回答の精度は向上すると思われます。

ハイブリッド検索を行えばかなり検索精度はよくなるようですが、さらに精度を高めたい場合、リランクという手法を追加で実施する方法があるようです。

リランクでは、ハイブリッド検索などである程度一致していそうな候補を絞り込んだあと、さらにそれらについてランク付けを行うことで、より高い精度で検索できるようです。

(以降、次回に続く。)