Virus TotalのSplunk用Addonであるvt4splunkを使ってみた(ハッシュ編)

Virus TotalのSplunk用Addonであるvt4splunkを使ってファイルハッシュの調査をしてみたのでここに記録しておきます。

1.ハッシュ値の準備

vt4splunk経由で確認するファイルのハッシュ値を準備します。

今回は、MISPにて収集した IoCデータの中から以下の赤枠のハッシュ値でテストしてみることにしました。

MISP – IoCサンプル1

なお、MISPではこのハッシュはまず、Payload delivery というタイプで2019-04-10 に配布されており、その後、md5 のタイプで 2019-04-12に配布されているようです。

MISP – IoCサンプル2

2.vt4splunkにハッシュデータを直接渡す

それでは先ほどのMISPから取り出したハッシュをvt4splunkを使って評価してみます。

Search画面から以下のコマンドを打つと、testhashで指定したファイルハッシュに対する Virus Totalでの評価結果を検索結果の一部として表示することができるようになります。

Splunk vt4splunk addon

これをみるとこのハッシュが最初に報告されたのが、2019-04-12 となっています。

ほぼ同時期ですが、Payload delivery というタイプでMISPを確認しておけば、2日早くこのファイルをハッシュにて検知できていたようですね。

MISP が ThreatFox から集めてきたIoCに C2 サイトかどうかの記載があるか確認してみた。

ThreatFox から収集した イベントの一例です。

misp – ThreatFox

イベントには複数の IoC が登録されていますが、それぞれの IoC についてどのマルウェアの C2 なのかが記載されています。

misp – ThreatFox

MISP の効果的な利用方法2:インシデント調査で集めたIoCが、外部から収集したIoCと一致していないか確認する

MISP には複数のイベントでIoCが一致していないかチェックする機能があります。

それをうまく利用すれば、インシデント調査で収集したIoCが外部から収集したIoCと一致していないか、また、外部から新たに収集したIoCが、過去のインシデント調査した際のIoCと一致していないかを確認することが可能です。

1.インシデント対応で抽出したIoCの登録

以下の通り、インシデント対応で抽出したIoCを「Add Event」から登録します。

なお、インシデント対応で抽出したIoCを登録する際はイベント名を「SOC-Insident 001」などとするとわかりやすいと思います。

MISP – Add Event

上記画面で「Submit」後に、下図の赤枠で囲った部分にあるアイコン(populate using the Freetext Import tool)をクリックします。

MISP – using Freetext Import tool

すると以下のようなFreetext Import Tool のポップアップが表示されるので、インシデント対応の中で収集したIoCをペーストし、「Submit」します。

Freetext Import tool

このツールはとても優秀で、IoC 以外の情報もまとめて放り込んでも、綺麗にIoCだけ抽出し、以下の通りピックアップしてくれます。

MISP – Freetext Import Results

Freetext での取り込み結果を確認し、問題なければ「Submit attributes」ボタンを押します。

2.IoC提供元のFeedとの関連を確認

インシデント調査で収集したIoCの登録が完了すると、すでに登録されているイベントのIoCと重複していないか、赤枠の通り表示してくれます。

MISP – IoC list

また重複している場合は、「+Correlation Graph」を選択することで、重複しているイベントとの相関図を以下のとおり表示してくれます。

MISP – correlation graph

3.新しいFeedを取り込んだときの既存インシデントとの重複確認にも

なお、標的型攻撃などの場合には、インシデント調査で抽出したIoCが各Feed提供元のIoCリストにはまだ登録されていない、といったこともままあると思います。

したがって、新しくFeed提供元からIoCを取得した際に、そのIoCがすでにインシデント対応で抽出していたIoCと一致していないか確認する、といった使い方も可能です。

MISP – IoC list

ちなみに、他のイベントとIoCが重なった数はイベントリストの「Corr」カラムに記載されていますので、探しやすいと思います。

MISP – Events

MISP の効果的な利用方法1:IoC のFeedの取り込み元を増やす

MISP をインストールした初期状態だと、以下の2つのIoC Feed取得元しか登録されていません。

MISP – Sync Actions – Feeds

そこで、このFeed元を増やす方法を確認しましたので、ここに記録しておきます。

1.Feed元が書かれたJSONファイルを取得

以下のGitHubサイトにFeed元がたくさんかかれたJSONファイルがあるので、その内容をコピーします。

GitHub - MISP/app/files/feed-metadata/defaults.json
https://github.com/MISP/MISP/blob/2.4/app/files/feed-metadata/defaults.json

2.JSONでFeed元の情報を取り込む

1.でコピーしたFeed元の情報を取り込む為、上のFeeds画面の左ペインから「Import Feeds from JSON」を選択します。

そして先ほどコピーしたJSONを以下のとおりペーストし「ADD」ボタンを押します。

MISP – Import Feeds from JSON

すると以下の通りFeed元が67件読み込まれました。

MISP – Sync Actions – Feeds

3.Feed元からのデータの取り込み

あとは、Feed元リストの左にあるチェックからFeedを取り込みたい提供元を選択後、上部にある「Fetch and store all feed data」をクリックすれば取り込まれます。

なお、取り込みの状況は「Administration」-「Jobs」から以下の通り確認可能です。

MISP – Sync Actions – Feeds

4.Feed元から定期的に取り込むには

「Administration」-「Scheduled Tasks」で次の取り込み時間を指定することもできるようですが、毎回設定したいといけないように見えます。

そこで、cronjob と MISPのAPIを使った定期的なFeed元からの取り込み方法が以下のサイトに記載されていますので、興味のある方は参照してみると良いと思います。

Part 10. MISP Threat Intel(SOCFortress)
https://socfortress.medium.com/part-10-misp-threat-intel-68131b18f719

OpenCTIを構築した後、MISPと連携させる(OpenCTIをコマンドラインから導入した場合)

先日、MacのParalleles Desktop上にそれぞれ別サーバとして構築したMISPとOpenCTIを連携させてみたのでここにその方法を記載しておきます。

なお、以下に書いたとおり、OpenCTIを構築する場合、コマンドラインから構築する方法と、portainer.io経由で構築する方法があるようです。

私の場合はコマンドラインから構築しました。(portainer.io経由でもやってみましたが、今のところ私の環境では成功していません。)

コマンドラインから構築する場合は、こちらの方のサイトが参考になると思います。

Re:ゼロから始めるOpenCTI 導入編(Zenn)
https://zenn.dev/daiya/articles/658a4f4811e2fa

portainer.io 経由で構築したいという方は、こちらのサイトが参考になると思います。

OPENCTI INSTALLATION (blog agood cloud)
https://blog.agood.cloud/posts/2020/04/22/opencti-installation/

1.misp接続用のdocker-compose.ymlをコピー

OpenCTIが正常に構築できていることを確認した後、以下のGithubのサイトにmisp接続用のdocker-compose.ymlが置いてありますので、取りに行きます。

https://github.com/OpenCTI-Platform/connectors/blob/master/external-import/misp/docker-compose.yml

そのymlの3行目から最後(47行目)までをコピーします。

1  version: '3'
2  services:
3    connector-misp:
4      image: opencti/connector-misp:5.8.7
5      environment:
  ・・・
46       - MISP_INTERVAL=5 # Required, in minutes
47    restart: always

2.OpenCTI用のdocker-compose.ymlに貼り付ける

1.でコピーしたデータを OpenCTI用のdocker-compose.ymlの中に貼り付けます。

なお、docker-compose.ymlの場所は、openctiをどのディレクトリ配下に構築したかに依存しますが、私の場合、/usr/local/openctiというディレクトリを作って構築したので、その下のdockerディレクトリ の中にありました。

docker-compose.ymlをviなどで開いた後、以下のように「connector-import-document」のセクションの直後に先ほどコピーした「connector-misp」のセクションを挿入します。

・・・
 connector-import-document:
    image: opencti/connector-import-document:5.8.3
    environment:
      - OPENCTI_URL=http://opencti:8080
      - OPENCTI_TOKEN=${OPENCTI_ADMIN_TOKEN}
      - CONNECTOR_ID=${CONNECTOR_IMPORT_DOCUMENT_ID} # Valid UUIDv4
・・・
    restart: always
    depends_on:
      - opencti
  connector-misp:
    image: opencti/connector-misp:5.8.3
    environment:
      - OPENCTI_URL=http://opencti:8080
      - OPENCTI_TOKEN=${OPENCTI_ADMIN_TOKEN}
      - CONNECTOR_ID=(UUIDv4を取得し設定)⭐️
      - CONNECTOR_TYPE=EXTERNAL_IMPORT
・・・
      - CONNECTOR_LOG_LEVEL=info
      - MISP_URL=https://(MISPサーバのIPアドレスを設定)⭐️
      - MISP_REFERENCE_URL= # Optional, will be used to create external reference to MISP event (default is "url")
      - MISP_KEY=(MISPのAPIキーを設定)⭐️
      - MISP_SSL_VERIFY=false # Required
・・・
      - MISP_INTERVAL=1 # Required, in minutes
    restart: always
    depends_on:
      - opencti
volumes:
  esdata:
  s3data:
  redisdata:
  amqpdata:

「connector-misp」のセクションを挿入したら、環境に合わせて修正をしますが、通常は⭐️をつけた3つの部分だけ変更した方がよいです。

なお、最初の⭐️の部分のUUIDv4ってなに?って感じの人(私もそんな1人です)もいると思いますが、以下のサイトから生成した世界に一つ?のIDをコピーしてくるだけで大丈夫です。

Online UUID Generator
https://www.uuidgenerator.net/version4

それ以外を編集するとたぶんハマると思います。

たとえば「OPENCTI_URL」「OPENCTI_TOKEN」あたりを変えたくなるかもしれませんが、それを変えてしまった為に私はすこしハマりました。

3.OpenCTIを再ビルドする

上記のymlファイルを編集した後、 OpenCTIを再起動すれば変更が反映されるとおもっていました。

しかし実はそうではなく、再ビルドのコマンドを実行する必要があるようです。そのコマンドがこちらです。

$ docker-compose up -d --build

これを知らなかったが為に、いくらymlファイルを修正してもうまくいかず、かなりハマってしまいました。

以下のZenn様のページが参考になりました、ありがとうございました。

Re:ゼロから始めるOpenCTI External Input Connector編(Zenn)
https://zenn.dev/daiya/articles/ce1c3ad92c53aa

4.OpenCTIのダッシュボードを確認してみる

うまく設定できていれば OpenCTIダッシュボードの「Data」-「Connector」に以下のとおりMISPが表示されその横のマークがグリーンになっているはずです。

OpenCTIダッシュボード

もしうまくいかない場合は、、、

以下を試してみるといいかもしれません。

A. portainer.ioをインストールしてみる

OpenCTIをインストールしたマシンに、portainer.ioを入れてみましょう。これによりDockerの状態がGUIで見れるようになり、問題点がわかりやすくなります。

portainer.io

B. 以下のコマンドを打って環境を整え直してみる

正直あまり根拠はありません(MISPとの接続にhttps接続が必要だったので関係あるかなと思っているくらいです)が、以下のコマンドをOpenCTIのサーバ上で打ってみるといいかもしれません。

sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

それぞれのコマンドの詳しい説明は冒頭に紹介した「OPENCTI INSTALLATION (blog agood cloud)」を見てください。

MISP と Splunk をREST APIで連携させて、特定のイベントのMD5をSplunk上に表示させてみた

MISP で集めたIoCをうまくSplunkで活用できないかと思い、まずはSplunk上で MISP からとってきた特定イベントの IoC(MD5)を表示させてみました。

なお、これから説明する手順の前準備として、SplunkとMISPを連携させる為に、MISPのApp(MISP42)をSplunkにインストールしています。

1.MISPのインスタンスを作成

MISPのAppのメニューバーから「設定」を選択後、「追加」ボタンを押します。

Splunk – MISP42 App

すると以下の設定画面が表示されますので、MISPの「URL」「API Key」を設定します。

なお「Check MISP Certificate」のチェックは今回テスト利用の為、外しておきました。

Splunk – MISP42 App

2.MISPのイベントIDを検索

MISPのAppのメニューバーの「MISP CUSTOME COMMAND」のプルダウンから「MISP custome command mispgetioc」を選択すると以下の画面が表示されます。

今回は赤枠の「misp instance」「eventid」「タイプ」を設定し「実行」ボタンを押してます。

Splunk – MISP42 App

すると画面の下の方に検索結果が表示され、MISP と同じ情報が表示されていることが確認できました。

Splunk – MISP42 App

これとSplunkのログを突き合わせることができれば、悪性のIoCをキーにアラートが出せそうです。