k2-ornata（個人的「やってみたこと」ブログ）

前回まではPythonを使ってWebサイトの情報をスクレイピングしました。

その際にPython用に提供されているさまざまなライブラリを利用すれば比較的簡単に情報が抜き取れることを確認しました。

https://k2-ornata.com/python_scraping_table/

一方で、最近では多くのWebサイトの方で情報にアクセスする為のAPIを提供しており、それを利用すればもっと簡単、確実に必要な情報を取り出すことが可能となっています。

そこで今回は、そんなWebサイトの例としてVirusTotalが公開しているAPIにPythonからアクセスし、情報を取得してみたいと思います。

１．VirusTotalにアクセスする為のAPI Key取得

PythonからVirusTotalのAPIにアクセスする為には、まず、API Keyという自分の身元を証明するKeyを取得する必要があります。

そのAPI Key をPythonのプログラムを経由してVirusTotalに渡すことで、初めてWebサイトのAPIを利用することが可能になります。

API Key はVirusTotalのアカウント情報に紐づいていますので、もしまだアカウントを持っていなければ、それを作るところから始めます。

VirusTotalへのサインアップ

以下のVirusTotalのトップページ右上にある「Sign up」からアカウントの登録をしましょう。

アカウント情報を登録すると自分のメールアドレスにSign upを完了する為のメールが送られてきます。

そのメールのリンクをクリックすることでアカウントの登録が完了します。

VirusTotalへのログインとAPI Keyの取得

登録が完了したらさっそくVirusTotalにログインします。

ログインするとページの右上に自分のユーザアイコンが表示されています。

そのユーザアイコンをマウスでクリックすると、プルダウンリストに「API key」が表示されています。

それをクリックするとAPI Keyや利用制限などの情報が記載されたページが表示され、自分の API Key が確認できます。

２．PCに「vt-py」ライブラリをインストール

VirusTotal からそのサイトのAPIに簡単にアクセスする為のPython用のライブラリ「vt-py」が提供されています。

それをPyCharmなどの開発環境にインストールします。

あたらしいライブラリをPyCharmに導入する詳しい操作方法については、私の以前のブログにも記載していますので参考にしてみてください。

３．Pythonでプログラム開発

そしていつもどおり、おもむろにプログラムを開発します。

import vt

apikey = "<API Key>"
url = "<URL>"

# access to VirusTotal and get URL information(object)
client = vt.Client(apikey)
url_id = vt.url_id(url)
url = client.get_object("/urls/{}", url_id)

client.close()

# print each attribute from object
print(url.get("categories"))
print(url.get("last_analysis_date"))
print(url.get("times_submitted"))
print(url.get("last_analysis_stats"))

２行目の<API Key>の部分は自分のAPI Key を “8・・・・・a”のような感じで埋め込んでください。

また３行目の<URL>については、例えば yahooについて調べる場合は、”https://yahoo.co.jp”のような感じで埋め込んでください。

なお今回は、Pythonのプログラムに直接API Keyを埋め込む形になっていますが、正しくはAPI Key情報は別のファイルに保存し、しっかり暗号化などしておいてほうがよさそうです。

うっかり漏らしてしまうと、自分になりすましてアクセスされてしまいますよー。

４．Pythonの実行

実際にあるサイトについて実行した結果は以下の通り harmless : 87, malicious : 0 となっていました。問題ないという判断のようですね。

{'Forcepoint ThreatSeeker': 'search engines and portals', 'Sophos': 'portal sites', 'alphaMountain.ai': 'Search Engines/Portals', 'Comodo Valkyrie Verdict': 'mobile communications', 'BitDefender': 'news'}

1654330912

489

{'harmless': 87, 'malicious': 0, 'suspicious': 0, 'undetected': 8, 'timeout': 0}

ちなみに自分のサイト（k2-ornata.com/）を調べようとしたところ、以下のとおり知らんと言われましたー。

vt.error.APIError: ('NotFoundError', ・・・

それなりに良い意味でも悪い意味でも有名なサイトでないといけないようです。＾＾；
まあ、すでにDBに格納されているデータから情報を取り出しているのであ当たり前ですね。。。

５．他にどんな情報が取れるのかは要確認・・・

今回は指定したURLに関して以下の４つの情報が取れることがわかりました。

categories
last_analysis_date
times_submitted
last_analysis_stats

しかし、その他どんな情報がとれるのかについては調べきることができませんでしたので、今後の課題にしておきたいと思います。

＜参考サイト＞

・VirusTotalの公式APIライブラリ「vt-py」を使ってみた。（たれながし.info）
https://tarenagashi.hatenablog.jp/entry/2021/06/09/223105
・vt-py Quickstart（VirusTotal）
https://virustotal.github.io/vt-py/quickstart.html#get-information-about-an-url

前回はRequests と Beautiful Soupを使ってWebページの特定のタグの情報を読み込んで見ました。

https://k2-ornata.com/python_web_scraping/

しかし、そのライブラリだけだとWebページ内のテーブルの情報を抜き出すのは大変そうだなあとおもっていました。

そんな中、Pandasというライブラリを使えば簡単にテーブルの情報を抜き出せるようでしたので、トライしてみました。

１．ライブラリの読み込み

まずは必要なライブラリをPyCharmに取り込みます。
今回、Pandasとlxmlを初めてPyCharmで利用するので、以下のように取り込んでいます。

２．プログラミング

そしていつものように＾＾、おもむろにプログラミングします。

なお、今回スクレイピングしているサイトも、前回同様、私のブログ
https://k2-ornata.com/security-countermeasure/
となっています。

import pandas as pd

url = 'https://k2-ornata.com/security-countermeasure/'
dfs = pd.read_html(url)

# table count
print(len(dfs))

# head 5 line print
print(dfs[0].head())

# cell[0,0] print
print(dfs[0].iat[0,0])

# cell[0,1] print
print(dfs[0].iat[0,1])

# first column only print
print(dfs[0].iloc[:,[0]])

簡単に内容を説明すると、

最初の３行・・・ライブラリを読み込んだあと、Webページを読み込み、dfsに格納
次の２行・・・Webページ内のテーブルの数を表示
次の２行・・・最初のテーブルdfs[0]の先頭５行を表示
次の２行・・・最初のテーブルdfs[0]のセル[0,0]の内容を表示
次の２行・・・最初のテーブルdfs[0]のセル[0,1]の内容を表示
最後の２行・・・最初のテーブルdfs[0]の１列目[0]を表示

となっています。

そして以下が実行結果です。（見やすくする為に各printの間に１行入れています。）

13

      0                                                  1
0    概要  CSPM（Cloud Security Posture Management）クラウドの設定...
1  参考文献  改めて知るCWPP（Cloud Workload Protection Platform）と...

概要

CSPM（Cloud Security Posture Management）クラウドの設定に不備がないかチェックし、不備があれば自動的に修正までしてくれる製品と思われる。CWPP（Cloud Workload Posture Management）オンプレやクラウド上の様々なワークロード（※）における脆弱性管理やセキュリティ保護を行う製品と思われる。両者をどちらもカバーする製品として、パロアルト社のPrisma Cloudがあり、CNSP（Cloud Native Security Platform）と読んでいる。※ワークロードっていう言葉はいつきいてもあまりピント来ませんが、物理マシンや仮想マシン、コンテナ、サーバレスなどを指すらしい。

      0
0    概要
1  参考文献

３．Pamdasの使い方

Pandasを使うと今回のように、Webページ内のテーブルの数や、特定のテーブルの情報、さらにその中テーブルの中の特定のセルなどの情報が読み取れるようです。

とりあえず今回使用したものを簡単に説明しておきます。

len(dfs)

dfs の中にWebページ内の全てのテーブル情報が書き込まれ、len()関数を使うことで、そのテーブルの数（Webページに全部で何個テーブルがあるか）をカウントできます。

dfs[テーブル番号]

dfs[テーブル番号]という形で指定することで、ページの先頭から何番目のテーブルの情報かを指定することができます。

dfs[テーブル番号].head()

.head()関数を使うことで、指定したテーブルの先頭から５行目までを取得することができます。

dfs[テーブル番号].iat[行,列]

.iat[行,列]を使うことで、指定したテーブルのどのセルの情報を取得するかを指定することができます。

dfs[テーブル番号].iloc[:,[列]]

.iloc[:,[列]]を使うことで、指定したテーブルの特定の列の情報だけを取得することができます。
なお、”:”の記述はとりあえずおまじないとおもっておけばいいと思います。（あまりよくわかってないのでー。）

４．最後に

過去３回に渡ってPythonを触ってみましたが、Pythonにはいろんなライブラリがあり、それをうまく使えばいろんなことがとても簡単にできるなあと実感しました。

Pythonが人気があるのもわかる気がしますね。

＜参考サイト＞

・Python, pandasでwebページの表（htmlのtable）をスクレイピング（note.nkmk.me）
https://note.nkmk.me/python-pandas-web-html-table-scraping/
・pandasで任意の位置の値を取得・変更するat, iat, loc, iloc（note.nkmk.me）
https://note.nkmk.me/python-pandas-at-iat-loc-iloc/

最近お仕事でWebのスクレイピングの話題がホットになっているので、実際、どういうところまでPythonを使ってできるのか試してみました。

なお、PythonにはWebからデータを取得してくるライブラリがたくさんあるようなのですが、今回は、

・Webサイトからのデータ取得・・・Requests
・HTMLデータの解析・・・Beautifule Soup

を利用することにしました。

他にもSeleniumというものもあり、そのライブラリを使えばHTMLデータの取得から解析までまとめてできるようなんですが、どうやら少し重いらしいので、それぞれ専門のライブラリに任せてみることにしました。

なお、Python開発環境のセットアップや必要なライブラリのインポート方法については以下の記事で書いていますので、もしよければ読んでみてください。

https://k2-ornata.com/mac_python_install_and_excel_operation/

ではさっそくやってみます。

１．ライブラリの読み込み

PyCharm を起動し新しいプロジェクトを作成した後、先ほどのRequests とBeautiful Soupのライブラリを取り込みます。

ぶっちゃけ、これで準備は完了です。

２．プログラミング

それでは、おもむろにプログラミングを始めましょう。

ちなみに今回スクレイピングするサイトは自分のブログサイト
https://k2-ornata.com/security-countermeasure/
になっています。

そして、今回書いたコードは以下の通りです。

import requests
from bs4 import BeautifulSoup

url = "https://k2-ornata.com/security-countermeasure/"

res = requests.get(url)

soup = BeautifulSoup(res.content, "html.parser")

ttl_tag = soup.select("h1")

ttl_txt =soup.head.title.text

hed2 = soup.find('h2', id='cspm').text

print(ttl_tag,':',ttl_txt,':',hed2)

全部で９行ありますが、ざっくり言うと、

最初の２行・・・ライブラリ（Requests, Beautifule Soup）の読み込み
次の３行・・・RequestsをつかってWebサイトデータの読み込み
次の３行・・・Beautiful soupをつかってHTMLデータから必要なデータを抽出
最後の１行・・・抽出したデータを”:”で区切って画面に表示

となっていて、実行結果はこちらです。

[<h1 class="entry-title">セキュリティ対策技術</h1>] : セキュリティ対策技術 – k2-ornata : CSPMとCWPP

うーん、結構簡単に出来ちゃいました。

でもWebサイトのHTML構造をちゃんと把握しないとデータの抽出がうまくいかないので、そのあたりの解析が難しいかなと思いました。

また、Beautiful Soupでデータを抽出するときに、いろいろなやり方があるようなのでそれをマスターするのも大変そうです。

ということで、以下に少しBeautiful Soupの使い方をまとめておきます。

３．Beautifule Soup によるデータ抽出方法

１．select関数を使う

“soup.select(“h1”)”のように記載すると<h1></h1>タグで囲まれたデータをタグも含めて取ってきてくれるようです。

今回の実行結果では以下のようなデータが取れました。

[<h1 class="entry-title">セキュリティ対策技術</h1>] 

２．head.title.textみたいに書く＾＾

“soup.head.title.text”みたいに書くと、HTMLデータの中の「ヘッダー」の中の「タイトル」についてテキストのみを取ってきてくれるみたいです。

今回の実行結果では以下の部分が該当します。

セキュリティ対策技術 – k2-ornata

正直、タイトルをどうやって判断しているのかよくわかっていません。なんで後ろに” – k2-ortana”ってついてくるんだろう？＾＾

３．find関数を使う

“soup.find(‘h2′, id=’cspm’).text”のように記載すると、<h2></h2>タグで囲まれたもののうち、”id”属性が”cspm”となっているものを選んで、テキスト属性だけ取り出してくれるようです。

今回の実行結果では以下の部分が該当します。

CSPMとCWPP

４．最後に

今回実際スクレイピングしてみて、とっつきとしては思った以上に簡単だなあと思いました。

ただし、属性のついていないタグのデータとか、表のセルを指定してデータを取得するとかやりだすと、いろいろテクニックやライブラリを使わないといけなさそうです。

次に機会があればもう少しつっこんで試してみたいと思っています。

＜参考サイト＞

・PythonでWebスクレイピングをする方法を解説！【入門編】（Udemy）
https://udemy.benesse.co.jp/development/python-work/web-scraping.html
・［Python入門］Beautiful Soup 4によるスクレイピングの基礎（＠IT）
https://atmarkit.itmedia.co.jp/ait/articles/1910/18/news015.html

最近、セキュリティの自動化製品であるSOARの勉強をしておりますが、SOARからpythonのプログラムを動かせばなんでもできそうだなとおもっています。

そこで、今後の為にpythonの勉強をしてみることにしました。

１．python3のダウンロード＆インストール

Macでpython3の環境を整える方法は以下の２種類の方法があります。

a．Webサイトからインストーラをダウンロード
b．Homebrewでインストール

今回は a．のWebサイトからダウンロードする方法でインストールしてみました。この場合、以下のサイトにアクセスします。

https://www.python.org/downloads/

すると以下のサイトが表示されるので、上部にあるメニューから「Downloads」-[macOS]を選択します。

すると、mac用のインストーラがいくつか表示されていますので、そこから好きなバージョンをダウンロードします。

ダウンロードが終わったら、それをマウスでダブルクリックするとインストールされます。

これで基本的なpythonの開発・実行環境は準備できました。

しかし、このインストーラに含まれる開発環境は基本的な物なので、使いがってはあまりよくなさそうです。

そこで、PyCharmというVisual Studio的な開発環境をインストールします。

２．PyCharmのインスール

PyCharmは以下のサイトからダウンロード可能です。

https://www.jetbrains.com/ja-jp/pycharm/

上記URLにアクセスすると以下のようなサイトが表示されるので、真ん中の「ダウンロード」をマウスでクリックします。

するとさらに以下の画面が表示されるので無償版の Community のダウンロードボタンを押してダウンロードします。

ダウンロード後のインストールについては、他のアプリケーションと同じ操作方法で実施します。

３．PyCharm の起動

PyCharm を起動すると以下のウィンドウが表示されますので、「New Project」を選択します。

すると新しいプロジェクトの設定画面が出てきますので、とりあえず赤枠のプロジェクト名だけ設定し、「Create」ボタンを押します。

これで開発画面が開きます。

４．Excelを扱うライブラリopenpyxlのインストール

開発画面からプログラムを書く前に、Excelを扱う為のライブラリをインストールしておきます。

PyCharm のメニューから「Preferences」を選択します。

Preferencesのウィンドウが出たら左側のペインから「Project:＜プロジェクト名＞」-「Python Interpreter」を選択します。

さらにメインウィンドウにある小さな「＋」を押すと以下の画面が表示されますので、openpyxlと打ち込んで検索し、一番下にある「Install Package」ボタンを押しインストールします。

５．Excelファイルのセルの情報を読み込むプログラムの記述

これでExcelファイルを扱う開発環境が整いましたので、プログラムを作成します。

指定したファイルのセル（この場合、B1セル）を読み込むだけであれば、以下のような簡単なプログラムで作成できます。

import openpyxl

wb = openpyxl.load_workbook('../../Downloads/sample.xlsx')
sheet = wb['sample']
value = sheet.cell(row=1, column=2).value
wb.close()

print(value)

なお今回読み込んでいるファイルの情報は以下の通りです。

ファイルの場所：ダウンロードフォルダ直下
ファイル名：sample.xlsx
シート名：sample

６．PyCharmでのプログラム実行

プログラムを書いたらそれを実行します。
実行についてもPyCharm上で行うことができます。

プログラムを記述したメインの画面でマウスを右クリックし、「Run ‘main’」を選択します。

実行するとウィンドウの下側に実行結果を表示する画面が表示されます。

今回の場合、B1セルに”共通”という文字が書かれているのですが、その文字が赤枠の部分に正しく出力されています。
（なんかその手前にワーニングっぽいものが出てますが、とりあえず無視で。。。）

７．ターミナルで実行する場合

今回開発したプログラム”main.py”はターミナル上でも実行することができますが、別途、Homebrewなどでpythonの環境やopenpyxlを整えておく必要がありそうです。

その上で以下のコマンドを実行すれば、同様の結果が得られます。

python main.py

＜参考サイト＞

・Pythonの開発環境を用意しよう！（Mac）（https://prog-8.com/docs/python-env）
・PythonでExcelを操作し自動化する方法！ 読み込みや書き込み、グラフまで徹底解説（https://camp.trainocate.co.jp/magazine/python-excel/）
・PyCharmとは！？ 特徴と使い方入門（https://zero-cheese.com/4258/?utm_source=pocket_mylist）
・PythonでExcelファイル（xlsx）を読み書きするopenpyxlの使い方（https://note.nkmk.me/python-openpyxl-usage/?utm_source=pocket_mylist）