セキュリティソフトウェア調査機関を分析する（コンシューマー向け）

Windows はデスクトップOSマーケットシェアの7割を占めており、狙われやすい大きなマトです。このためセキュリティソフトウェアは Windows PC にはなくてはならない製品です。

Windows 専用セキュリティソフトは全世界で数百個存在します。有名どころだけでも10数個あり、選ぶのに困るユーザーが多いと思います。

本記事はコンシューマー向けの Windows専用セキュリティソフトの調査を行っている機関のテスト内容や範囲などを分析していきます。

概要

セキュリティソフトウェアはテストするのに膨大な時間と知識が伴うため客観的な評価が難しい製品です。マルウェア検体を収集するだけでも一苦労です。

第三者によるオピニオンの潜在的需要は大きく、たくさんのウェブサイトが玉石混交の意見をばらまいています。そこでセキュリティソフトのテストを専門的に行っている独立系研究所（テスター）の出番というわけですが、需要は大きいがコンシューマー側は誰も金を出したくないという状況です。

そのためこういった研究機関もセキュリティソフトウェア企業から多額の依頼料を受け取ってテストを行っている場合が多いです。応募費用を払って審査してもらうモンドセレクションみたいなものです。AMTSO のような標準化団体の設立により露骨な贔屓はなくなったと思いますが、必ずしも現実的な評価ではない可能性があります。事前にテスト内容を公表したりセキュリティソフトウェア会社に有利な古い検体を使って調査をしている研究機関も多いです。

ですが消費者に全く判断材料がないよりもマシであり、その製品の性能が最低ラインをクリアできているかどうかの指標になります。逆に言えばこれらの調査機関でテストすら公表されていない、あるいはひどい結果の製品は厳しい目で見たほうが良いでしょう。

AMTSO

「Anti-Malware Testing Standards Organization （AMTSO）」は2008年に設立されたセキュリティ製品テストの標準化 NPO です。公正で適切かつ客観的なマルウェアテストの手法を確立・推進することを目標としており、セキュリティソフトウェア企業や研究機関、出版社などの業界団体が参加しています。

公正な評価を下すための第三者機関の公正な評価を促すための団体、というマトリョーシカ人形のようななんとも滑稽な団体ではあります。

また AMTSO は「リアルタイム脅威リスト 、Real Time Threat List (RTTL)」 の作成を行っており、マルウェア検体をリスト化しメンバーに共有しています。この取り組みによりセキュリティソフトウェアは脅威に対し迅速な対応が取れたり、小規模なテスターもこの検体コレクションを利用してテストを行えるなどのメリットがあるとのことです。

AMTSO も完璧とは程遠く、内外からたまに批判が飛び交うことがあります。その最さいたる例はベンダー（セキュリティソフト企業）側のメンバー数が多いため、テスター（研究所側）の立場が弱いという指摘です。最終決定は多数決によってなされるからです。

NSS Labs （現CyberRatings） という研究所が AMTSO が独禁法違反だとして CrowdStrike、ESET、Symantic を訴えたこともありました。これらの企業が AMTSO に新たなルールを設けて NSS Labs を締め出そうしているという主張でした。結局この訴えは AMTSO の決定に強制性はなく、また証拠不十分だとして裁判所により棄却されましたが、度々テスターが不満をもらしては去っていくということが起こっています。

小規模テスターの入れ替わりは割と多いです。おそらく資金調達に失敗して撤退していった団体が多いと思われます。AV-Comparatives や AV-TEST に掲載してもらうには年間およそ500万円の試験費用を求められるのでベンダーもあまり多くのテスターに調査を依頼したくないのも原因でしょう。

こう見るとあった方が良いのか無い方が良いのかわからないような団体ですが、公正なテスト環境を広める試みを完全に放棄するよりまだ良い、と個人的には考えています。参加団体はそこらのサイトよりは信頼できるといえるのではないでしょうか。

現在2024年活動している AMTSO 認定テスター：

• AppEsteem アンチPuP評価のみ
• AV-Comparatives
• AV-Test
• AV Lab Cybersecurity Foundation
• ICSA Labs ※
• MITRE Engenuity ※
• MRG Effitas ※
• NioGuard Security Lab
• SE Labs
• SecureIQLab ※
• Testing Ground Labs 2024調査報告なし
• Virus Bulletin

※企業向けのみ

AMTSO – TESTS (amtso.org)

AMTSO ホームページでは参加している研究所のテスト結果へのリンクが掲載されています。チェックボックスを押すことでインタラクティブにフィルタリングが行えるので便利です。

Virus Bulletin はスパムメール機能の評価した行っておらず、コンシューマー向け Windows 専用セキュリティソフトの総合的な調査を行っているのは4団体のみです。

ATPテストの重要性

悪意のあるURLや既知マルウェアのダウンロードを防げるかどうかは重要なことですが、Windows に組み込まれた機能、APIやアプリケーションを利用した検知しにくい高度な攻撃を防げるかどうかも重要です。

こういった攻撃が厄介なのは標的システムのストレージ内にファイルを生成することなく、インターネットや外部ストレージ経由で直接システムの DRAM や CPU のキャッシュメモリーを書き換えてくることです。検出するには旧来のデータベース方式とは別のアプローチが必要になってきます。

近年、 VBScript 、JavaScript や MS Office のマクロ機能などを利用して標的のシステムメモリ内にバックドアを仕掛け、C&C（C2、コマンド＆コントロール）サーバーへのチャネルを作り出して遠隔攻撃を仕掛けてくるケースが多く、こういったスクリプトの解析や振る舞いを検知する性能が注目されてきています。

また Windows PowerShell を利用し リモートコール（PSexec、wmic）、レジストリエントリーやWMIコールを書き換えることでマルウェアを植え付ける攻撃も急増しています。

これらの攻撃への防御をそのまんまですが ATP（Advanced Threat Protection、高度な脅威に対する防御）と呼ばれ、ATPテストを行わない調査機関のテストは無意味だと豪語するセキュリティ専門家もいます。

	オンライン	オフライン	ATP	スパム保護
AV-Comparatives	〇	〇	〇	△
AV-TEST	◯	◯	◯	△
AV Lab Cybersecurity Foundation	◯	X	X	△
SE Labs	〇	X	X	△
Virus Bulletin	△	△	X	〇

△＝明確なテスト項目を設けていない

AV-Comparatives

1999年にオーストリア、インスブルック大学内で学生プロジェクトとして始まり、2003年に独立組織として活動を開始。コンピューター・ネットワークセキュリティやセキュリティソフトウェアの評価などを行っている組織です。

Windows 向けセキュリティソフトには以下の5種類のテストを実施しています。

• Real-World Protection Tests（現実世界防御力テスト）
• Malware Protection Tests（マルウェアに対する防御力テスト）
• Performance Tests（パフォーマンステスト）
• ATP – Advanced Threat Protection Tests（高度な脅威に対する防御力テスト）
• False Alarm Test（誤検知テスト）

テストメソドロジー

コンシューマー向けのセキュリティソフトをテストする際は実機上ですべてデフォルト設定のまま行われる。

製品に同梱されたいかなる機能が脅威をブロック、システムへの変更を阻止しても有効とみなす。例えばブラウザープラグインが危険なダウンロードをブロックしてもアンチウィルス機能がマルウェアの起動を阻止してもブロックとカウントする。

独自のテストフレームワークソフトウェアをすべてのマシンにインストール。インターネットにフルアクセスできる環境でこのソフトウェアはリストアップされた悪意のあるURLにアクセスし、ファイル、レジストリ、MBR、プロセスや通信内容に変更が行われたかどうかモニタリングを行う。

検体ソースは独自のWebクローラーを用いてネット上から実在する悪意のあるURLをリストアップ。また手動でも悪質URLの抽出を行うこともある。これらの方法で十分な検体数を見つけられなかった場合は外部の契約調査員（おそらく VirusTotal）に提供してもらうこともある

・リアルワールドテストでは悪意のあるURLにアクセスする毎に数分の待ち時間を設け、防御できたかどうかを評価する。その後、テスト1回毎に環境をリセットできる機能を有しており他のマルウェアの影響を受けないようにしている。レポートは年2回3ヶ月分のデータ公開される。

・マルウェアテストではオンラインでのデータベースに基づいたテストだけでなく、オフライン状態のヒューリスティック・テストも行っている。

・パフォーマンステストではファイルの読み書きや圧縮解凍速度を測定するだけでなく、PC Mack ベンチマークも行っている。

・ATP（アドバンスドスレット・プロテクション）テストでは、ロッキード・マーティン社のサイバーキルチェーン・フレームワークを参考に疑似攻撃プログラムを作成しテストを行っている。15のテストシナリオを用意。ハードウェアブレイクポイントを使用して AMSI を無効化してシェルコードを実行するなど特殊な攻撃方法もテストに含まれている。年1回行われる。

Test Methods (av-comparatives.org)

AV-TEST

2004年に設立、ドイツに拠点を置いているコンピューターネットワーク・セキュリティソフトウェアを評価およびランク付けしている独立組織です。

コンシューマー向けWindows専用セキュリティソフトでは以下の3つのテストを行っています。

• ATP endurance test （ATPテスト）
• Ransomware and info stealers ATP test（身代金要求型ウィルス＋インフォスティーラーATPテスト）
• Consumer Product test（コンシューマー向け製品テスト）

テストメソドロジー

コンシューマー向けWindows専用セキュリティソフトのテスト（Consumer Product test）では「パフォーマンス」「防御力」「ユーザビリティ」の3つの項目に分けて評価している。インストールした直後のデフォルト設定で行われる。インターネットにはフルアクセス権限が与えられている。

AV-TEST独自の解析ソフトウェアでシステムのマッピングを行い、悪意のあるURL、汚染されたURLにアクセスしテストを行う。このマッピングシステムにより、悪意あるプログラムが完全にブロックできたか判断する。

製品に同梱されたいかなる機能がアクセスをブロックしても有効とみなす。

テストは毎月行われる。検体は2種類に大別され収集した実在する悪意のあるURL・メールや0dayマルウェアと、発見されて4週間以内の既知のマルウェアに分けられてテストが行われる。

Antivirus Testing Procedures (av-test.org)

ATPテストでは今年は（2024年）30個のシナリオを用意してテストを実施。ファイルレス攻撃だけでなく、MSI や NSIS（Nullsoft Scriptable Install System）、ショートカットファイル（.LNK）にマルウェアコードを仕込むなど現実世界でよく見られる様々なテストシナリオを用意している。

ATP endurance test: 31 security products for 6 months in the advanced Windows 10 test (av-test.org)

AVLab Cybersecurity Foundation

2012年に設立されたポーランドに本社をかまえるコンピューター・ネットワークセキュリティを専門とする独立組織です。コンシューマー向け Windows 専用ソフトでは以下の2つのテストを実施しています。

• Advanced In-The-Wild Malware（高度の野良マルウェアテスト）
• Analysis of Online Payment Protection Modules（オンライン支払時の防御）

テストメソドロジー

Advanced In-The-Wild Malware テストは普通の野良マルウェアテストで年6回ほどレポートを公表している。

マルウェア検体はウェブクローラーと Dionaea、SHIVA、HoneyDB といった低、高対話型ハニーポットの組み合わせで収集されたあと、有効（有害）な検体か検証される。こういった研究所にしては珍しくテストした検体の種類を公表しており、CVSファイル形式でデータを配布している。

この研究所が面白いのはマルウェア検知までの反応速度や悪意のあるペイロードを実行前にブロックするのか、実行後にブロックすることができたのかわかりやすく比較していることだ。セキュリティソフトのレスポンスタイムはシステムへの負荷や快適性に影響してくるので重要な要素だ。

Methodology Advanced In-The-Wild Malware Test(avlab.pl)

SE Labs

2015年に創業、英国ロンドンウィンブルドンに本社を置くITサービス・ITコンサルティングを行っている比較的新しい企業です。MVI（Microsoft Virus Initiative） や NetSecOpen 、 AVAR Asia にも参加しています。

・Endpoint Protection

テストを年4回実施・レポートを発表しています。

スポンサードされていないため公平性が高いテストをしていると思われます。しかし独自に ATP スレットモデルなどを用意してテストするということは行っておらず、やや物足りない内容です。

テストメソドロジー

テストは実機で行われる。ウェブベースのアタック・脅威に対する防御力しかテストしておらず、オフラインでの性能評価はしていない。セキュリティソフトはデフォルト設定、インターネットへフルアクセスできる環境でテストは行われる。

セキュリティソフトウェアの全機能を活用できるように現実世界のようにフィッシングメールや悪意のあるURLへのアクセスという工程を踏んで行われる。マルウェアの遅延攻撃への対応を測定するため10分間の待機時間を設けている。

脆弱性が比較的多い有名どころ（おそらく Adobe や MS Office）のソフトウェアを標的システムにインストールしている。

検体は一部ラボで生成されているようだが詳細は明かされていない。

また誤検知を測定するため通常のソフトウェアや通常のURLへのアクセスも測定する。

SE Labs – Endpoint Anti-Malware Testing Methodology 1.21 [PDF] (selabs.uk)

レポート内容は所長の小粋な前書きから始まるのがまず不安を覚える。前述したように参考になるようなデータは少なく、半分くらいがテストの評価方法を載せており、苦し紛れに水増しされた大学生のレポートのようだ。

Virus Bulletin

セキュリティソフトウェアを開発している Sophos社の創業者らにより 1989年にイギリスで創業。AMTSO 設立に携わり、かつては信頼された出版社でしたが 2014年に紙媒体の出版を終了。2018年を境に電子版の出版も通常のテストも行わなくなりました。

現在はスパムメール対策ツールのテスト結果やマイナーなセキュリティソフトウェアの審査を中心に行っています。

テストメソドロジー

年約4回程度テストを実施。ベアメタル型（タイプI型）ハイパーバイザー上に Windows の仮想マシンを設け独自のテストアプリケーションをインストールし、監視・分析を行う。

マルウェア検体のおよそ50％は自社で収集したもので、残りはサードパーティーから仕入れている。PuP だけでなくゲームの改造MODやクリプトジャッキングも対象としている。また、Virus Bulletin が正当なソフトウェアの認めたリスト「Clean Set」をもとに誤検知率を割り出している。

Virus Bulletin VB100 Methodology (virusbulletin.com)

検出率100％と誤検知0件を達成できたセキュリティソフトには 「VB100」が授賞されます。

テスト結果が製品ごとのPDF配布となっており比較検証が非常に面倒。

また Norton や Bitdefender などの有名どころのセキュリティソフトウェアの検証は長らく行われておらず、テスト期間や検体数もバラバラなので製品の正確な比較検証ができない。

結論

AMTSO 参加のテスターは検体のハッシュ値やどの種類のマルウェアが防御をすり抜けたか詳細な情報を分析・公開しているところが少ないです。さらに ATPテストはシナリオ作成と攻撃プログラムを制作するのに技術が要するためか、2団体しか独自のテストを行っていませんでした。

結局どのセキュリティソフトウェアがどんな状況シナリオに強いのかなどが明確にわかるデータが少なく、判断材料としては物足りなく思うレポートが多いです。

またこれらの研究所は複数のベンダーに賞状を送っており、一番を決める気がないように見えます。「ベスト製品賞」やら「最優秀賞」に何製品も入賞させてたりお笑い種です。「20XX年 最優秀賞受賞」とベンダーはよくトロフィーを抱えて宣伝して回っていますがあまり真剣にとらえないようにしましょう。

これらの独立組織は製品がある一定の品質基準をクリアしているというお墨付きを与える団体であってテストに不正は（おそらく）ないものの、一つの賞が与えられているからと言って必ずしもベストな製品ではないことを留意しなければいけません。いくつか有用なデータを公開している団体も存在しますがちゃんとサイトに訪問してレポートを見なければなりません。 AV-Comparatives と AV-TEST はさすが大手だけあってドキュメントがしっかりしています。

個人的には AV-Comparatives のATPテストシナリオは合否結果を細かく公開していたので唯一ここは参考になるとか感じました。また AVLabs のレスポンス速度による評価は面白いと思いました。

おわり

Image by felixioncool from Pixabay