Mobile „Real-World“ Protection Test Framework

Christoph Leitner

c.leitner(at)av-comparatives.org

7. Juni 2016

www.av-comparatives.org

Seite 2

Unsere Ziele

- Testen von IT-Sicherheitslösungen

- Detaillierte, qualitativ hochwertige

Testergebnisse

- Unabhängigkeit

- Kostenlos für Endbenutzer

http://www.av-comparatives.org

Mobile Security Reviews

Jährliche Tests von Sicherheits-Apps für

Mobilgeräte

Getestet unter anderem:

- Batterie-Verbrauch

- Funktionen

- Malware-Schutz

Seite 3

Mobile Malware Test

Auf echten Android Geräten

Mehrere tausend Malware Apps

- Erst On-Demand Scan

- Nicht erkannte Dateien manuell installieren

Seite 4

Seite 5

Anzahl der Samples

Mobile Malware Test – Zahlen 2014

Seite 6

Testset aus ca. 10.000 Samples

- 23 Produkte (einige in verschiedenen Varianten)

- Effektiv ca. 230.000 Samples zu testen

~16.000 Samples manuell zu installieren

- Je ca. 33h Arbeitszeit für 8 Mitarbeiter

- Also je etwa 4 volle Arbeitstage

Mobile Malware Test - manuelles Testen

Zeitintensiv

Monotone Arbeit

Ressourcenintensiv

Schulung der Tester

Nur bedingt synchronisierbar

- Nachteile für früher getestete Produkte

- Statistisch weniger aussagekräftig

Seite 7

Mobile Malware

Kaspersky Lab 2015: drei mal so viele

neue mobile Malware als im Vorjahr1

“Internet-of-Things” Geräte mit Android

- Uhren, Auto,TV, …

Tests für mobile Sicherheitslösungen

müssen mit der Malware Entwicklung

mithalten können

1https://securelist.com/analysis/kaspersky-security-bulletin/73839/mobile-malware-evolution-2015/

Seite 8

Mobile Real-World Protection Test - Ziele

Automatisierung

Tests auf physikalischen Geräten

Verhalten eines echten Benutzers

simulieren

Synchronisierung

Verschiedene Aspekte von AV Software

testen

- URL blocker, Real-Time /On-Access Schutz…

Sample Durchsatz erhöhen

Seite 9

Testvorgang (vereinfacht)

Seite 10

AV Software aktualisieren und Geräteabbild erstellen

Geräte mit dem Server verbinden und Monitor Tools starten

Geräte mit Malware infizieren

1. URL auf allen Geräten gleichzeitig öffnen

2. Malware herunterladen

3. Malware installieren

4. Malware ausführen

Geräte auf ihren Anfangszustand zurücksetzen

Architektur

Seite 11

Architektur - Server Anwendung

Fernsteuerung der Android Geräte

Interpretieren von Ergebnissen

Entscheidungen über Testverlauf

Speichern der Resultate

Seite 12

Architektur - Android Client

Aufzeichnen von Ereignissen

- Datei- & Prozessüberwachung

- App Monitor (Berechtigungen, …)

Erkennen von AV-Meldungen

Zurücksetzen

Seite 13

Architektur - AV-Software überwachen

Apps verwenden Funktionen des

Android Systems

- z.B. Anzeigen von Steuerelementen

Open-Source Framework

- Abfangen von Funktionsaufrufen

Seite 14

Architektur - AV-Software überwachen

Seite 15

view.setText(“Malware detected”);

Melde: “Malware detected”

Architektur - Zurücksetzen der Geräte

Malware geblockt:

- Deinstallieren/löschen

Malware ausgeführt:

- Snapshot wiederherstellen

Open-Source Recovery System

Seite 16

AVC UnDroid

Kostenloser Online Analyseservice für

Android Apps

Übermittlung von Apps über ein

Webinterface

Derzeit Weiterentwicklung

- Zusammenschließung mit dem mobilen

Testframework

- App zum Prüfen aller installierter Apps

Seite 17

AVC UnDroid - Analyse Bericht

Enthaltene Information:

- Prüfsummen

- Enthält die App Werbung?

- Berechtigungen

- Gespeicherte Webadressen

- …

Seite 18

AVC UnDroid – Vorteile für Nutzer

Für erfahrenere Nutzer:

- Detaillierte statische Analyse

Für weniger erfahrene Nutzer:

- Gefahrenpotenzial der App leicht

erkennbar

Seite 19

Fragen?

www.av-comparatives.org