NiX Spam

Erfahrungen mit dem Filterprojekt der iX

2. Mailserver-Konferenz, 19. Mai 2005

Bert Ungerer, Redaktion iX

2

Spam der 1. Generation: Diebstahl der Aufmerksamkeit

� „Echte“ E-Mails von festen IP- und Absender-Adressen

� Gelegenheits- und Hobby-Spammer, die für eigene Produkte und Dienstleistungen werben

� Gegenmaßnahmen: kleine, lokale Blacklists unerwünschter IP- und From:-Adressen, Beschwerden beim Provider des Spammers, in Deutschland: Abmahnungen, Klagen

3

Spam der 2. Generation: Diebstahl einzelner Ressourcen

� Spammer nutzen Server-Schwachstellen, zum Beispiel Open Relays, CGI-Skripte (Formmail), offene Proxies.

� Fälschung von Header-Einträgen (From:, Received: etc.)

� Verschleierung der Urheberschaft

� Professionalisierung der Spammer, Auftragsarbeiten

� Gegenmaßnahmen: netzweit verfügbare, per DNS abfragbare IP-Blacklists (DNSBLs), Inhaltsfilterung und -vergleiche

4

IP-Black- und Whitelists

� IP-Adressen sind nicht fälschbar.

� Die meisten Mailserver versenden entweder nur Spam oder nur Ham.

� Lokale Blacklists oder einfache Online-Abfrage mittels DNS (DNSBLs) bei der Annahme durch den Mailserver

� Oft unklare Policy der DNSBL-Betreiber

� Whitelists meistens lokal zur Milderung von Filter-Nebenwirkungen

5

Spam der 3. Generation: Diebstahl der Infrastruktur

� Von Spammern oder für Spammer installierte Open Proxies und andere Hintertür-Funktionen auf ungeschützten PCs

� Ferngesteuerte Zombie-PCs (Botnetze) als (verteilte) Mailserver für den Direktversand von E-Mails

� Organisierte Kriminalität, Allianz zwischen Spammern sowie Viren- und Wurmprogrammierern

� Verschleierung der E-Mail-Inhalte zum Unterlaufen von Inhaltsfiltern

� Gegenmaßnahmen: Dialup-Blacklists, Greylisting, Port-25-Sperre, Mailserver-Akkreditierung durch SPF, DomainKeys, MTAmark etc.

6

Verteilter Spam-Angriff

7

Verteilter Spam-Angriff

h001060c1f8b8.ne.client2.attbi.com

modemcable099.136-200-24.mtl.mc.videotron.ca

wsp030879wss.mccormick.mu.edu

u195n206.hfx.eastlink.ca

132.248.185.169

cable121-125.sudbury.personainc.net

AReims-105-1-14-81.w81-49.abo.wanadoo.fr

CBL217-132-78-209.bb.netvision.net.il

200-102-087-119.pltce7002.dsl.brasiltelecom.net

81-202-247-117.user.ono.com

149.159.61.217

c-67-163-94-77.client.comcast.net

212.73.179.192

12-223-224-81.client.insightbb.com

pool-68-163-228-99.bos.east.verizon.net

pcp03778052pcs.pimaco01.az.comcast.net

c210-49-78-109.belrs1.nsw.optusnet.com.au

203.160.179.229

pD9E8EBF0.dip.t-dialin.net

Einlieferndes Gateway (nicht fälschbar!)

jq33@mail.com

c8j7h2r@earthlink.net

os9@aol.com

3qa@email.com

1u2i5g@hotmail.com

348gj@bigfoot.com

ll8l81@mail.com

bec6@aol.com

qe9b@delphi.com

e90o52a0l@mail.com

3fqq3@hotmail.com

47eq1@bigfoot.com

rj8@mail.com

5g3287l7@yahoo.com

l6k@email.com

kbd615@bigfoot.com

t4ja@earthlink.net

3e10287i@earthlink.net

3k5fj@hotmail.com

Envelope-From

Gain 3+ Full Inches In Length

? The EZ way to increase penis size?

MUCH BIGGER PENIS?

ADD 3 INCHES IN LENGTH!

GAIN AN EXTRA 20% IN THICKNESS!

Stop Premature Ejaculation!

ADD 3 INCHES IN LENGTH!

HAVE MORE INTENSE ORGASMS!

Is your cock to small?

Natural Penis enlargement pill!

100% Safe To Take, With No Side Effect

Fast Distribution Worldwide

HAVE MORE INTENSE ORGASMS!

100% Safe To Take, With No Side Effects

Gain 3+ Full Inches In Length

Gain 3+ Full Inches In Length

Fast Distribution Worldwide

Stop Premature Ejaculation!

Produce Stronger Erections

Betreffzeile

Gemeinsames Merkmal: G

leiche Prüfsumme

8

DNS-Namen von Zombie-PCs und „richtigen“ Mailservern

� user-212-88-249-69.tvcablenet.be

� kbl-vlis2916.zeelandnet.nl

� d212-96-80-128.cust.tele2.fr

� 139.red-212-97-176.user.auna.net

� lyris.devworld.com

� voyager.usenix.org

� smtphost1.microsoft.com

9

Spam der 4. Generation: Diebstahl der Identität

� Spammer nutzen Backdoors und Spyware auf Zombie-PCs zum Ausspionieren der Anwender.

� Jetzt: Immer mehr Spam über offizielle Mailserver (Smart Hosts) der Anwender-Provider

� In Zukunft: Spam als individuelle E-Mails an Empfänger aus dem Adressbuch?

� Gegenmaßnahmen: ?

10

Wo filtern?

Mailserver des Absenders

Mailserver des Empfängers

Mailclient des Empfängers

Empfänger manuell

wachsender A

ufwand

Rückkopplung

11

Was filtern?

IP-Adresse des Absenders

SMTP-Befehle (z. B. HELO)

Header-Zeilen der E-Mail

Inhalt der E-Mail

wachsender A

ufwand

Rückkopplung

12

Wie filtern?

IP-Blacklists

Greylisting, Checksums

Heuristische Filter

Statistische Filter

wachsender A

ufwand

Rückkopplung

13

Exkurs: Greylisting

� Unterscheidung zwischen „richtigen“ Mailservern und Spam-Gateways durch strenge SMTP-Auslegung

� Verzögerte Zustellung

� Höherer Ressourcenbedarf bei Absender und Empfänger

� Whitelist notwendig

� Untauglich bei Missbrauch offizieller Mailserver

� Derzeit sehr wirksam

14

Greylisting an der Uni Würzburg

� Verzehnfachung des Spam-Volumens 2003

� Anfang 2004: Ablehnung aller E-Mails an ungültige Empfängeradressen

� Kurzfristiger Effekt, weiterhin drastische Steigerung

� Mai 2004: Einführung von Greylisting

Que

lle: U

ni W

ürzb

urg

2004

2003 2004

15

Anti-Antispam-Maßnahmen

� Fantasie-Adressen (asdf@jkl.com)� Blacklists von Absenderadressen

� Identitätsdiebstahl� Whitelists, Greylisting, SPF & Co.

� je mehr Filter, desto mehr Spam� beliebig

� Verschleierung durch „Tippfehler“,Javascript, HTML etc.

� Inhaltsanalyse mit statistischenFiltern (z. B. Bayes)

� pseudozufällige E-Mail-Inhalte� Prüfsummenbildung zur Erkennung schon bekannter Spam-E-Mails

� Durchprobieren, Suchmaschinen,Stehlen (Backdoors, Spyware)

� Verschleiern von Adressen,Vermeiden der Veröffentlichung

� „Zombie-PCs“ mit dynamischenIP-Adressen als "Wegwerf-Gateways"

� IP-Blacklists

Spammer-GegenmaßnahmeAntispam-Verfahren

16

Vorbeugende Antispam-Maßnahmen

� Höchstens (!) eine E-Mail-Adresse pro Mitarbeiter

� Ausnahmsweise eine weitere zum „Verbrennen“ (Freemailer)

� Mailserver-Feineinstellungen

� Laufend aktualisierter Virenscanner

� Unbenutzte PCs ausschalten

� Große Verteilerlisten nicht im Header verewigen (BCC)

� Schulung der Mitarbeiter

17

Fragwürdige Antispam-Methoden

� Geheimhalten der eigenen E-Mail-Adresse

� Unbrauchbare Adressen wie „meine at e-mail dot com“

� Automatische Antworten mit Aufforderung zur Bestätigung der Absender-Adresse (Challenge/Response)

� Viel Aufwand für einen Bruchteil der möglichen Verbreitungswege

18

Wie Spammer an Adressen gelangen

� Durchsuchen öffentlicher Quellen: Web, Newsgruppen, Whois- und andere Verzeichnisse …

� Ausprobieren: Adressbuch-, Wörterbuch- und „Brute-Force“-Angriffe

� Automatische Antworten

� Verseuchte PCs: „private“ Adressenlisten, Browser-Cache …

� Adressenhandel

19

Erste Hilfe bei Spambefall

� Keinen Link in Spam-Mails anklicken, auch nicht zum „Austragen“ (Unsubscribe)

� Laden externer Web-Inhalte durch die Mailclient-Software unterbinden

� Automatische Antworten nur an vertrauenswürdige Absender

� Unterstützung des eigenen Filters durch erweiterte mailto:-URLs auf den eigenen Kontakt-Webseiten

� Entsprechend vorausschauende Nutzung vollständiger Header in selbst versandten E-Mails

20

Was tun mit Spam?

� Unmittelbar abweisen (im SMTP-Dialog)

� Annehmen und löschen

� E-Mail mit Fehlermeldung (Bounce) an Absenderadresse

� Annehmen, Markieren und Zustellen

� Zustellen in Quarantäne-Verzeichnis, Mitteilung an Empfänger (bei Viren- und Wurmverdacht)

� Drei Kategorien: eindeutig Spam – unklar – eindeutig Ham

21

Ärgernis Autoreply und „Bounces“

� Die meisten Spams und Wurm-E-Mails tragen gefälschte, schlimmstenfalls existierende, da gestohlene Absender-Adressen.

� Automatische Antworten auf Spam und Würmer (Empfangsbestätigungen, „Out of Office“, ...) sind daher nicht nur sinnlos und ärgerlich, sondern können wichtige persönliche Informationen preisgeben.

� Automatische Bitten um Absender-Verifikation („Challenges“) wegen jeder Mail sind eine Zumutung!

� Fazit: Erst filtern, dann handeln!

22

E-Mail heute

indi

vidu

elle

s M

ail-V

olum

en

Spam-Wahrscheinlichkeit hochniedrig

?„Ham“

Spam

iX-Adressen: 0 bis über 400 Spam-Mails pro Tag

23

E-Mail morgen?

indi

vidu

elle

s M

ail-V

olum

en

Spam-Wahrscheinlichkeit hochniedrig

� MTA-Warnungen (u. a. wg. Spam+Viren)� Generell immer mehr "Automaten-Mail"� Bitten um Adress-Verifikation� Werbung von Geschäftspartnern

(oder die sich dafür halten)� andere "gut gemeinte" Werbung� Update your contact details� private E-Mails (Witze etc.)� Firmeninterne Junk-Mail� Bitten um Weiterleitung� Bitten um Verlinkung� Irrläufer� ...

Spam

Ham

Weder-noch

24

Absender nicht okay: Blacklist Match

Absen

der o

kay:

Whi

telis

t Mat

ch Mailbekannt:

ChecksumMatch

Header-Analyse

Eingehende

E-Mail

Body-+Header-Analyse

90% - 8% 2% 40%40%16%4%Ham Spam

Statistiken aus ca. 30.000 Spams/Woche an 30 Anwender

Kombinierte Filter-Elemente

25

Filter-Kombination:Ohne Inhaltsanalyse gegen „Botnetze“

hochredundant (meist durch Whitelist-Treffer bekannt)

stark differenziert (Netze aus Zombie-PCs, IP-Adresse oft unbekannt)

Absender-Mailserver

stark differenziert (meist Unikate)

hochredundant (meist durch Checksum-Trefferbekannt)

Inhalt der E-Mail

Erwünschte E-MailsSpam & Würmer

E-Mail nicht bekannt, Absender bekannt: wahrscheinlich Ham

Mail bekannt, Absender unbekannt: wahrscheinlich Spam

Folgerung

Datenschutzrechtlich weniger bedenklich als der Inhalts-Scan!

26

Autark durch Rückkopplung

� Eigenentwicklung „NiX Spam“: Procmail-Skript für SMTP-Gateways; ca. 100 heuristische Regeln in 1000 Zeilen

� Grundannahmen „Spam ist hochgradig redundant“ (=> Fuzzy Checksums) und „Gateways senden meist nur Spam oder nur Ham“ (=> White-/Blacklists).

� Ressourcenfressender Inhaltsfilter entlastet sich selbst mit jedem Blacklist-, Whitelist- und Prüfsummen-Eintrag.

� Mit steigender Zahl der Anwender sinkt die für eine Inhaltsanalyse nötige Rechenkapazität pro Anwender.

� Vermeidung von Nachteilen externer Dienste wie DNSBLs (Zeitverlust, Overhead, Kosten, geringe Nachvollziehbarkeit)

�Öffentliches Projekt: www.nixspam.org

40 %

40 %

20 %10 %

90 %

27

Filter-Elemente aus wirtschaftlicher Sicht

Gateways:Blacklist-Test

Tre

ffer-

Ant

eil

Kosten: Rechenlast, Transport, Speicherung, Arbeitszeit

empfangene E-Mails:Fuzzy Checksums

unbekannte E-Mails:Header-Analyse

noch unklare E-Mails:Body-Analyse

Je teurer das Verfahren, desto seltener kommt es

zum Einsatz – wenn sich die Elemente „kennen“ ...

Rückkopplung

28

Fazit

� Gegen verteilte Spam-Attacken helfen verteilte, miteinander gekoppelte Filterlösungen.

� Rückkopplung der Ergebnisse teurer Filter in günstigere Filter spart Ressourcen.

� Je mehr eigene E-Mails für die Rückkopplung zur Verfügung stehen, desto weniger Bedarf besteht am Import zusätzlicher Informationen (DNSBLs, Prüfsummen-Server).

� Die nächste Bedrohung (immer mehr Spam von „offiziellen“Mailservern) erfordert Ausgangsfilterung bei Providern.

� Spam-Gegenmaßnamen sollten stets zum Ziel haben, Spammer in deren eigene Infrastruktur zurückzudrängen.

29

Bei allem Aufwand: Das MediumE-Mail verdient jede erdenkliche

Maßnahme gegen seinen Missbrauch.

Bert Ungerer <un@ix.de>, www.nixspam.org

Oder?