C, PHP, VB, .NET

I. Какво е спам?

Едва ли има потребител в интернет, който да не използва електронна поща, та дори и бутафорно само с цел да се регистрира за дадени услуги. От това множество потребители пък едва ли има такива, които не са получавали "нежелани съобщения", които ние вече дори приехме в българския език като чуждицата "спам" (spam).

Когато говорим за "спам" обикновено го свързваме наистина само и единствено с електронната поща. Естествено съществуват и много други видове спам:

1. В коментари под блогове, книги за гости на сайтове;
2. В социални мрежи;
3. Във форуми;
4. По т.нар. Instant Messengers (ICQ, Skype, AIM, и др.);
5. В масови интернет игри;
6. SMS по мобилните телефони;
7. Обаждания по домашния или мобилния телефон;
8. SEO спам (да, т.нар. spamdexing го приемам за спам и наистина е нежелан).

Естествено, че множеството може да се разширява и с всякакви подобни услуги, но главният фокус на обема на понятието пада върху електронните услуги. Що се отнася до уеб-приложенията, които позволяват приемане и визуализация на информация от потребителите (1, 2, 3) - там сме свидетели на една непрекъсната борба на технологии. Обикновено не говорим за "лош човек", който пуска нежелани съобщения (естествено и такива има, но с тях се "справяме" сравнително лесно само с човешка сила - т.нар. модератори), а за компютърни програми, които злонамелено пускат масово нежелани съобщения (т.нар. "ботове").  Засега най-разпространената защита е captcha, но добиването на все повече компютърна изчислителна мощ все повече и повече затруднява процеса на тази защита, защото изображенията трябва да стават все по-трудни за разпознаване, а от там и все по-непрактични за обикновените потребители. Затова аз лично смятам, че captcha е тактика за защита със затихващи функции - колкото повече се развива компютърната техника, толкова повече captcha ще става непрактична. Затова в употреба влизат все повече и повече алтернативни услуги като akismet, които се базират на статистически методи, базирани на данни подадени от потребителите. Положението с IM и игрите (4 и 5) не е по-различно от това на другите уеб-услуги.

Колкото до споменатите SMS спам и нежелани обаждания по телефона (6 и 7) - там положението е по-скоро законодателно, отколкото технологично. Този вид спам е скъп  - обикновено той се прилага единствено от много големи корпорации, които обикновено клонят или са монополисти в бранша си. В такъв случай наистина проблема става политически и правата на гражданите трябва да се бранят от държавите. Например в САЩ съществуват т.нар. "do not call list (DNCL)" списъци, които дават законово право дори да съдите компании, които се опитват да рекламират продукти по телефона. Рекламните обаждания обаче са трудно доказуеми и все още в тази сфера има много законодателна работа.

Съвсем леко ще засегна т.нар. SEO (search engine optimization) спам (spamdexing). Истината е, че това не само е доходоносен бизнес, но вече се превърна и в професия. Наистина има много хора, които вече гордо се наричат "SEO експерти", които вкарват скрити фрази в страниците на сайтове, пускат връзки към страници извън контекста на темите по чужди сайтове, правят т.нар. "google bombing", само и единствено, за да успеят да "индексират" страниците си/за които работят по-напред в търсачките. Тук въпросът за разграничаване между стандартно оптимизиране на страница за по-добра позиция и spamdexing на страница е доста трудно. На практика "SEO" и "SEO спам" са едни и същи подходи - разликата се състои само в това дали страницата, която се "промотира" е свързана с ключовите думи или не.

В настоящата статия обаче ще се фокусираме основно върху най-популярния спам - този предаван по електронната поща. Есествено трябва да започнем от фундаментите на проблема - защо въобще ни пускат тези съобщения? Та нали те дразнят, та нали винаги ги изтриваме - какво се печели от това? Истината е, че от спам се печели!

II. Защо има спам?

Можете ли да си представите множеството от хора, които използват електронна поща? В днешния свят те са всякакви, от всички социални класи. Каквито хора има в обществото - такива има и в интернет. В развитите държави вече почти всеки използва интернет, затова можем да приемем, че дори множеството на всички хора скоро ще съвпада с множеството на интернет потребителите, а от там и множеството на хората имащи досег с електронна поща. Сега се замислете за хората, които виждате в обществото около вас. Има умни, глупави, богати, бедни, хитри, наивни, предприемчиви, загубени - в общи линии "за всеки влак си има пътници". Е, точно така е и със спам! И за него "си има пътници". Ако един от всеки хиляда потребителя повярва на съобщението, то това би било доста добра печалба. А ако смятате, че един на хиляда е прекалено малко, то нека да разгледаме статистиката на Cisco Systems за топ 10 държави за 2009, от които идва смам (мерната единица е "трилиони съобщения за година"):

1. Бразилия: 7.7;
2. САЩ: 6.6;
3. Индия: 3.6;
4. Южна Корея: 3.1;
5. Турция: 2.6;
6. Виетнам: 2.5;
7. Китай: 2.4;
8. Полша: 2.4;
9. Русия: 2.3;
10. Аржентина: 1.5.

Надявам се, че успях да ви убедя, че "спам" е проблем, който изисква специално внимание. Всъщност този бизнес е достатъчно печеливш, за да съществува и вътрешен "черен пазар" между "спамерите". Има търговия на e-mail адреси. Още повече - има търговия с профилирани e-mail адреси, като се продават списъци с потенциални клиенти в дадена сфера. Не рядко това се прави и от реномирани и известни компании, но естествено се осъществява "под масата" в нарушение на тяхната "privacy policy". Никога ли не сте си задавали въпроса защо при регистрация за дадена услуга ви анкетират за рождена дата, адрес на местоживеене, професия, хоби и други подобни неща, които по принцип нямат никаква връзка с услугата, която ще ползвате? Естествено другите банални начини да се сдобият с вашия e-mail адрес са намирането му от уеб сайт, социална мрежа, налучкване и др.

III. Кой изпраща спам?

Сега да разгледаме въпроса "как се изпраща спам". Обикновено "спамерите" не желаят да оставят следи кои са и не желаят да бъдат проследени. Това им помага при евентуално съдебно преследване, защото въпреки, че рекламират конкретна (неанонимна) услуга фактът, че изпращачът на съобщенията в нарушение е анонимен ги защитава доста умело (може конкурентна фирма да изпраща от ваше име и така да ви "злепоставя", нали?). Затова обикновено "спамерите" целят да са анонимни. Затова спам се изпраща най-често по следния начин:

1. През т.нар. "open mail relays" - обикновено начинаещи администратори на малки сървъри не знаят как да ги конфигурират и оставят своите SMTP сървъри да приемат заявки от всекиго, дори неавтентикирани потребители. Този проблем е наследство от първоначалния дизайн на електронната поща от зората на интернет. Въпреки, че проблемът с изпращането на спам от open mail relays е известен още от средата на 1990г., все още не е разрешен напълно. Обикновено сървър с open mail relay бива засечен и блокиран от своя доставчик (provider) бързо, но все пак през времето си на активност той изпраща огромно количество съобщения;
2. Чрез инфектирани с вирус потребителски машини - всеки компютър с достъп до интернет е потенциален SMTP сървър, който може да изпраща поща. Не са малко вирусите, които правят именно това - превръщат нищо неподозиращ потребител в "спамър";
3. Лошо написани интернет приложения - често можете да видите форми за контакти на уеб сайтове, които биват използвани за спам. Наистина при тях човекът, който получава спам е един (получателя от формата за контакт). Тук обаче не трябва да ограничаваме множеството само до такива форми. Има форуми и социални мрежи, които позволяват на потребителите си да изпращат съобщения един на друг - те също могат да бъдат експлоатирани за спам. Тук не става въпрос само за електронна поща - дори т.нар. "лични съобщения" във форумите са уязвими от "спам ботове". Спам в коментари или постинги също;
4. Доставчици на интернет - на пръв поглед звучи странно, но всъщност е разпространена практика. Често т.нар. "провайдъри" получават пари и допускат огромно количество спам, като когато получат оплакване, то се извиняват, че е уж от "техен потребител". Така де, толкова ли е трудно на провайдъра да инсталира софтуер за мониторинг на трафика и като забележи, че негов потребител е изпратил над 100 e-mail съобщения за една минута, то да го блокира моментално? Изглежда, че е трудно, защото "техни клиенти" успяват да изпратят милиони съобщения... Обикновено в почивните дни (като оправдание за доставчика).

IV. Законова рамка за борба със спам

Тъй като "спам" е вид бизнес, то независимо, че почти навсякъде се счита за нелегален, той няма да може да бъде спрян напълно. Това обаче не означава, че трябва да се примирим с него! Има два вида борба със спам - законова и технологична. По света, но най-вече в САЩ, има примери за съдебни дела срещу "спамери", но опитите в тази посока все още са плахи. Колкото до България - ние можем да се "похвалим", че сме първата и засега единствена държава, която легализира и узакони изпращането на спам. Вече често ще можете да видите писма, които съдържат текста "съгласно Закона за Електронна Търговия Ви съобщаваме, че съдържанието на този e-mail е непоискано търговско съобщение". Ако получите "нежелано съобщение" и то не включва този текст, то бихте могли да предявите съдебен иск. Истината е, че тази "битка" засега е обречена на провал. Понякога е трудно да се докаже кой е изпратил съобщението и трудно се доказва, че съобщението е било "нежелано". Е, не можем да не отречем, че тази законова мярка на българското правителство имаше и един много положителен ефект - в черният списък на спам филтрите на хората вече масово присъства фразата "непоискано търговско съобщение". Честно казано засега тази мярка помага доста - възможно е това да се окаже правилен подход в крайна сметка.

V. Технология за борба със спам при получателя

Технологичната борба със спам засега е на три софтуерни нива - на интернет доставчиците, през които се изпраща поща, на сървърите получаващи пощата и накрая при крайния потребител. В началото се слагаха т.нар. "филтри" само на машините на крайния потребител, т.е. доставчиците на електронна поща дават целия трафик на потребителя и го оставят да се справи сам с нежеланата част от него. Това е логично с оглед на това, че всеки потребител трябва да отговаря сам за действията си в случай, че изтрие някое валидно съобщение. С огромното нарастване на трафика на нежелана електронна поща, както и поради незнанието как да се справят с проблема от страна на потребителите, с времето се наложи да се слагат филтри директно върху сървърите получаващи електронна поща. С бързото навлизане на уеб-базирани приложения за електронна поща (gmail, yahoo, abv и т.н.) този вид филтриране (от сървъра) стана основен и почти извзе всички функции по защитата от спам.

Досега има няколко основни подхода за "филтриране" на електронна поща що се отнася до сървърите получаващи поща и крайните потребители:

1. Черни списъци - след получаване на нежелано съобщение потребителят добавя e-mail адреса, IP адреса или други характеристики на това съобщение в "черен списък". Когато се получи втори път подобно съобщение, което отговаря на такъв критерий, то не се доставя до потребителя. Обикновено тези черни списъци са изцяло под контрола на крайния потребител. Изключение се получава когато спамър прави целенасочена атака към конкретен сървър и неговите потребители - тогава администраторът може да защити всичките си потребители с "глобален черен списък";
2. Бели списъци - това е рядко използван подход, при който се разрешава получаване на поща от конкретен списък с адреси и блокиране на всички останали. Този разрешителен режим е много ефикасен, но приложим само в малко случаи при фиксирана служебна кореспонденция. Отново отговорността за тези филтри е изцяло върху крайния потребител;
3. Ключови думи - въвежда се списък със забранени думи и фрази в клиентското приложение. Така например беше споменато за блокирането на фразата "непоискано търговско съобщение" с цел защита срещу "легитимния български спам";
4. DNS Block Lists - това е защита, която се конфигурира предимно на ниво "сървър". Тактиката е да се блокира трафик от "известни източници на спам". Както подсказва името, обикновено се блокират конкретни IP адреси и мрежи. Проблем с този вид филтриране е, че често се блокират цели доставчици и по този начин и техните легитимни потребители. Все пак в днешно време това се счита за най-добрия подход за справяне на масовия спам, т.е. този изпращан в огромни размери;
5. Bayesian филтри - това е статистически метод за категоризиране на съобщенията. Обикновено се използват две категории - "спам" и "валиден", но понякога и категория "съмнителен". Идеята на този метод е в събирането на информация от потребителите - обикновено в e-mail приложенията има бутон за отбелязване на дадено съобщение като "спам" и така се събира характеристична информация за разпознаване на бъдещи съобщения като спам. Освен информация подадена от потребителите се взимат предвид и други типични характеристики на спам съобщенията - голямо наличие на връзки и html код, наличието на характерни ключови думи (viagra, sex, buy now, on sale, promotion и др.). Всички характеристики и статистически натрупана информация формират т.нар. "spam score" - число, което оценява съобщението по дадена скала. От тук насетне спрямо "нивото на защита", избрано от потребителя, се прави филтриране и съобщенията с "spam score" над определен праг биват класифицирани като "спам";
6. Изпитание и отговор - това е малко популярен метод при комуникацията с електронна поща, но е силно популярен при формите за изпращане на поща по сайтове, книгите за гости и анонимните коментари в блогове и сайтове. Особено популярен пример е captcha. В т.нар. Instant Messengers (IM) обикновено се поддържа разрешителен режим (бял списък), като при първоначално получаване на съобщение от неизвестен подател се задава въпрос към изпращача на съобщението. При правилен отговор изпращача се добавя към белия списък. Този метод е добър само тогава, когато въпросът е уникален - в противен случай "ботовете" се "научават" и лесно прескачат системата. Колкото до електронната поща този метод на защита не е много популярен, но е наличен. Обикновено се използват т.нар. "Ham Passwords" - когато изпратите съобщение то се "задържа", а сървъра автоматично изпраща обратно отговор със съобщение, че оригиналното писмо е блокирано. Обикновено от потребителят се изисква да копира някакъв текст (парола) и да я върне като отговор по определен начин (обикновено в subject), за да отблокира съобщението си и то да бъде доставено до получателя. Понякога това се осъществява и с отиване на уеб сайт и извършване на потвърждение за доставка на съобщението (например с captcha). Този метод не е много популярен при електронната поща, защото значително затруднява изпращачите на съобщения;
7. Graylisting - преведено това са "сиви списъци". Те винаги се конфигурират на ниво "сървър" и клиентските приложения нямат отношение към тях. Чудили ли сте се защо понякога като изпратите писмо до свой приятел, то идва при него след известно закъснение? Това определено в днешни дни рядко се дължи на "бавен интернет трафик" или "пренатоварен сървър", а по-скоро именно на тези антиспам филтри. Защитата се състои в това, че сървъра временно "отхвърля" съобщения, получени от неизвестен подател. Един легитимен и работещ по стандартите SMTP сървър би трябвало да повтори опита за доставка на това отхвърлено съобщение след определен период от време (обикновено няколко минути). Обикновено при втори или трети опит получаващия сървър приема изпращача за валиден и го добавя в "бял списък". Разчита се, че обикновено "спамърите" не правят повторение на опита си за доставка на съобщението. Колкото по-популярен става този метод обаче, толкова по-безсмислен е той, тъй като "спамърите" се научават да изпращат пощата си по стандартите. Очаква се в един момент той да се обезсмисли;
8. SMTP tarpitting - в духа на идеята за greylisting, tarpitting се използва за забавяне на комуникацията между сървъри. Идеята е връзката да се забави възможно най-дълго. Оригинално това решава редица проблеми, като например brute force атаки, но също така умело редуцира количеството спам. Наистина е значително по-трудно на спамърите да доставят десетки хиляди съобщения, при положение, че това ще им отнеме много дълго време;
9. Quit detection - по стандарт SMTP протокола изисква всяка връзка да бъде затваряна. Често спамърите просто изпращат информацията и оставят връзките в отворено състояние. Такива съобщения могат да бъдат блокирани;
10. Sender Policy Framework - т.нар. SPF записи са едно доста модерно обновяване на стандартите за комуникация по електронна поща, което впрочем се оказа, че се справя доста добре и с голямо количество спам. По принцип SPF се справя с друг вид проблем - т.нар. "spoofing" на e-mail адреси. Нормален SMTP сървър е конфигуриран така, че всеки автентикиран към него потребител може да изпрати поща от какъвто си иска e-mail адрес. С други думи чрез такъв SMTP сървър вие можете съвсем лесно да изпратите съобщение например от bill@microsoft.com. SPF е защита на две нива - на първо място самия домейн (microsoft.com от примера) трябва да добави т.нар. TXT запис, в който да укаже кои са хостовете/IP адресите, които имат право да изпращат поща от негово име. Също така получаващия сървър трябва да бъде конфигуриран така, че при получаване на съобщение да провери този списък и ако получава съобщение от непозволен хост, то да не го допусне до пощата на клиента. В днешно време SPF получава изключително широка популярност и повечето сериозни mail сървъри са конфигурирани така, че да го използват. Ако вие използвате електронна поща и често ви се случва да получавате т.нар. bounceback съобщения от адреси, на които вие никога не сте изпращали e-mail, то най-вероятно някой спамър изпраща съобщения от ваше име, а вашия домейн няма SPF запис;
11. Checksum базирано филтриране - този метод е изключително прост, логичен и много често използван при големи сървъри приемащи електронна поща. Състои се в това, че обикновено спам съобщенията се изпращат едни и същи към всички потребители. Така на сървъра започваме на пазим за определено време хеш код на текста от всяко подадено съобщение. Когато към сървъра се подадат над определен брой еднакви съобщения (обикновено разумно голям, за да не бъдат блокирани валидни mail листи), то те спират да се доставят. Естествено изпращачите на спам вече са свикнали с това и вече изпращат своите съобщения с известни разлики (можете често да видите някакъв произволен и нелогичен текст някъде вътре в съобщенията). Така този вид филтриране е изправено пред още една тежка задача - да може да определя съществената от несъществената информация в едно съобщение;
12. Адреси-капани - обикновено подход на крайните потребители от даден домейн, които създават специален e-mail адрес с обикновено (например peter@domain.dom), който не се използва и не се промотира никъде в официална комуникация с клиенти. Тъй като се очаква, че никой легитимен потребител не би изпратил писмо до този адрес, то всяко получено съобщение на него влиза в "черен списък" за всички останали адреси от този домейн. Този метод не е особено ефективен, защото се справя единствено със спамърите, които изпращат безразборно поща от тип "налучкване на адреси". Това е стар и неефективен подход за изпращане на спам към малки домейни - той работи само върху домейни с много e-mail адреси (а при тях възможността за грешка на легитимен изпращач се увеличава значително). Друга по-удачна тактика е за създаване отново на такъв адрес-капан и масовото му записване по известни mail листи на спамъри. По този начин можете да защитите работните си e-mail адреси от доста голямо количество еднотипен търговски спам (но не и от всеки);
13. Spamming the spammers - все още непопулярен и спорен метод за борба със спам. Основава се на това при получаването на всяко съобщение да се прави обратна връзка до IP адреса на изпращача и "занимаването му" с определени дейности. Това може да е поредица от ping заявки например. Очакването е, че ако бъде масово имплементиран, то спам машината ще бъде задръстена от заявки и по този начин ще направи DoS атака сама на себе си. Така обаче често се засягат и нищо неподозиращите "zombie computers" - тези на инфектирани с вирус потребители;
14. Проверка на валидност на HELO/EHLO - въпреки, че не е по стандартите, понякога сървърите проверяват достоверността на HELO заявките към тях. Например те проверяват дали при заявка "HELO domain.dom" този домейн наистина отговаря на IP адреса, който я изпраща. По принцип стандартите казват, че просто този домейн трябва да отговаря (на ping), но не и на IP адреса на изпращача. Истината е, че много администратори на сървъри тъй или иначе не спазват стандартите (например забраняват ping към сървърите си поради някакви съображения за сигурност) и така с подобна проверка бихме блокирали и легитимни съобщения. Затова и такъв вид защита все още не е въведен масово - това може би ще стане тогава, когато бъде приет като стандарт (което пък ще доведе и до други специфични ограничения - затова въвеждането е спорно). Може да се направи и т.нар. PTR checking, т.е. проверка на reverse DNS записа на IP адреса на изпращача, но и в този случай положението е спорно. Все пак често се прилага проверка поне на MX записите на домейна - добре е като получавате поща от даден домейн, то този домейн да има mail сървър, на който да може да се отговаря. В противен случай състоянието му е много съмнително;
15. Open relay капани - това са сървъри в големи мрежи, които привидно приличат на open relays. Когато спамърите търсят такива сървъри със скенери, то те попадат на този сървър-капан и се опитват да изпратят поща чрез него. Така администраторите на тези мрежи ги блокират в DNSbl;
16. Потребителска статистика - понякога големите доставчици на електронна поща въвеждат статистически методи за вкусовете на потребителите си. Например ако забележат, че вие много често изтривате еднотипни съобщения идващи от един източник, без да ги четете, то е вероятно да преместят следващи съобщения автоматично в папка "спам" или "съмнителни съобщения". Също така ако един потребител често маркира едни и същи съобщения като "спам", но други потребители не го правят, то се въвежда филтър само за този конкретен потребител (явно той има личен проблем с изпращача на дадените писма).

VI. Технология за борба със спам при изпращача

Естествено важна е и защита, която "добрите доставчици" и изпращачите на съобщения трябва да имплементират:

1. Активно следене на потребителите във вашата компютърна мрежа и броя съобщения за определен период от време, които те изпращат. Логично е нормален потребител във вашата мрежа да не трябва да изпраща хиляди съобщения;
2. Потвърждение за услуга - има много честни фирми (неспамъри), които позволяват на потребителите да се записват към техни т.нар. newsletters или mailing lists. Не е рядкост злонамерена атака към такива фирми, която записва масово e-mail адреси на неподозиращи трети страни. Така тези записани потребители получават съобщенията на фирмата и логично ги класифицират като "спам" и така дескридитират името ѝ в DNSbl листите (може да се достигне до неприятни последствия за самата фирма и това не е рядкост). Затова винаги имплементирайте система за "потвърждение" на записването. Това обикновено е първоначално изпращане на e-mail с текст "получихме заявка за записване към нашата услуга X - натиснете на този -> линк <- за да потвърдите записването". Освен това никога не изпращайте подобен e-mail за потвърждение до един и същи е-mail адрес два или повече пъти - рискувате от друг вид flood атака;
3. Следене на нови акаунти в системата на hosting и internet service providers - обикновено спамърите не са стари и утвърдени потребители. Най-често те са многократно изхвърляни от различни мрежи и регистрират винаги нови и нови акаунти. Затова новите потребители трябва да бъдат следени за известно време;
4. Филтриране на изходящата поща - някои от сървърните филтри могат да се прилагат към изходящата поща от вашия сървър/мрежа - например Bayesian или филтри по ключови думи/фрази;
5. Отказване за доставка на backscatters - вече намекнахме за проблема за т.нар. e-mail forgery, когато описвахме SPF записите. Добре е вашия e-mail сървър да не доставя bounceback известия за съобщения, които вие никога не сте изпращали. Дори вие да имате коректни TXT записи за SPF record - все още има много сървъри, които не го поддържат и те могат да връщат bounceback на forged e-mails. Това би могло да се използва включително за flood срещу вас;
6. Блокиране на порт 25 - малко остарял метод, но все пак доставчиците на интернет понякога с цел на защита от ботове блокират порт 25 и дават на потребителите си друг порт за изпращане на поща (обикновено 587). В общи линии това води до повече затруднения отколкото ползи.

VII. Заключение

Накрая искаме да дадем няколко съвета за това как да намалите чисто практично количеството спам във вашата поща. На първо място - не купувайте нищо от случайни писма попаднали във ващата електронна поща! Не им отговаряйте и се правете пред тях, че не съществувате! Не си давайте e-mail-а "под път и над път"! Когато се регистрирате за някакви временни, краткосрочни или непознати услуги си направете временен нов e-mail адрес, който след изтичане на услугата го закривайте. Пишете на доставчика на спамърите! Пишете до DNSbl листите когато получите спам. Използвайте "спам" бутона в е-mail клиентите си. Не на последно място - никога не маркирайте легитимна поща като "спам" - ако просто не желаете да получавате известия за услуга, която сте спряли да ползвате, то трябва да последвате процедурата за легитимно отписване. В противен случай (с блокиране и филтриране на тези e-mail-и) вие създавате проблеми на други потребители, които биха искали да получават въпросните писма.

Използвани източници: Предимно личен опит и Wikipedia.