форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Открытые системы на сервере (Почта / FreeBSD)
Изначальное сообщение		[ Отслеживать ]

"Борьба со спамом. P0F"	+/–
Сообщение от fen on 02-Мрт-11, 21:49
Здравствуйте. Тут поковырял инет по поводу средств борьбы со спамом. Среди всяких антиспамеров и настроек самих почтовых серверов нашел упоминание об утилите p0f - http://lcamtuf.coredump.cx/p0f.shtml Как я понял, из встречившихся в инете упоминаний, эта утилита перехватывает пакеты в момент соединения удаленной машинки и определяет тип операционной системы, причем ее можно интегрировать с тем же амавистом. Соответственно, результаты ее работы можно прицепить к спамассасину и амависту для начисления дополнительных баллов к письмам, которые были отправлены, например, с виндовой операционки (которые чаще всего и используются как спам-боты). В общем узнав о ней я уже готов был ее прикрутить к серверу и попробовать, но у меня возникло 2 вопроса: 1. Как я понял, win xp эта приблуда точно определяет. А вот определяет ли она win vista, win 7 и серверные операицонки виндюков? 2. Может кто-нибудь ее уже пробовал юзать и сложилось какое-нибудь мнение об ее работе?
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Борьба со спамом. P0F"	+/–
Сообщение от Aleksey (??) on 03-Мрт-11, 01:45
Работает исправно, рекомендуется к использованию.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Борьба со спамом. P0F"	+/–
Сообщение от DeadLoco (ok) on 03-Мрт-11, 04:40
> Может кто-нибудь ее уже пробовал юзать и сложилось какое-нибудь мнение об ее работе? Начислять за использование винды доп.баллы при детекции спама - плохая идея. Слишком слаба корреляция. У нас пока не только подавляющее большинство ботов, но и значительная доля легальных клиентов находится на винде. Все еще. Пока. Использование p0f потенциально ведет к увеличению количества фальш-позитивов, которые юзеры переносят существенно хуже, чем фальш-негативы. Не советую, съедят.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	3. "Борьба со спамом. P0F"	+/–
	Сообщение от asser on 03-Мрт-11, 09:20
	Ну собственно зависит от веса оценки. Никто не заставляет ставить запредельные баллы. Я использую в качестве параметра meta правил. Т.е. это просто хороший инструмент для определения откуда пришло письмо, а как вы его будете использовать - это уже другое дело.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Борьба со спамом. P0F"	+/–
	Сообщение от DeadLoco (ok) on 03-Мрт-11, 11:49
	> Ну собственно зависит от веса оценки. Никто не заставляет ставить запредельные баллы. Попробую объяснить на примере. Предположим, вы обеспечиваете секурность банка, и заметили, что многие грабители попадают в банк через главные двери. И теперь каждого, кто входит через главные двери, кладут мордой вниз на пол и подвергают тщательному обыску. И грабителей, и законопослушных граждан. Да, критерий "тот, кто прошел через главные двери" включает в себя и грабителей тоже. Но он же создаст массу неудобств добропорядочным клиентам. Да, это поможет скрутить грабителя до того, как он вытащит волыну и потребует кассу, но еще раньше в ваш банк просто перестанут ходить клиенты. Критерий проверки должен иметь сильную корреляцию со спамовостью. Чем сильнее корреляция - тем лучше. На тысячу клиентов, пихающих свое хело раньше приветствия СМТП сервера, легальных будет один-два. На ту же тысячу будет 1-2 легальных клиента с кривым хело или ненастроеным резолвом - из-за криворукости админов. Но вот легально пришедших с винды на тысячу будет уже несколько сотен. Критерий недостаточно релевантен по сравнению с уже имеющимися. Добавив его в набор проверок, мы не улучшим, а ухудшим фильтрацию - как это ни парадоксально. Добавление такого правила с некоторым весом увеличит количество фальш-позитивов. Просто потому, что общая строгость проверки возросла. Чтобы снизить количество ф/п до исходного значения, вам придется уменьшить веса старых правил, а это, как нетрудно догадаться, приведет к росту количества фальш-негативов. Т.е. - к ухудшению качества фильтрации. Отнимать весА у правил с высокой корреляцией можно, но только в пользу правил с еще более высокой корреляцией. Чем выше корреляция, тем выше вес. Если добавляемое правило имеет корреляцию меньшую, чем средняя по текущему набору, его добавление вредно и бессмысленно. > Т.е. это просто хороший  инструмент для определения откуда пришло письмо, > а как вы его будете использовать - это уже другое дело. Я не спорю, инструмент отличный. Но это микроскоп, а мы тут все больше гвозди забиваем.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	7. "Борьба со спамом. P0F"	+/–
	Сообщение от fen on 03-Мрт-11, 12:10
	> Я не спорю, инструмент отличный. Но это микроскоп, а мы тут все > больше гвозди забиваем. Я могу ошибаться, так что извиняйте, если я не прав. Я так понимаю, что ваш метод - исключительно байсовский анализ (ес-но правильная настройка сервера прежде всего)? Т.е. предлагаете обучать, обучать и еще раз обучать? Но ведь спам очень разнообразен, кому-то из пользователей идут письма по одной тематике, кому-то по другой, кому-то по третей и т.д. В итоге это приводит к тому, что в байесовской базе, как мне кажется, творится полный бардак и со времен кол-во спама только увеличивается, приходится грохать базу и начинать заново.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	8. "Борьба со спамом. P0F"	+/–
	Сообщение от DeadLoco (ok) on 03-Мрт-11, 13:12
	> Я могу ошибаться, так что извиняйте, если я не прав. Я так > понимаю, что ваш метод - исключительно байсовский анализ (ес-но правильная настройка > сервера прежде всего)? Т.е. предлагаете обучать, обучать и еще раз обучать? Нет, конечно. Сначала экзим выполняет серию проверок на стадиях CONN и RCPT. Здесь проверяется невовремя поданное хело, корректность этого хело, корректность резолвинга имени хоста, наличие в имени хоста нехороших слов, структура имени (цифры-точки-тире), количество получателей, принадлежность энвелоп-ту моему домену и так далее. За каждую проваленную проверку начисляются штрафные баллы. Если баллов набирается больше нуля, за каждый балл отправитель будет ждать одну секунду перед переходом к фазе DATA. Редкий спамбот способен прождать более минуты на этом этапе. Отстреляв все хедеры, он начинает без команды лить тело письма - и на этом палится. Или просто сбрасывает соединение, не выдержав ожидания. Если баллов набирается более максимума, отправитель прождет положенное время, но вместо фазы DATA получит "552 - Internal Server Error". Если дождется, конечно. К этому моменту отсеклось уже 90% спама. Без грейлистинга, без ДНСБЛ. Оставшихся 10% входящих писем уходят на СА/байес. Штатная функция начисления баллов байесом заточена под почтовый поток общего пользования. В случае корпоративной почты с узкой специализацией ее нужно слегка модифицировать - задрать значения BAYES_95 до 90% от порога срабатывания СА и BAYES_99 - до 200% Больше 100% потому, что у СА есть правила с отрицательными весами, и письмо, которое байес однозначно определяет, как спам, по совокупности правил может быть пропущено. И вот после этого всего начинается автоматическое/ручное дообучение байеса. На специфичной для конторы почте. > В итоге это приводит к тому, что в байесовской базе, как мне > кажется, творится полный бардак и со времен кол-во спама только > увеличивается, приходится грохать базу и начинать заново. Если налажен фидбек с юзерами, которые могут помечать письма, как "СПАМ" и "НЕ-СПАМ", то этой проблемы не возникнет в принципе. Если в базе байеса появится сигнатура, по которой письмо будет помечено, как "СПАМ", и потом это письмо придет на "sa-learn --ham", то сигнатуре будет снижен вес. В дальнейшем письма по этой сигнатуре реже станут попадать в "СПАМ", а при повторных пометках, как "НЕ СПАМ", вес сигнатуры в базе уменьшится до нуля. А сигнатуры с весом, меньшим порогового, удаляются автоматически. Во всяком случае, за год на хосте, который в сутки получает 3-4к входящих смтп-соединений, картина получилась такая: /usr/local/etc/mail/bayes > ls -lU total 12836 -rw-------  1 spamd  spamd   2625536 Jan 23  2010 awl -rw-------  1 spamd  spamd    101232 Mar  3 00:06 bayes_journal -rw-------  1 spamd  spamd  10207232 Jan 23  2010 bayes_seen -rw-------  1 spamd  spamd   5046272 Feb 26 16:37 bayes_toks
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	9. "Борьба со спамом. P0F"	+/–
	Сообщение от desenix (ok) on 04-Мрт-11, 09:03
	> имени хоста, наличие в имени хоста нехороших слов, структура имени (цифры-точки-тире), > количество получателей, принадлежность энвелоп-ту моему домену и так далее. За каждую > проваленную проверку начисляются штрафные баллы. не подскажите каким почтовиком пользуетесь? мне в CGP надоели точки тире, он регулярки не умеет, да много чего не умеет проверять как следует. Поэтому сделал проще, написал скрипт реализующий RBL и в нём проверяю наличие октетов IP адреса в обратной зоне, если более 2 встречается, баню без задней мысли. Остаются редкие провайдеры с левыми зонами, их в чёрный список по зонам. Вот думаю как бы добавить ещё один механизм в проверку, и стоит ли это делать. Соединятся навстречу но не по адресу отправителя, а к хосту который почту желает отправить, проверять вообще у него 25 порт принимает соединения, если нет, то смело в бан. В результате в сутки из 100 попыток 1 бывает иногда удачной у спамеров, это если они какой-то сайт или почтовик ломанут, но тогда письмо на abuse пишу.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

	10. "Борьба со спамом. P0F"	+/–
	Сообщение от feb on 04-Мрт-11, 09:21
	> не подскажите каким почтовиком пользуетесь? Так там написано было... >>Сначала экзим выполняет серию проверок на стадиях CONN и RCPT.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	4. "Борьба со спамом. P0F"	+/–
	Сообщение от asser on 03-Мрт-11, 09:21
	Опять же не блокировать письма, а просто маркировать как СПАМ, а дальше уже пусть пользователь разбирается.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	6. "Борьба со спамом. P0F"	+/–
	Сообщение от DeadLoco (ok) on 03-Мрт-11, 12:07
	> Опять же не блокировать письма, а просто маркировать как СПАМ, а дальше > уже пусть пользователь разбирается. У меня все, что помечается, как  "Спам", автоматически падает юзеру в "Junk". Рыться в помойке клиент начинает только тогда, когда отправитель звонит и скандалит: я отправил, а вы не отвечаете! Поскольку каждый такой инцидент это нервы, время и, как ни странно - бабки, над задачей отсеять спам стоит сверхзадача - не отсеять легальную почту. Как по мне, то уж пусть во входящие валится спам, лишь бы фальш-позитивов не было. Заодно юзеры байес-фильтр потренируют :)
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема