Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Система анализа сетевых угроз Metron получила статус первичн..."	+/–
Сообщение от opennews (??) on 25-Апр-17, 11:43
Организация Apache Software Foundation объявила (https://blogs.apache.org/foundation/entry/apache-software-fo...) о присвоении Apache Metron (http://metron.apache.org/) статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после  полутора лет нахождения в инкубаторе Apache, в котором были проверены способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache  Metron  признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта Metron написаны (https://github.com/apache/incubator-metron) на языках Си и  Java. Изначально система Metron развивалась компанией Cisco в рамках проекта OpenSOC (http://opensoc.github.io/), после чего в декабре 2015 года была передана фонду Apache для привлечения других компаний к совместной разработке. Apache Metron представляет собой фремворк для  анализа больших объёмов трафика для выявления возможных атак, обнаружения утечек закрытых данных и проведения расследования инцидентов, связанных с безопасностью. Система позволяет в режиме реального времени анализировать трафик, выявлять аномалии и генерировать предупреждения для инфраструктур уровня дата-центров и крупных сетевых операторов.  Для организации хранения и обработки данных задействованы Apache Hadoop, Apache Storm, Apache HBase, Apache Kafka и Apache Solr. Основные компоненты фреймворка: - Механизм  для захвата, хранения и нормализации любых типов  данных о трафике (телеметрия), поступающих c экстремально высокой интенсивностью (миллионы пакетов в секунду); -  Система для передачи полученных потоков данных в различные блоки обработки для анализа, расширенных вычислений и принятия решений; -  Обработчики данных в реальном режиме времени, выполняющие обработку и привязку  дополнительных сведений к полученной телеметрии, таких как местоположение и информация из DNS. В результате телеметрия снабжается данными о контексте, текущей ситуации и важности для последующего исследования; -  Бэкенд для хранения данных о трафике в хранилище на основе Hadoop, предоставляющий удобные механизмы для извлечения данных и реконструкции сведений о принадлежности пакетов. Данные могут храниться произвольное время и использоваться для последующего анализа инцидента или выявления источника утечек. Например, можно получить сведения о том, от кого была атака,  какие данные могли попасть в руки атакующих и когда были отправлены данные; -  Автоматизированная система индексации потоков телеметрии (перехваченных пакетов) в режиме реального времени. Для индексации могут использоваться движки  Elasticsearch (https://www.elastic.co/) HDFS или Apache Solr; -  Возможность использования SQL для обращения к данным в хранилище Hadoop; -  Механизмы для выявления корреляции между данными телеметрии, через применение расширенных методов анализа и  средств машинного обучения; -  Набор интерфейсов ODBC/JDBC для обеспечения интеграции с внешними аналитическими инструментами; -  Пользовательский web-интерфейс, дающий возможность исследователю безопасности централизованно оценить потоки данных и проследить за выявленными предупреждениями о возможных проблемах. Предоставляется возможность расширенного поиска информации и извлечения данных о содержимом пакетов. URL: https://blogs.apache.org/foundation/entry/apache-software-fo... Новость: https://www.opennet.ru/opennews/art.shtml?num=46447
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Система анализа сетевых угроз Metron получила статус первичн..."	–1 +/–
Сообщение от Аноним (??) on 25-Апр-17, 11:43
Что за мода делать продукты для обеспечения безопасности на основе дырявых составных частей. https://www.elastic.co/community/security -  стабильно раз в пару месяцев remote code execution... remote code execution... remote code execution http://www.securiteam.com/securitynews/5BP2Y2AKUA.html Apache Hadoop 2.6.0 Remote Code Execution http://www.openwall.com/lists/oss-security/2015/06/20/2 Apache Storm remote code execution
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Система анализа сетевых угроз Metron получила статус первичн..."	+4 +/–
	Сообщение от Аноним (??) on 25-Апр-17, 11:47
	На базе Elasticsearch уже ботнеты строят. Теперь можно продемонстрировать высший пилотаж - ботнет из систем обнаружения вторжений :-)
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Система анализа сетевых угроз Metron получила статус первичн..."	+4 +/–
	Сообщение от Аноним (??) on 25-Апр-17, 12:35
	А вы не выставляте "голую жопу" против ежа. "На базе Elasticsearch уже ботнеты строят" - проблема "модных" Devops и "облаков", когда народ на элементарые средствах защиты укладывает "болт".
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	4. "Система анализа сетевых угроз Metron получила статус первичн..."	+1 +/–
	Сообщение от Аноним (??) on 25-Апр-17, 12:43
	Правильные продукты для обеспечения безопасности, в первую очередь "сидят" в изолированой сети без выходы куда либо и "сушают" сеть.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	11. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от YetAnotherOnanym (ok) on 25-Апр-17, 17:13
	Радости с того, что оно в изолированной, если среди пакетов, выдернутых из трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	12. "Система анализа сетевых угроз Metron получила статус первичн..."	+1 +/–
	Сообщение от пох on 25-Апр-17, 18:30
	> Радости с того, что оно в изолированной, если среди пакетов, выдернутых из > трафика для анализа, прилетит такой, который вызовет срабатывание уязвимости? эта штука не кормит elastic пакетами из траффика, это не tcpdump. А если тебе кто-то сумеет прислать поддельный netflow-пакетик, то поздравляю шарик, ты балбес - тебе уже не аномалии надо в сети выискивать, а ловить хакера, поимевшего непосредственно сетевую инфраструктуру. Если что, описанная в статье похабень вовсе не для этого. ну и до кучи, эластиковые проблемы обычно со стороны интерфейса, а не со стороны базы. как, собственно, и у hadoop и у прочих.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	14. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от Аноним (??) on 25-Апр-17, 20:48
	Слушай эта вот вещь - metron - хоть стоящая? Или баловство одно?
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	16. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 25-Апр-17, 21:21
	ну, типа, начнем с того, что циска ее - выбросила ;-) Причем довольно давно, там этому OpenSOC уже сто лет в обед. при этом коммерческие продукты у нее никуда не делись, то есть слезать с этой темы они вроде и не собираются (да и опасно, надо ж закрывать своими продуктами целиком проекты, а не отдельные части) для дома для семьи оно чудовищно сложное и меганавороченное (там, собственно, для того все эти эластики с хадупами, чтоб пережевывать какие-то совсем уж терабайтные потоки мусора), то есть это не корпоративное решение. Если у тебя, чисто случайно, завалялась действующая сетка размером этак с tele2, но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения. (ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика. И сеть не должна быть совсем уж из дерьма и палок.)
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	18. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от лютый жабист__ on 26-Апр-17, 08:42
	А причём Теле2? В Теле2 в качестве SIEM используется Спланк. И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон вещь НЕ стоящая :(
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	20. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 26-Апр-17, 09:19
	> А причём Теле2? привел как пример правильного размерчика - еще не мегафон, где бардак уже не вылечишь, но уже не домсру какой, и потоки летают вполне приличные. Но оговорился что это о размерчике их обычной, ip, сетки - с 4g сетями нужны специальные средства, интегрируемые в packet core - ловить пакеты между последним свитчом и базовой станцией совершенно бессмысленно, "аномалия" вида "сп-ли бс и воткнули свой ноут в надежде халявного интернета" детектится более простыми средствами ;-) > В Теле2 в качестве SIEM используется Спланк. он вроде как энтерпрайз - в смысле, это больше для внутренних ресурсов и пользователей, чем для ловли блох среди клиентов. В теледве скорее всего именно в этом качестве и используется, а это не очень интересно, ентерпрайз они совсем небольшой. Мне вот интересней, что использует какой-нибудь hetzner или 1st vds (не к ночи будь помянуты) - у них уже нужно, и уже - сложно. > И в Циско, если верить Лукацкому, тоже Спланк. Так что видимо вывод: Метрон > вещь НЕ стоящая :( ну я бы поигрался, если б было время и вдохновение. Следует понимать, что строчка в резюме "развернул с нуля и использовал по назначению" стоит гораздо дороже "видел интерфейс", даже если следующие буквы совпадают во втором случае. то есть в метроне интересны именно его свойства обрабатывать действительно большие потоки и тьму разнородных железяк, это в лабораторных условиях оценить не получится.
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

	25. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от Аноним (??) on 26-Апр-17, 21:21
	> для дома для семьи оно чудовищно сложное и меганавороченное Ну вот на несколько тысяч рыл потестировать нормально... Или как из пушки?. > но plain ip (настоящей теледве не поможет, учти, ловить аномалии там бестолку) в которой данный вопрос еще не пытались решить, а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] - вполне можно попробовать, не догонишь так хоть согреешься - приобретешь бесценный опыт разворачивания подобных штуковин и их сопровождения. хех. не всегда бежать получается. бывают разные обстоятельства. > ну только надо понимать, что "денег нет" - это "нет денег на найм отдельной команды, новый тендер и проект, реализуемый кем-то из интеграторов", а не нет денег на стойку серверов, нет резерва пропускной способности каналов и процессоров на flow, нет денег на зарплату тому кто большую часть своего рабочего времени на это потратит на протяжении полугодика Опа. То есть без интегратора пытаться не стоит - ничего с этой темы не облезет?
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	7. "Система анализа сетевых угроз Metron получила статус первичн..."	+2 +/–
	Сообщение от Аноним (??) on 25-Апр-17, 15:24
	Что за мода делать продукты для обеспечения безопасности на Java
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	10. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 25-Апр-17, 16:56
	> Что за мода делать продукты для обеспечения безопасности на Java у циски _все_ сделано на жабке, не важно, для чего. готовьте стопиццотую версию JRE для работы с этим сокровищем - интерфейс, наверняка, на ней же.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	13. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от Sabakwaka (ok) on 25-Апр-17, 19:08
	>> Что за мода делать продукты для обеспечения безопасности на Java 36 млрд установок, чё. Все 36 млрд — ошибаются, да.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	15. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от Аноним (??) on 25-Апр-17, 20:56
	неплохо ботнет)
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	19. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от лютый жабист__ on 26-Апр-17, 08:46
	> Что за мода делать продукты для обеспечения безопасности на Java Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	21. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 26-Апр-17, 09:29
	>> Что за мода делать продукты для обеспечения безопасности на Java > Опять подгорает? Вся Бигдата на жабе, хочешь ты этого или нет. конечно - мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег, нам потом это дерьмище обслуживать, а кому-то, представь, и пользоваться им приходится. даже флэшовый интерфейс выглядит и работает лучше жабьего, не говоря уже о треше и кабздеце творящемся на серверной стороне жабоподелок. Но да, других не делают, в Бангалоре других программистов не выпекают. (с другой стороны, конечно, хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. А так - достаточно было показать, КАК работает жабий ентер-прайс софт, и служебку подписали без вопросов. На этом я его быстренько унес на виртуалку от себя подальше, ибо на самом деле ему мало  ;-)
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	22. "Система анализа сетевых угроз Metron получила статус первичн..."	+1 +/–
	Сообщение от RomanCh (ok) on 26-Апр-17, 10:02
	Вот вы вроде пытаетесь писать много околоумных буков и произвести впечатление. Но вот такие выверты смущают и несколько девальвируют ваши слова: > а денег, внезапно, нет - [зачеркнуто: беги оттуда нахрен] И тут же: > хрен бы я выклянчил просто так добивку памяти до максимума и гигабитный проводок к своему ноуту. В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это серьёзно? Прям так и хочется предложить вам последовать вашему же совету :) А где работаете? Просто что бы понимать кого забанивать из предлагающих работу.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	23. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 26-Апр-17, 15:01
	> В наше время выклянчивать в конторе гигабитный проводок и память на ноутбук, и вы это > серьёзно? честно говоря, единственным местом, где я работал, и это было не нужно клянчить, был некий крупный интегратор на букву И (потому что работал там вовсе не инженером, и дать за это по рукам или настучать руководству мог только я сам. У инженеров как обычно - денег на них, в те счастливые времена, особо не экономили, но и никаких золотых унитазов не полагалось. В цискофоне, если кто не в курсе, встроенный свитч до сих пор сотка, так что смысла акессы ставить гиговые не было никакого) А чего вы хотите, это ж инвестируемые компании... собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Для визии, аутглюка и ста терминалов "корпоративного стандарта" за глаза, а провода еще и не позволяют быстро вскочить и побежать. Адскую жабью херню, как уже говорилось, я унес нахрен на терминальник, там, как обычно, десять специфичных тухлых версий ВСЕГО надо подать, включая, кажется, саму винду. но вот metro redux на этом "корпоративном стандарте", действительно, не очень.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	24. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от RomanCh (ok) on 26-Апр-17, 20:11
	Ну, ХЗ, везде где я работал отношение к железу было как-то проще. > собственно, а зачем инженеру или даже админу шибкохороший компьютер и гигабит? Например для диагностики работы системы видеоотдачи, для быстрого выкачивания из интернетов всяких опытных образов ОС, контейнеров и т.д. (да, можно всасывать сразу в ЦОД, но иногда удобней локально) Сети как и памяти много не бывает. Особенно памяти с современными браузерами.
	Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

	26. "Система анализа сетевых угроз Metron получила статус первичн..."	–1 +/–
	Сообщение от лютый жабист__ on 27-Апр-17, 05:47
	>мы-то не разработчики, которые нахyякали это в продакшн и смылись с конвертиком денег почти всё бигдатовое ПО Опенсорс с 10++летней историей >даже флэшовый интерфейс выглядит и работает лучше жабьего ув. ыксперд Intellij Idea и другого Свингового софта не видел. > кабздеце творящемся на серверной стороне жабоподелок. перечисли альтернативы Java EE. гы-гы >хрен бы я выклянчил просто так добивку памяти до максимума ноющий свитер из подвала? Даже в 4килокилометрах за МКАДом у разрабов ПК с 16-32ГБ ОЗУ норма. На серваках от 98ГБ. Вообще странно было бы работать с терабайтной базой на серваке с 4ГБ ОЗУ. не находишь, дружок?
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

	27. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от пох on 27-Апр-17, 18:52
	> Ну, ХЗ, везде где я работал отношение к железу было как-то проще. так, на минуточку - энтерпрайзненький циско-свитчик с 48 poe портами в принципе и сегодня  не самая дешевая игрушка. Обмишулиться чуток и купить вместо сотки гигабит по кругу - это можно один раз, в большой компании могут не заметить или простить, а не в семиэтажном здании по четыре на этаже. Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете? > Например для диагностики работы системы видеоотдачи такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у нас принято было в лабораторных условиях диагностировать. да и сейчас, собственно - диагностическая железка тут вообще с 10G портом, правда, такая одна. Но в ноуте мне такого щастья даром не надо. (а диск, гады, поменять не дают, говорят - не закупали больше полтинников) ну и да - именно для работы мне всегда хватало серверного железа и серверных мощностей. Как-то, видимо, палюсь ;-)
	Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

	28. "Система анализа сетевых угроз Metron получила статус первичн..."	+/–
	Сообщение от RomanCh (ok) on 28-Апр-17, 19:17
	> Немножко дороговато получается, могут и за шкирку взять и спросить так вкрадчиво - на чьи гуляете? Какое раболепие... Напомнить что все деньги компании зарабатываются вот этими самыми людьми, что просят гигабит в компутер, слабо? Ну ваше дело. Вероятно это вопрос самоуважения. > такие вещи, которые на самом деле гигом видеоданных могут плюнуть, как-то у > нас принято было в лабораторных условиях диагностировать. А как вы например из лаборатории 4к видео смотреть будете? Или будете ходить в лабораторию каждый раз? :) > ну и да - именно для работы мне всегда хватало серверного железа  и серверных мощностей. Как-то, видимо, палюсь ;-) Да уж, действительно. Такое ощущение что хочется показать крутизну окружающим, но на мелочах таки палитесь.
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема