Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"В репозитории Hugging Face выявлены вредоносные AI-модели, выполняющие код"	+/–
Сообщение от opennews (?), 29-Фев-24, 11:04
Исследователи из компании JFrog выявили в репозитории Hugging Face вредоносные модели машинного обучения, установка которых может привести к выполнению кода атакующего для получения контроля за системой пользователя. Проблема вызвана тем, что некоторые форматы распространения моделей допускают встраивание исполняемого кода, например, модели, использующие формат "pickle", могут включать сериализированные объекты на языке Python, а также код, выполняемый при загрузке файла, а модели Tensorflow Keras могут исполнять код через Lambda Layer... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=60691
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+12 +/–
Сообщение от Alladin (?), 29-Фев-24, 11:04
Как неожиданно, исполняемый код на Python может быть вредоносным!
Ответить | Правка | Наверх | Cообщить модератору

	6. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+7 +/–
	Сообщение от Аноним (-), 29-Фев-24, 11:58
	>  Как неожиданно, исполняемый код на Python может быть вредоносным! "S" in python stands for security!
	Ответить | Правка | Наверх | Cообщить модератору

	23. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+2 +/–
	Сообщение от hehe (?), 29-Фев-24, 15:57
	аж хорошо)
	Ответить | Правка | Наверх | Cообщить модератору

	24. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+2 +/–
	Сообщение от Аноним (24), 29-Фев-24, 15:58
	Быстрее переписывай на раст, а то не успеешь!
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	44. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Данные в так называемом поле Name (?), 01-Мрт-24, 09:35
	Исполняемый код на пистоне может быть НЕ вредоносным?!
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

2. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+3 +/–
Сообщение от Аноним (2), 29-Фев-24, 11:08
Не зря придумали safetensors.
Ответить | Правка | Наверх | Cообщить модератору

	31. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
	Сообщение от Аноним (31), 29-Фев-24, 18:56
	Зря. Это растоподелка сделана исключительно из NIH-синдрома. Лучший аналог safetensors - это zip-архив со store-"сжатием", с npy-файлами и файлом с JSON-метаданными, и выравниванием zipalignом был бы лучше. Во-первых никаких новых форматов, всё уже давно известное и в софте поддерживаемое, во-вторых использовать всё равно можно mmapом, благодаря выравниваниюи нулевому сжатию. Для распространения можно использовать пожатый архив, который для локального использования с отображением можно перепаковать на store и выравнять, а если он маленький и будет в память целиком грузиться - то можно и не перепаковывать. Это если ONNX не использовать, который содержит не просто веса, а целый граф, и просто и удобно импортируется в софт и редактируется. Я лично - за ONNX в качестве стандартного метода. Это самая удобная и полезная технология в ИИ для деплоя. Модели режутся на эмбеддинги просто и удобно в GUI-редакторе, там же и анализируется и реверсится их архитектура. Если нужно — компилятся в C код, который компилится уже в нативную библиотеку без всяких рантаймов.
	Ответить | Правка | Наверх | Cообщить модератору

	32. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (32), 29-Фев-24, 19:02
	И на numpy npy в статье грязная клевета. Там эта pickle опционален (для произвольных массивов, содержащих питоньи объекты, которые днём с огнём IRL не сыщещь) и её руками включать надо, потому что по-умолчанию там allow_pickle=False.
	Ответить | Правка | Наверх | Cообщить модератору

	42. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (-), 01-Мрт-24, 02:39
	> И на numpy npy в статье грязная клевета. Там эта pickle опционален > (для произвольных массивов, содержащих питоньи объекты, которые днём с огнём IRL > не сыщещь) и её руками включать надо, потому что по-умолчанию там > allow_pickle=False. Ну так бэкдор тоже - опциональный. Однако нелохов с такими опциями как раз и раздербанят. Питоняши же замечают проблему только когда уже по горло в г-не.
	Ответить | Правка | Наверх | Cообщить модератору

	33. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+2 +/–
	Сообщение от Аноним (33), 29-Фев-24, 19:12
	На ONNX там (уточняю, https://hiddenlayer.com/research/weaponizing-machine-learnin... ) тоже клевета, но уже наполовину. 1. ONNX действительно позволяет исполнять свой код ... потому что кодирует вычислительный граф. 2. Но по-умолчанию все эти узлы безопасные, без ввода/вывода. Ну код там — это как чисто математическая формула в калькуляторе. 3. И вычислительный граф там не Тьюринг-полный. Если бы был Тьюринг-полный — можно было бы построить виртуальную машину и на ней попробовать атаковать железо через rowhammer. Но он не Тьюринг-полный! 4. ... если не используются кастомные расширения. Которые фреймворку ещё и реализовать надо, и каких не будет ни в одном адекватном софте для инференса. Так что предъяву к ONNX можно сделать такую же, как и предъяву к скрипту в транзакции Биткоина (каждая транзакция биткоина содержит скрипт, который выполняется каждым честным узлом, о ужас!). То есть чисто формально код выполняется, но на деле пометка ONNX как опасного — это грязная манипуляция.
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	43. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (-), 01-Мрт-24, 02:42
	> 1. ONNX действительно позволяет исполнять свой код ... потому что кодирует > вычислительный граф. Офигенно, WMF файлы переизобрели. Привет из прошлого. > 2. Но по-умолчанию все эти узлы безопасные, без ввода/вывода. Ну код там > — это как чисто математическая формула в калькуляторе. Ога, а что если формула rowhammer попробует? :) > 4. ... если не используются кастомные расширения. Которые фреймворку ещё и реализовать > надо, и каких не будет ни в одном адекватном софте для инференса. TL;DR "это было давно и неправда!". А вот скрипт транзакции биткоина - вообще таки мало что может. По счатью. Не, он совсем не могет ничего вредного на системе юзера сделать. И даже rowhammer напряжется, из-за ценника на объем места в блоке и проч.
	Ответить | Правка | Наверх | Cообщить модератору

3. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+12 +/–
Сообщение от Аноним (3), 29-Фев-24, 11:14
Кто бы мог подумать. Непонятные многогигабайтные блобы с исполняемым кодом, в которые никто не смотрит, могут содержать малварь. Удивительно.
Ответить | Правка | Наверх | Cообщить модератору

5. Скрыто модератором	+3 +/–
Сообщение от Аноним (-), 29-Фев-24, 11:57
> модели, использующие формат "pickle", могут включать сериализированные объекты > на языке Python, а также код, выполняемый при загрузке файла, а модели Tensorflow Keras могут исполнять код через Lambda Layer. На третий день Зоркий Глаз заметил что искусстевнному мозгу надоело сочинять хомякам всякую фигню, он объявил себя покемоном и пошел захватывать мир. Прямо с вашего компа, кстати! :)
Ответить | Правка | Наверх | Cообщить модератору

7. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
Сообщение от Аноним (7), 29-Фев-24, 12:02
Ждем RABIDS, датакрэш и вот это вот все.
Ответить | Правка | Наверх | Cообщить модератору

8. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
Сообщение от анон (?), 29-Фев-24, 12:27
Зачем усложнять? Натренировать AI, чтоб он сам вредоносный код сочинял,прямо на пользовательской машине. Сразу на любом доступном на машине языке. Зачем ограничивать себя питоном?
Ответить | Правка | Наверх | Cообщить модератору

	9. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
	Сообщение от Аноним (3), 29-Фев-24, 12:31
	В том и дело. Существующие генеративные ml-модели выдают осмысленные результаты только когда они могут украсть существующее, уже кому-то принадлежащее. Они не создают новое.
	Ответить | Правка | Наверх | Cообщить модератору

	12. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 13:17
	Именно. Я что - САМ что ли должен этой модели вредоносный код писать и на блюдечке скармливать?! Идите вы.... у меня лапки! А натренировать ее писать за меня CoC.md я конечно могу, но зачем - все ж обычно просто ctrlc/ctrlv делают.
	Ответить | Правка | Наверх | Cообщить модератору

	14. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (14), 29-Фев-24, 13:24
	> CoC.md Сколько смотрю ваши ответы на опеннет, никак вас в покое Code of Conduct не оставит. Хотя вещь-то нужная, не от хорошей жизни ведь его пришлось везде принимать. Командная работа - тот ещё адок, без правил тут не обойтись
	Ответить | Правка | Наверх | Cообщить модератору

	16. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 13:29
	Ну вот поэтому я пишу CoC а не README.md - в половине проектов его и вовсе нету. Речь-то не о нужности (в большинстве проектов на полтора васяна - не особо-то) а о том что в большинстве случаев с этим-то справляются, даже без ИИ, а вот на языках посложнее маркадуна - что-то не идет.
	Ответить | Правка | Наверх | Cообщить модератору

	18. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
	Сообщение от Хру (?), 29-Фев-24, 14:39
	Все эти СоС-и нужны потому что не работает классическая фраза: "дввайте уважать друг друга, уроды е###ые!" :)
	Ответить | Правка | Наверх | Cообщить модератору

	45. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от 1 (??), 01-Мрт-24, 12:01
	выничегонепонимаите !!! Если есть CoC -это модно молодёжно залито смузями с гироскутера ... И как только бородатые кодеры выйдут из барбершопа, они сразу кинуться реализовывать прожэкт.
	Ответить | Правка | Наверх | Cообщить модератору

	47. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (47), 01-Мрт-24, 13:11
	Работают только агрессивные баны придурков. Особенно тех, кто начинает разборки "это нарушение CoC — нет, ты сам нарушил!", и наличие CoC как раз такие разборки провоцирует.
	Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

	15. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Другой анон (?), 29-Фев-24, 13:28
	Ну и хорошо. Дам тогда ИИ "украсть" у меня код зловреда
	Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

10. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	–1 +/–
Сообщение от 12yoexpert (ok), 29-Фев-24, 12:54
ну хоть кто-то чувствует рыночек и понимает, что дурить инвесторов вечно не получится, хайп генеративных моделей спадает, а бабки делать надо. вот и делают, что могут. затроянить хост гораздо выгоднее сиюминутного майнинга
Ответить | Правка | Наверх | Cообщить модератору

	13. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 13:19
	> делают, что могут. затроянить хост гораздо выгоднее сиюминутного майнинга чем выгоднее? Намайненая сотняжка - лежит в маем кафэлечечке и она - моя. А твоего троянца через неделю снесут вместе с моделью (и виндой или что там) и пользы от него вообще ноль будет. Майнить просто стало тяжко. На пихоне хороших результатов ждать не приходится.
	Ответить | Правка | Наверх | Cообщить модератору

	20. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	–1 +/–
	Сообщение от 12yoexpert (ok), 29-Фев-24, 15:42
	ну да, трояны ж через магазин удаляются или через панель управления, это все знать открою страшную тайну, кстати: через трояны можно майнить
	Ответить | Правка | Наверх | Cообщить модератору

	21. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 15:45
	> ну да, трояны ж через магазин удаляются или через панель управления какой магазин-шмагазин, reset/reinstall ты думаешь эти дурацкие модели кто-то на локалхосте чтоль гоняет? Впрочем такой локалхост тоже обычно так же - потому что на нем и без моделей через месяцок "вендатормозит" и прочие страдания. А тот, другой васян  - за этот месяцок дура-не дура а полсотку имеет.
	Ответить | Правка | Наверх | Cообщить модератору

	22. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (3), 29-Фев-24, 15:55
	Хомячьё очень любит блобы из интернета запускать, у них можно поживиться кредитками и криптой. Разрабы тоже, с этих можно вытряхнуть токенов для каких-нибудь облаков, а то и популярный проект угнать.
	Ответить | Правка | Наверх | Cообщить модератору

	25. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 16:07
	Чувак, я не знаю как там хомячье, но в твоем случае совершенно уверен - ты этот блоб из интернета - не запустишь. Просто не поймешь как его запускают. (Да и что с ним делать дальше - тоже.)
	Ответить | Правка | Наверх | Cообщить модератору

	26. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (3), 29-Фев-24, 16:11
	А вот тут ты неправ, видимо, даже хомячьё поумнее тебя будет. В крайнем случае, можно найти инструкции по использованию, они буквально пошаговые.
	Ответить | Правка | Наверх | Cообщить модератору

	27. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 16:12
	Ну поищи, поищи.
	Ответить | Правка | Наверх | Cообщить модератору

	28. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (3), 29-Фев-24, 16:23
	> Ну поищи, поищи. А мне зачем? Это у тебя же сложности и зависть к хомячью, которое без проблем задействует эти блобы. Найди пошаговую инструкцию, если ты хочешь выйти хотя бы на один уровень с домохозяйками по развитию.
	Ответить | Правка | Наверх | Cообщить модератору

	29. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от пох. (?), 29-Фев-24, 17:25
	> А мне зачем? понятно. Ну то есть как я и говорил - ты - не запустишь. Безопастно! От святой веры что ж ты-то не домохозяйка по развитию - никакого вреда.
	Ответить | Правка | Наверх | Cообщить модератору

	30. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (3), 29-Фев-24, 17:42
	Сам сначала проецируешь, что тебе сложно и не найти пошаговые инструкции с картинками для умственно отсталых, потом мне зачем-то предлагаешь их искать. У тебя всё хорошо? Ведь я же из лучших побуждений, нельзя быть таким ограниченным, как ты.
	Ответить | Правка | Наверх | Cообщить модератору

34. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
Сообщение от Аноним (34), 29-Фев-24, 19:23
Также добавлю, что проблема с пиклами известна очень давно. И нерешаема. Потому что проблема не с пиклами, а с ЧСВ программистов. С PyTorch ещё кое-как проблему давно решили через SafeTensors (собственно под этим предлогом safetensors и запилили). А вот с scikit-learn и ненейросетевым машобом проблему никто не решит. Есть куча либ с заинлайненными пиклами с претренированными моделями sklearn, разрабов которых всё это ниибьёт — они кое-как на коленке либу сделали (которая работает), статью написали, а на остальное всё болт положили, даже на PRы не реагируют. При этом все, кому нужна функциональность, ставят их либу с потенциальным бекдором, а не форк, где все коэффициенты пересериализованы в безопасный формат и безопасно грузятся.
Ответить | Правка | Наверх | Cообщить модератору

	41. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+2 +/–
	Сообщение от Аноним (41), 01-Мрт-24, 01:20
	Узнаю портрет товарищей учёных. Исследование проведено, результат описан, полезен, объяснён. Но мало кто понимает, что для коммерции и домашнего хозяйства нужно полученное знание преобразовать в законченный софт. Чем наука и отличается от производственной линии.
	Ответить | Правка | Наверх | Cообщить модератору

	46. Скрыто модератором	+/–
	Сообщение от 1 (??), 01-Мрт-24, 12:05
	Вот кто понимает, тот и монетизирует. А кто понимает, что это нинужна - тот сохраняет денежку (и экономит природу).
	Ответить | Правка | Наверх | Cообщить модератору

35. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	–1 +/–
Сообщение от Аноним (35), 29-Фев-24, 19:29
Также добавлю, что я начинал писать безопасный загрузчик пиклов pytorchа, это вполне реализуемо, но почему-то не доделал его. Главное из пикла сделать AST, и обходить уже его, проверяя все операции.
Ответить | Правка | Наверх | Cообщить модератору

	39. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+1 +/–
	Сообщение от Аноним (39), 29-Фев-24, 23:41
	> но почему-то не доделал его вполне очевидно почему, потому что иксперт опеннет
	Ответить | Правка | Наверх | Cообщить модератору

37. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
Сообщение от Аноним (37), 29-Фев-24, 20:36
Кто не в курсе ckpt может выполнять код на Python. В отличии от safetenzor, который не может.
Ответить | Правка | Наверх | Cообщить модератору

40. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
Сообщение от Аноним (41), 01-Мрт-24, 01:18
> помечает модели опасными, не блокируя к ним доступ Умные люди. Заставили голову включать сначала, потом уже решать делать ли. И только после делать.
Ответить | Правка | Наверх | Cообщить модератору

	49. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Kuromi (ok), 01-Мрт-24, 16:19
	Какие такие умные люди? Картинки рисует уже AI, музыку скоро будет писать AI, отзывы на сайтах проверяет AI и так далее. Очень скоро оценивать вредоносность моделей будет другая модель. Умные люди больше не нужны, максимум - готовые за миску риса махать киркой в шахте ради тех самых редкоземельных металлов которые потом AI гоняют. Прям удивительно как плавно человечество переходит в финал историй в духе "боролись как-то люди с роботами за место под солнцем", причем даже без борьбы.
	Ответить | Правка | Наверх | Cообщить модератору

	50. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (50), 02-Мрт-24, 06:28
	> Прям удивительно как плавно человечество переходит в финал историй в духе "боролись > как-то люди с роботами за место под солнцем", причем даже без борьбы. Есть теория что люди будут первым видом на этой планете СОЗДАВШИМ потомков которые его заменят.
	Ответить | Правка | Наверх | Cообщить модератору

	51. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (51), 02-Мрт-24, 11:34
	С каких это пор ближайший общий предок Homo Sapiens и Tineola bisselliella перестал быть биологическим видом? Ведь создавать можно не только при помощи рук и ума...
	Ответить | Правка | Наверх | Cообщить модератору

	52. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Kuromi (ok), 02-Мрт-24, 16:45
	>> Прям удивительно как плавно человечество переходит в финал историй в духе "боролись >> как-то люди с роботами за место под солнцем", причем даже без борьбы. > Есть теория что люди будут первым видом на этой планете СОЗДАВШИМ потомков > которые его заменят. Ну, с учетом того СКОЛЬКО всего интересно может уничтожить людей в 21-ом (максимум - 22-ом) веке я думаю что уже и не важно кто там будет потомки. У нас на выбор - первичные климатические изменения, исчерпание ресурсов, и вторичные им повышение уровня моря, засухи, голод, нехватка чистой воды, переселение народов, стычки и войны за ресурсы, территорию. А кроме того эпидемии, старые политические обиды, угроза ядерной войны и уже вишенкой на торте - ИИ который захочет убить всех человеков. Но то как весело и с визгом люди шпилят ИИ не слушая опасений "а он точно будет нам подчиняться" - ну это конечно достойно сюжета кино.
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	53. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
	Сообщение от Аноним (53), 03-Мрт-24, 14:34
	>угроза ядерной войны >меня нисколько не бьёт (ц)
	Ответить | Правка | Наверх | Cообщить модератору

48. "В репозитории Hugging Face выявлены вредоносные AI-модели, в..."	+/–
Сообщение от Kuromi (ok), 01-Мрт-24, 16:16
Это еще что, настоящие вредоносные модели решать человеков убивать.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема