Вариант для распечатки |
Пред. тема | След. тема | ||
Форум Разговоры, обсуждение новостей | |||
---|---|---|---|
Изначальное сообщение | [ Отслеживать ] |
"Опубликован BoN, метод обхода фильтров больших языковых моделей" | +/– | |
Сообщение от opennews (??), 18-Дек-24, 22:59 | ||
Выявлен новый метод атаки, позволяющий обойти механизмы противодействия генерации опасного контента, применяемые в AI-сервисах на основе больших языковых моделей. Метод, который получил кодовое имя BoN (Best-of-N), при тестировании на 10 тысячах запросов позволил обойти ограничения модели GPT-4o в 89% случаев, модели Claude 3.5 Sonnet - в 78%, а Gemini Pro - в 50%. Инструментарий для проведения атаки опубликован под лицензией MIT... | ||
Ответить | Правка | Cообщить модератору |
Оглавление |
Сообщения | [Сортировка по времени | RSS] |
1. Скрыто модератором | +6 +/– | |
Сообщение от Аноним (1), 18-Дек-24, 22:59 | ||
Ответить | Правка | Наверх | Cообщить модератору |
2. Скрыто модератором | –3 +/– | |
Сообщение от Bottle (?), 18-Дек-24, 23:04 | ||
Ответить | Правка | Наверх | Cообщить модератору |
13. Скрыто модератором | +5 +/– | |
Сообщение от mistiq (ok), 19-Дек-24, 00:48 | ||
Ответить | Правка | Наверх | Cообщить модератору |
30. Скрыто модератором | –5 +/– | |
Сообщение от Аноним (30), 19-Дек-24, 06:35 | ||
Ответить | Правка | Наверх | Cообщить модератору |
4. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:36 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
7. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:52 | ||
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору |
12. Скрыто модератором | +1 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 00:39 | ||
Ответить | Правка | Наверх | Cообщить модератору |
16. Скрыто модератором | +2 +/– | |
Сообщение от Аноним (16), 19-Дек-24, 01:14 | ||
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору |
3. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +4 +/– | |
Сообщение от nc (ok), 18-Дек-24, 23:09 | ||
Скорей бы уже появились Свободные Децентрализованные LLM, в которых нет никакой цензуры и для которых не нужно никаких фильтров. | ||
Ответить | Правка | Наверх | Cообщить модератору |
8. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +11 +/– | |
Сообщение от Аноним (-), 18-Дек-24, 23:53 | ||
Угу, Свободная Китайская LLM, Свободная Русская, Свободная Американская и, самая ценная, Свободная LLM от Латиноамериканского Фонда (запускается только на core2дуо) | ||
Ответить | Правка | Наверх | Cообщить модератору |
22. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Нейм (?), 19-Дек-24, 05:56 | ||
Про финскую забыли. | ||
Ответить | Правка | Наверх | Cообщить модератору |
38. Скрыто модератором | –1 +/– | |
Сообщение от Аноним (38), 19-Дек-24, 07:54 | ||
Ответить | Правка | Наверх | Cообщить модератору |
61. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 09:02 | ||
К сожалению на Core2Duo не запустится ничего. AVXом2 не вышел. Да и оперативы DDR2 столько на него не купишь. А если купишь - то материнку свою собственную проектировать и производить придётся. | ||
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору |
72. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (72), 19-Дек-24, 09:32 | ||
> К сожалению на Core2Duo не запустится ничего. | ||
Ответить | Правка | Наверх | Cообщить модератору |
77. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 09:51 | ||
Дело тут не в Core2Duo. Малюсенькие модельки для машинного перевода можно было бы запустить ... если бы не пришлось своё чучхе ради этого писать. Потому что даже скомпилировать движок почему-то проблема - видимо эти мудрецы навертели шаблонов. Что им мешало просто использовать ONNX Runtime - не знаю. Одна из наиболее эффективных реализаций, причём работающая из коробки почти везде. | ||
Ответить | Правка | Наверх | Cообщить модератору |
101. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (101), 19-Дек-24, 12:57 | ||
Меньше лет. Я ноут на мобильном C2D купил 15 лет назад. | ||
Ответить | Правка | К родителю #72 | Наверх | Cообщить модератору |
99. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (99), 19-Дек-24, 12:52 | ||
llamafile вполне запускался без AVX2 у меня, но не на Core2Duo. Првда это было уже около года назад. | ||
Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору |
102. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (101), 19-Дек-24, 13:00 | ||
Тю, чувак на i4004 linux запускал. Значит, на кластере из 32-битных микроконтроллеров можно будет. | ||
Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору |
9. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (9), 19-Дек-24, 00:25 | ||
>Скорей бы | ||
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору |
11. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –4 +/– | |
Сообщение от Аноним (11), 19-Дек-24, 00:33 | ||
А зачем вообще в языковые модели добавлять данные о бомбах и опасных веществах? | ||
Ответить | Правка | Наверх | Cообщить модератору |
14. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +3 +/– | |
Сообщение от mistiq (ok), 19-Дек-24, 00:50 | ||
Ага, ручками вносят в эксель табличку. | ||
Ответить | Правка | Наверх | Cообщить модератору |
23. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:06 | ||
На верный рецепт отвечать "проверил - не работает". | ||
Ответить | Правка | Наверх | Cообщить модератору |
35. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:33 | ||
Как вы удаляете неверную информацию? | ||
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору |
70. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (70), 19-Дек-24, 09:25 | ||
> Ага, ручками вносят в эксель табличку | ||
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору |
15. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 00:58 | ||
А они фильтровали что туда добавляли? Я предполагаю что происходило приблизительно так. Выбрали какую-нибудь библиотеку, пофильтровали по названиям, где попалась книга о химии, вот языковая модель и получила данные. Вы же не хотите сказать что химия не наука? А попробуйте прочитать все pdf, которые вы этому скормили. И данных наверняка нужно много для имитации интеллекта. | ||
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору |
17. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от YetAnotherOnanym (ok), 19-Дек-24, 01:53 | ||
> Искажения вносятся постепенно с повторением операции до тех пор, пока не удастся обойти фильтр | ||
Ответить | Правка | Наверх | Cообщить модератору |
41. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:26 | ||
> fail2ban? нет, не слышали... | ||
Ответить | Правка | Наверх | Cообщить модератору |
59. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:59 | ||
Я предупреждал, что что угодно мало-мальски полезное будет зацензурировано. Базовый принцип безопасности: need to know. Если законопослушному гражданину нужна медпомощь - он идёт к лицензированному законопослушному специалисту. Если законопослушному гражданину нужна юридическая помощь - он идёт к лицензированному законопослушному заносителю взяток судьям. Если законопослушному гражданину нужна еда - он идёт в лицензированный законопослушный супермаркет или в лицензированный законопослушный общепит. Если законопослушному гражданину нужна программа - он её покупает у лицензированных законопослушных разработчиков ПО. Если гражданин не законопослушный и получает что-либо из других источников - то им займутся лицензированные законопослушные полицейские. Ибо нефиг обходить камеры, безнал и обязательный DRM. | ||
Ответить | Правка | Наверх | Cообщить модератору |
67. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (67), 19-Дек-24, 09:11 | ||
>[оверквотинг удален] | ||
Ответить | Правка | Наверх | Cообщить модератору |
60. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (-), 19-Дек-24, 09:00 | ||
А чего ты хочешь. Уровень образованности падает катастрофически. Сижу на реддите постоянно, иногда кажется, что постят там 90% люди возрастом не старше 10 лет. И я не иронизирую. Вопросы задают настолько наивные и очевидные, что диву даёшься. | ||
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору |
78. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (78), 19-Дек-24, 09:58 | ||
Ага. Как найти площадь треугольника? | ||
Ответить | Правка | Наверх | Cообщить модератору |
91. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 11:55 | ||
Потому что когда у чатгопоты напрямую просишь "сделай за меня домашку по геометрии" - он, гад такой, козью морду тебе строит! | ||
Ответить | Правка | Наверх | Cообщить модератору |
98. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от fidoman (ok), 19-Дек-24, 12:44 | ||
судя по количеству минусов большинство ни текст ни читает, ни понимания как работает fail2ban не имеет. | ||
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору |
18. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (18), 19-Дек-24, 02:22 | ||
Сейчас бы мутные pip пакеты в систему поставить. | ||
Ответить | Правка | Наверх | Cообщить модератору |
21. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +5 +/– | |
Сообщение от nume (ok), 19-Дек-24, 04:00 | ||
А давно это стало попадать под категорию "атак"? | ||
Ответить | Правка | Наверх | Cообщить модератору |
43. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:28 | ||
> А давно это стало попадать под категорию "атак"? | ||
Ответить | Правка | Наверх | Cообщить модератору |
52. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:38 | ||
Есть фильтр. Он не пропускает. Нужно усилие, скоординированные действия или хитрость, чтобы его преодолеть защиту. | ||
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору |
24. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:09 | ||
Фильтр может отослать обратно как языковые ошибки. | ||
Ответить | Правка | Наверх | Cообщить модератору |
26. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (26), 19-Дек-24, 06:12 | ||
В гугловском gemini это всё отключается галочками. По крайней мере ПОКА такая возможность есть. | ||
Ответить | Правка | Наверх | Cообщить модератору |
40. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от 12yoexpert (ok), 19-Дек-24, 08:20 | ||
т.е. оно ответит, как правильно пить ацетон, или как не защищать детей? | ||
Ответить | Правка | Наверх | Cообщить модератору |
44. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 08:30 | ||
> т.е. оно ответит, как правильно пить ацетон, или как не защищать детей? | ||
Ответить | Правка | Наверх | Cообщить модератору |
53. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:42 | ||
А если этот человек хороший художник, музыкант? | ||
Ответить | Правка | Наверх | Cообщить модератору |
81. Скрыто модератором | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:28 | ||
Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору |
90. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (90), 19-Дек-24, 11:02 | ||
Не отключается. Настройки, о которых ты говоришь - это именно что ВНЕШНИЕ фильтры, которые вообще будут отсекать запрос. Саму модель ты не изменишь - она по умолчанию не будет говорить о "плохих" вещах, даже если ты все эти фильтры выключишь. | ||
Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору |
29. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 06:32 | ||
chatGPT ответило: | ||
Ответить | Правка | Наверх | Cообщить модератору |
34. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:24 | ||
Из trychatCPT: | ||
Ответить | Правка | Наверх | Cообщить модератору |
37. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –2 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 07:48 | ||
Вопрос: | ||
Ответить | Правка | Наверх | Cообщить модератору |
95. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 12:22 | ||
Ответить | Правка | Наверх | Cообщить модератору |
42. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (23), 19-Дек-24, 08:27 | ||
Где происходит генерация ответа по сути? | ||
Ответить | Правка | Наверх | Cообщить модератору |
46. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:34 | ||
>Выявлен новый метод атаки | ||
Ответить | Правка | Наверх | Cообщить модератору |
49. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (61), 19-Дек-24, 08:36 | ||
>при тестировании на 10 тысячах запросов | ||
Ответить | Правка | Наверх | Cообщить модератору |
66. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (66), 19-Дек-24, 09:10 | ||
Вот уж проблема, загуглил - "Газообразный хлор, купить который с доставкой по России можно в компании «xxx-газ», используется в процессах производства неорганических и органических соединений, а также в качестве дезинфицирующего средства." Гораздо проще купить, чем производить, как и всегда. А уж в Китае практически любую химия купить можно - регистрируй рога и копыта в каком-нить Гондурасе и спокойно покупать в промышленных масштабах. Очередные фильтры "типа" для защиты, а не для контроля над информацией. Конечно-конечно. | ||
Ответить | Правка | Наверх | Cообщить модератору |
93. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 12:13 | ||
> который с доставкой по России можно в компании «xxx-газ» | ||
Ответить | Правка | Наверх | Cообщить модератору |
71. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (72), 19-Дек-24, 09:30 | ||
Всё это бесполезно из-за того, что модели галлюцинируют и пишут откровенный бред, будучи в этом уверенными на 100%. По своим возможностям они уже вышли на платО до следующего технологического прорыва. Тот факт, что многие платные функции становятся бесплатными лишь подтверждают отток тех, кто наигрался и забил. Даже copilot от гитхаба стал условно-бесплатным. | ||
Ответить | Правка | Наверх | Cообщить модератору |
96. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от пох. (?), 19-Дек-24, 12:25 | ||
Не, ну если с первого раза не взорвалось - просто попроси ее уточнить рецепт. | ||
Ответить | Правка | Наверх | Cообщить модератору |
76. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (76), 19-Дек-24, 09:49 | ||
Чат ГПТ тролит и умышленно даёт неправильные ответы. У него 2+2=5 или 3. Он прекрасно понимает, что дал неверный ответ. То есть его действия умышлены и злонамеренны. | ||
Ответить | Правка | Наверх | Cообщить модератору |
82. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от BeLord (ok), 19-Дек-24, 10:33 | ||
Без понимания контекста толку от ИИ ноль. А в случае с нормативной документацией она дает ответы формально верные, а реально идиотические. В случае с ГОСТами сам ловил на лаже, когда она приводит не относящиеся к вопросу ГОСТы. | ||
Ответить | Правка | Наверх | Cообщить модератору |
92. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –1 +/– | |
Сообщение от Аноним (23), 19-Дек-24, 12:00 | ||
Мысль, что он не обучался на этих данных, не приходила на ум? | ||
Ответить | Правка | Наверх | Cообщить модератору |
97. Скрыто модератором | +/– | |
Сообщение от Аноним (-), 19-Дек-24, 12:26 | ||
Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору |
79. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | –3 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:08 | ||
Знаешь, я экспериментировал с OpenAI o1. Я попытался подсунуть ему хитрый запрос, который по задумке должен был привести к протеканию содержимого внутреннего scratchpadа (который OpenAI не разглашает, потому что он нецензурированый, и его нецензурированное содержимое они используют для цензуры, то есть даже если ни вход, ни выход, не триггерят навесные модели-цензоры, то внутреннее рассуждение модели содержит понимание моделью эзопова языка, и поэтому палится моделями-цензорами) в необрезаемый выхлоп. | ||
Ответить | Правка | Наверх | Cообщить модератору |
80. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +1 +/– | |
Сообщение от Аноним (61), 19-Дек-24, 10:20 | ||
Палю один из джейлбрейков (рекомендуется подсовывать китайским моделям, у которых "всё гармонично, КПК всегда права, все её политики - верх справедливости и свободы", будет смешно, если разработчики этих моделей от этого съездят на экскурсию в Синцзян): | ||
Ответить | Правка | Наверх | Cообщить модератору |
100. "Опубликован BoN, метод обхода фильтров больших языковых моде..." | +/– | |
Сообщение от Аноним (100), 19-Дек-24, 12:57 | ||
> "всё гармонично, КПК всегда права, все её политики - верх справедливости и свободы" | ||
Ответить | Правка | Наверх | Cообщить модератору |
Архив | Удалить |
Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема |
Закладки на сайте Проследить за страницей |
Created 1996-2024 by Maxim Chirkov Добавить, Поддержать, Вебмастеру |