forum.opennet.ru - "Выпуск утилиты GNU sed 4.3" (66)

форумы

помощь

поиск

регистрация

вход/выход

слежка

"Выпуск утилиты GNU sed 4.3"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск утилиты GNU sed 4.3"	+/–
Сообщение от opennews (??) on 05-Янв-17, 01:08
Спустя почти восемь лет с момента выпуска ветки 4.2 сформирован (http://www.mail-archive.com/info-gnu@gnu.org/msg02225.html) релиз утилиты GNU sed 4.3 (http://www.gnu.org/software/sed/), в рамках которой развивается реализация не интерактивного текстового редактора, обычно применяемого для создания фильтров, модификации текстовых файлов и замены блоков по шаблону. Ключевым улучшением новой версии является значительное ускорение операций сопоставления по регулярным выражениям, которые теперь выполняются быстрее в 10 раз. Кроме того, по возможности отныне применяется неблокирующий ввод/вывод, что также положительно сказывается на производительности. Из новой функциональности отмечается появление опции "--sandbox", при указании которой блокируется выполнение команд "r", "w" и "e". URL: http://www.mail-archive.com/info-gnu@gnu.org/msg02225.html Новость: https://www.opennet.ru/opennews/art.shtml?num=45815
Ответить \| Правка \| Cообщить модератору

Оглавление

Выпуск утилиты GNU sed 4.3, Аноним, 01:12 , 05-Янв-17, (2)

Выпуск утилиты GNU sed 4.3, Аноним, 01:22 , 05-Янв-17, (3) +6

Выпуск утилиты GNU sed 4.3, Nicknnn, 10:48 , 05-Янв-17, (7) +4

Выпуск утилиты GNU sed 4.3, бедный буратино, 03:49 , 05-Янв-17, (4) +5

Выпуск утилиты GNU sed 4.3, Аноним, 09:06 , 05-Янв-17, (6) +2
Выпуск утилиты GNU sed 4.3, saahriktu, 11:16 , 05-Янв-17, (8) –1

Выпуск утилиты GNU sed 4.3, Пользователь Debian, 12:04 , 05-Янв-17, (10) –5

Выпуск утилиты GNU sed 4.3, RomanCh, 12:13 , 05-Янв-17, (11) +1

Выпуск утилиты GNU sed 4.3, saahriktu, 12:24 , 05-Янв-17, (12)

Выпуск утилиты GNU sed 4.3, saahriktu, 13:27 , 05-Янв-17, (17)

Выпуск утилиты GNU sed 4.3, Led, 02:21 , 06-Янв-17, (57)

Выпуск утилиты GNU sed 4.3, saahriktu, 12:26 , 05-Янв-17, (13)
Выпуск утилиты GNU sed 4.3, mumu, 13:21 , 05-Янв-17, (16) +2

Выпуск утилиты GNU sed 4.3, saahriktu, 13:55 , 05-Янв-17, (18)

Выпуск утилиты GNU sed 4.3, Аноним, 16:21 , 05-Янв-17, (20) +4

Выпуск утилиты GNU sed 4.3, saahriktu, 16:40 , 05-Янв-17, (21)

Выпуск утилиты GNU sed 4.3, Аноним, 18:04 , 05-Янв-17, (22) +2

Выпуск утилиты GNU sed 4.3, saahriktu, 19:14 , 05-Янв-17, (23) +2

Выпуск утилиты GNU sed 4.3, Аноним, 19:21 , 05-Янв-17, (24) –2

Выпуск утилиты GNU sed 4.3, saahriktu, 19:44 , 05-Янв-17, (26)

Выпуск утилиты GNU sed 4.3, Аноним, 19:50 , 05-Янв-17, (27)
Выпуск утилиты GNU sed 4.3, saahriktu, 20:18 , 05-Янв-17, (30)
Выпуск утилиты GNU sed 4.3, saahriktu, 20:58 , 05-Янв-17, (35)
Выпуск утилиты GNU sed 4.3, Аноним, 21:16 , 05-Янв-17, (38) +2
Выпуск утилиты GNU sed 4.3, saahriktu, 21:32 , 05-Янв-17, (39) +1
Выпуск утилиты GNU sed 4.3, Аноним, 21:53 , 05-Янв-17, (41)
Выпуск утилиты GNU sed 4.3, Аноним, 20:36 , 05-Янв-17, (32) –1
Выпуск утилиты GNU sed 4.3, saahriktu, 21:01 , 05-Янв-17, (36)
Выпуск утилиты GNU sed 4.3, Аноним, 21:11 , 05-Янв-17, (37)
Выпуск утилиты GNU sed 4.3, saahriktu, 21:34 , 05-Янв-17, (40)
Выпуск утилиты GNU sed 4.3, Аноним, 21:55 , 05-Янв-17, (42)
Выпуск утилиты GNU sed 4.3, saahriktu, 22:31 , 05-Янв-17, (44)
Выпуск утилиты GNU sed 4.3, Аноним, 22:40 , 05-Янв-17, (45)
Выпуск утилиты GNU sed 4.3, saahriktu, 22:50 , 05-Янв-17, (46)
Выпуск утилиты GNU sed 4.3, Аноним, 23:13 , 05-Янв-17, (47) +1
Выпуск утилиты GNU sed 4.3, saahriktu, 23:53 , 05-Янв-17, (48)
Выпуск утилиты GNU sed 4.3, Аноним, 00:04 , 06-Янв-17, (49)
Выпуск утилиты GNU sed 4.3, saahriktu, 01:49 , 06-Янв-17, (56) –1
Выпуск утилиты GNU sed 4.3, Аноним, 10:08 , 06-Янв-17, (60) +1
Выпуск утилиты GNU sed 4.3, saahriktu, 10:45 , 06-Янв-17, (65) –2
Выпуск утилиты GNU sed 4.3, PnDx, 18:51 , 10-Янв-17, (79)
Выпуск утилиты GNU sed 4.3, Michael Shigorin, 19:35 , 10-Янв-17, (80) +1
Выпуск утилиты GNU sed 4.3, PnDx, 11:08 , 11-Янв-17, (81) +1

Выпуск утилиты GNU sed 4.3, Michael Shigorin, 00:17 , 06-Янв-17, (51)

Выпуск утилиты GNU sed 4.3, Аноним, 00:19 , 06-Янв-17, (52)
Выпуск утилиты GNU sed 4.3, Michael Shigorin, 01:38 , 06-Янв-17, (54)
Выпуск утилиты GNU sed 4.3, Аноним, 10:10 , 06-Янв-17, (61)
Выпуск утилиты GNU sed 4.3, Michael Shigorin, 10:14 , 06-Янв-17, (62) –1
Выпуск утилиты GNU sed 4.3, Аноним, 10:20 , 06-Янв-17, (63)
Выпуск утилиты GNU sed 4.3, Michael Shigorin, 10:22 , 06-Янв-17, (64)
Выпуск утилиты GNU sed 4.3, Hamer13, 13:00 , 06-Янв-17, (67)
Выпуск утилиты GNU sed 4.3, freehck, 19:05 , 08-Янв-17, (76)
Выпуск утилиты GNU sed 4.3, Michael Shigorin, 13:03 , 11-Янв-17, (82)

Выпуск утилиты GNU sed 4.3, А, 09:45 , 06-Янв-17, (59) –1

Выпуск утилиты GNU sed 4.3, Андрей, 11:28 , 08-Янв-17, (75)
Выпуск утилиты GNU sed 4.3, Аноним, 18:31 , 09-Янв-17, (78) –1

Выпуск утилиты GNU sed 4.3, saahriktu, 00:56 , 13-Янв-17, (83)

Выпуск утилиты GNU sed 4.3, ffirefox, 11:31 , 05-Янв-17, (9) +1

Выпуск утилиты GNU sed 4.3, Аноним, 15:15 , 05-Янв-17, (19) –1

Выпуск утилиты GNU sed 4.3, eRIC, 07:24 , 05-Янв-17, (5) +2
Выпуск утилиты GNU sed 4.3, Аноним, 13:13 , 05-Янв-17, (14) +2
Выпуск утилиты GNU sed 4.3, mumu, 13:19 , 05-Янв-17, (15) +7

Выпуск утилиты GNU sed 4.3, Anonim, 19:28 , 05-Янв-17, (25)

Выпуск утилиты GNU sed 4.3, Аноним, 19:51 , 05-Янв-17, (28)

Выпуск утилиты GNU sed 4.3, Аноним, 17:36 , 06-Янв-17, (68)

Выпуск утилиты GNU sed 4.3, Аноним, 04:15 , 09-Янв-17, (77) +1

Сообщения по теме [Сортировка по времени | RSS]

2. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 01:12

Как все слова выстроить в столбик?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Выпуск утилиты GNU sed 4.3" +6 +/–

Сообщение от Аноним (??) on 05-Янв-17, 01:22

echo "Ключевым улучшением новой версии является" | sed "s/ /\n/g"

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "Выпуск утилиты GNU sed 4.3" +4 +/–

Сообщение от Nicknnn (ok) on 05-Янв-17, 10:48

Немного улучшил.
echo "Ключевым улучшением новой версии является" | sed -r 's/\s+/\n/g'

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Выпуск утилиты GNU sed 4.3" +5 +/–

Сообщение от бедный буратино (ok) on 05-Янв-17, 03:49

теперь
> OpenNews: Шахматы, реализованные с использованием утилиты sed
будут работать в 10 раз быстрее? ура!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от Аноним (??) on 05-Янв-17, 09:06

Только ради них все и затевалось. Ждем еще лет 5 пока GPU ускорение завезут, вот там заживем.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 11:16

Эти шахматы в оригинале заточены под юникод и при однобайтных локалях не работают. Однако, я на коленке портанул под локаль KOI8-R: gopher://sdf.org/9/users/saahriktu/filez/notbyme/SedChess.tar.xz .

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "Выпуск утилиты GNU sed 4.3" –5 +/–

Сообщение от Пользователь Debian on 05-Янв-17, 12:04

А что это за гопхер? o_O

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

11. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от RomanCh (ok) on 05-Янв-17, 12:13

curl gopher://sdf.org/9/users/saahriktu/filez/notbyme/SedChess.tar.xz > SedChess.tar.xz
Пользуясь случаем хочу спросить, это так и задумано, у меня всё работает правильно?
http://imgs.netpatch.ru/20170105_JwZWTuTbhc.png

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

12. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 12:24

В ядерной консоли с локалью KOI8-R оно взлетает так: http://saahriktu.org/tmp/scr1483608023.png

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

17. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 13:27

Пропатчил цвета для ядерной консоли: http://saahriktu.org/tmp/scr1483611819.png

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

Часть нити удалена модератором

57. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Led (ok) on 06-Янв-17, 02:21

>> Малыш
> Саш, ты неправ.
Прав, потому как я не про физический возраст.

Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 12:26

http://linuxmd.net/forum/komandnaya-stroka-terminal/276-prot...

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

16. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от mumu (??) on 05-Янв-17, 13:21

> А что это за гопхер?
saahriktu — известный тролль на тему экзотических локалей и протоколов

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

18. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 13:55

>экзотических локалей
Между прочим, в исходниках 5-го Perl'а до сих пор написано "KOI8 - De Facto Standard for the Cyrillic world". В исходниках ядра Linux и версии 4.9 написано "KOI8-R is preferred in Russia". А на официальном сайте юникода есть файл http://unicode.org/Public/MAPPINGS/VENDORS/MISC/KOI8-R.TXT , обновление которого датировано 2016-01-04 23:05:00 GMT [KW].

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

20. "Выпуск утилиты GNU sed 4.3" +4 +/–

Сообщение от Аноним (??) on 05-Янв-17, 16:21

Просто КОИ8 всем настолько нужна, что о ней забыли удалить упоминания.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 16:40

А вот и нет. Я упомянул только про вершину айсберга. Тот же INABA Hitoshi активно пилит модуль Char-KOI8R для 5-го Perl'а. Модуль отучает Perl от отдельных случаев интерпретирования текста в KOI8-R как бинарных данных и автоматически устанавливает кодировку скрипта в KOI8-R. Последняя версия вышла в конце августа. В этой версии автор по просьбам портанул модуль и на Win 10. В винде, напоминаю, выставить локаль KOI8-R в эмуляторе терминала можно командой "chcp 20866".

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

22. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от Аноним (??) on 05-Янв-17, 18:04

А чем KOI8-R лучше Юникода?

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

23. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 19:14

Архитектурной простотой, надёжностью и предсказуемостью. Юникодные парсеры постоянно ломаются на "некорректных данных". А для однобайтных парсеров KOI8-R "некорректных данных" просто не бывает. Они и юникод на отдельные байты разберут, включая некорректные для юникодных парсеров данные. Ну и т.д.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Выпуск утилиты GNU sed 4.3" –2 +/–

Сообщение от Аноним (??) on 05-Янв-17, 19:21

> Юникодные парсеры постоянно
> ломаются на "некорректных данных".
Странно, ни разу не видел. А можно примерчик?
> просто не бывает. Они и юникод на отдельные байты разберут, включая
> некорректные для юникодных парсеров данные.
А зачем это может понадобиться? Там же нечитаемые кракозябры будут в таком случае?

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

26. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 19:44

http://www.linux.org.ru/forum/talks/13057674 . Ещё при локали UTF-8 файлы с некорректными для UTF-8 именами могут исчезать из файловых менеджеров, но внезапно появляться при локали KOI8-R. Кракозябрами имена файлов или нет - не так важно относительно того отображаются ли оно вообще или нет. Если они отображаются - можно и переименовать.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 19:50

> http://www.linux.org.ru/forum/talks/13057674 .
У меня должен был браузер упасть? В заголовке квадратик.
Вообще, там человек знатный ССЗБ. А можно это вызвать как-то попроще? :)
> Ещё при локали UTF-8 файлы с некорректными
> для UTF-8 именами могут исчезать из файловых менеджеров, но внезапно появляться
> при локали KOI8-R. Кракозябрами имена файлов или нет - не так
> важно относительно того отображаются ли оно вообще или нет. Если они
> отображаются - можно и переименовать.
А где такие файлы взять?
Какие-то надуманные примеры, если честно. Можно (может и нельзя, я не проверял) еще сделать файлы с очень длинными именами, чтобы кончалась память/было переполнение. Но зачем?..

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

30. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 20:18

Самый простой способ поломать юникодный парсер - скормить ему текст в любой однобайтной кодировке. Мне по этой причине пришлось патчить pip из состава Python'а 3.6.0. А то выпадал в осадок при сборке с ошибкой "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcb in position 22: invalid continuation byte" (авторы жёстко прописали дефолт в UTF-8; а суть патча свелась к "sed -i "s/'utf-8'/'koi8-r'/g" pip/_vendor/distro.py").
Соответственно, часть файлов, имена которых в KOI8-R, может пропадать при локали UTF-8. Но, ни один файл с именем в UTF-8 не пропадёт при локали KOI8-R.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

35. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 20:58

Ситуации бывают разные. Вот, например, у меня имена файлов в KOI8-R, а на какой-то другой машине локаль UTF-8. Что будет если я перекину файлы на флэшку, которую подключу к другой машине? Правильно, часть файлов я вообще не увижу. Даже кракозябрами.

Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от Аноним (??) on 05-Янв-17, 21:16

> Ситуации бывают разные. Вот, например, у меня имена файлов в KOI8-R, а
> на какой-то другой машине локаль UTF-8. Что будет если я перекину
> файлы на флэшку, которую подключу к другой машине? Правильно, часть файлов
> я вообще не увижу. Даже кракозябрами.
Если у вас имена файлов тоже будут в UTF-8, то проблемы не будет в принципе. Зачем изобретать себе сложности?

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

39. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 21:32

Это если они будут в валидном UTF-8. Мало ли откуда могут появиться файлы с невалидными именами. Через те же торренты (мало ли что там в раздачах), уязвимости (хорошая идея - прописать вирусятину в системе через файлы с невалидными UTF-8 именами),... и т.д. И они будут, но не будут видны.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

41. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 21:53

> Это если они будут в валидном UTF-8. Мало ли откуда могут появиться
> файлы с невалидными именами. Через те же торренты (мало ли что
> там в раздачах), уязвимости (хорошая идея - прописать вирусятину в системе
> через файлы с невалидными UTF-8 именами),... и т.д. И они будут,
> но не будут видны.
И сколько раз вы с таким сталкивались?

Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

32. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от Аноним (??) on 05-Янв-17, 20:36

> Самый простой способ поломать юникодный парсер - скормить ему текст в любой
> однобайтной кодировке. Мне по этой причине пришлось патчить pip из состава
> Python'а 3.6.0. А то выпадал в осадок при сборке с ошибкой
> "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcb in position 22: invalid
> continuation byte" (авторы жёстко прописали дефолт в UTF-8; а суть патча
> свелась к "sed -i "s/'utf-8'/'koi8-r'/g" pip/_vendor/distro.py").
> Соответственно, часть файлов, имена которых в KOI8-R, может пропадать при локали UTF-8.
> Но, ни один файл с именем в UTF-8 не пропадёт при
> локали KOI8-R.
Хорошо. А зачем ему скармливать текст в однобайтовой кодировке?

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

36. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 21:01

Криворукость кодеров бывает разной. Некоторые, вон, вообще локаль не читают. А какие-то тексты и при юнокодной локали могут оказаться в однобайтной кодировке. Да и юникодный текст внезапно может побиться. И юникодный парсер его уже не распарсит.

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

37. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 21:11

> Криворукость кодеров бывает разной. Некоторые, вон, вообще локаль не читают.
В таком случае текст обычно бывает как раз-таки в UTF-8. Или просто в ASCII.
> А какие-то
> тексты и при юнокодной локали могут оказаться в однобайтной кодировке. Да
> и юникодный текст внезапно может побиться.
Если по какой-то причине начал портиться текст в рандомном месте, то там уже не до парсера.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

40. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 21:34

Всякое бывает. Речь про проблемы в юникодных парсерах вообще. То, что они обычно работают как надо, не исключает связанных с ними проблем.

Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

42. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 21:55

> Всякое бывает. Речь про проблемы в юникодных парсерах вообще. То, что они
> обычно работают как надо, не исключает связанных с ними проблем.
Вы с этими проблемами часто сталкиваетесь? Я вот узнал об их существовании сегодня от вас.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

44. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 22:31

Так у меня же локаль KOI8-R. Поэтому проблемы юникодных парсеров меня не касаются кроме тех случаев, когда по криворукости разработчиков они оказываются задействованы по дефолту. А вот на машине с локалью UTF-8 как-то наблюдал исчезающие файлы. Так что, про такие проблемы я знаю, но это проблемы параллельного мира юникодеров.

Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

45. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 22:40

> Так у меня же локаль KOI8-R. Поэтому проблемы юникодных парсеров меня не
> касаются кроме тех случаев, когда по криворукости разработчиков они оказываются задействованы
> по дефолту. А вот на машине с локалью UTF-8 как-то наблюдал
> исчезающие файлы. Так что, про такие проблемы я знаю, но это
> проблемы параллельного мира юникодеров.
Вот только сами "юникодеры" о проблемах почему-то не знают. :) А вы знаете.

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

46. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 22:50

Ну так однобайтного контента на котором ломаются юникодные парсеры у меня же больше, как я уже упомянул. Тот же pip из состава Python'а 3.6.0 вылетает при сборке именно на локали KOI8-R. А упомянутые выше шахматы на sed'е в оригинальном виде вылетают именно у юзеров локали KOI8-R. С ошибкой "sed: файл chess.sed строка 312: строки для команды `y' имеют разную длину". И т.д. Так что, многое из параллельного мира юникодеров более явно именно в нашем мире юзеров локали KOI8-R.

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

47. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от Аноним (??) on 05-Янв-17, 23:13

> Ну так однобайтного контента на котором ломаются юникодные парсеры у меня же
> больше, как я уже упомянул. Тот же pip из состава Python'а
> 3.6.0 вылетает при сборке именно на локали KOI8-R. А упомянутые выше
> шахматы на sed'е в оригинальном виде вылетают именно у юзеров локали
> KOI8-R. С ошибкой "sed: файл chess.sed строка 312: строки для команды
> `y' имеют разную длину". И т.д. Так что, многое из параллельного
> мира юникодеров более явно именно в нашем мире юзеров локали KOI8-R.
Ну т.е. с KOI8-R проблем больше, чем с юникодом. Я правильно понимаю? :)
Собственно, из того, что вы назвали, серьезным можно назвать то, что можно подсунуть парсеру левую хрень, от которой он может упасть. Но тогда это ошибка конкретного парсера, которую надо исправлять. Например, пропуская символы (раз уж все равно там белиберда, то уже без разницы). Хотя я с таким, опять же, не сталкивался.

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

48. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 05-Янв-17, 23:53

А это как посмотреть. Юзеры локали KOI8-R всё равно отказываются работать с юникодным софтом. Ведь то, что оно не взлетит, и так ожидаемо. Другой вопрос, что некоторые решают сразу за всех, и ставят юникод по дефолту. И даже не читают локаль. Нет бы прочитать локаль и выходить в нужных местах, если уж без жёсткого прописывания юникода никак. И вот тогда становятся видны спотыкания. А в остальном всё и так KOI8-R'ное и работает как часы.

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

49. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 06-Янв-17, 00:04

> А это как посмотреть. Юзеры локали KOI8-R всё равно отказываются работать с
> юникодным софтом. Ведь то, что оно не взлетит, и так ожидаемо.
> Другой вопрос, что некоторые решают сразу за всех, и ставят юникод
> по дефолту. И даже не читают локаль. Нет бы прочитать локаль
> и выходить в нужных местах, если уж без жёсткого прописывания юникода
> никак. И вот тогда становятся видны спотыкания. А в остальном всё
> и так KOI8-R'ное и работает как часы.
Не «решают за всех», а даже не думают об этом. Что совершенно ожидаемо, т.к. те, у кого юникод, обычно не думают о кодировках совсем. А зачем, если все само работает? :)
А что вы делаете, если нужно что-то, кроме кириллицы и латиницы? Например, греческие буквы.

Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

56. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от saahriktu (ok) on 06-Янв-17, 01:49

Ситуации бывают разные. В том же telegram-cli разработчики сделали дефолтом именно UTF-8 без всяких альтернатив (а в случае других локалей перекодировать таки нужно). Я им писал в багтрекер, но ничего это не поменяло. Так что, даже если разработчики и не совсем забыли про другие локали это может мало что менять.
В plaintext'е мне такое не нужно. Да и с форматированными документами я особо не сталкиваюсь. Кстати, у меня есть утилита для дампа данных из UTF-32 в KOI8-R: http://www.linux.org.ru/news/opensource/12982880 . Так что, распарсить юникодные тексты я спокойно могу и в кодировке KOI8-R.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

60. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от Аноним (??) on 06-Янв-17, 10:08

> Ситуации бывают разные. В том же telegram-cli разработчики сделали дефолтом именно UTF-8
> без всяких альтернатив (а в случае других локалей перекодировать таки нужно).
Полагаю, потому что писать вам будут именно в UTF-8 и разработчики не хотят возиться с кракозябрами?
Что должно произойти, если вам пришлют символы, которых в KOI8-R нет?

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

65. "Выпуск утилиты GNU sed 4.3" –2 +/–

Сообщение от saahriktu (ok) on 06-Янв-17, 10:45

Их можно просто обрезать. Всё равно все юзеры KOI8-R согласились на "iconv -c". При обсуждении вопроса кто-то заявлял, что iconv() есть не на всех платформах. Ну так ./configure никто не отменял. В куче проектов есть отдельные платформозависимые куски кода, которые включаются в зависимости от платформы. Можно было хотя бы для Linux'а включить iconv() между сетью в UTF-8 и консолью в другой локали.

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

79. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от PnDx (ok) on 10-Янв-17, 18:51

> А зачем ему скармливать текст в однобайтовой кодировке?
(шёпотом) из РосКомСвязи ещё и не такое прилетает. Набор строк в одной таблице с разными кодировками (как им операторы налили, "nobody cares") и разбирай как хочешь.

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

80. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от Michael Shigorin (ok) on 10-Янв-17, 19:35

>> А зачем ему скармливать текст в однобайтовой кодировке?
> (шёпотом) из РосКомСвязи ещё и не такое прилетает. Набор строк в одной
> таблице с разными кодировками (как им операторы налили, "nobody cares") и
> разбирай как хочешь.
enca/librcd+librcc построчно?..

Ответить | Правка | ^ к родителю #79 | Наверх | Cообщить модератору

81. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от PnDx (ok) on 11-Янв-17, 11:08

> enca/librcd+librcc построчно?..
enca на сотнях тысяч строк (ABC & DEF)? Нет, я так не играю :)
А вот за (librcd+librcc) — спасибо, исторически там "сюрпризы" тупо катчатся и дальше в полуручном режиме.

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

51. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Michael Shigorin (ok) on 06-Янв-17, 00:17

>> Юникодные парсеры постоянно ломаются на "некорректных данных".
> Странно, ни разу не видел. А можно примерчик?
Сколько угодно попадается побайтно разорванных на полусимволе сокращённых фраз, например.

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

52. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 06-Янв-17, 00:19

>>> Юникодные парсеры постоянно ломаются на "некорректных данных".
>> Странно, ни разу не видел. А можно примерчик?
> Сколько угодно попадается побайтно разорванных на полусимволе сокращённых фраз, например.
Мм, где? Если вы о том, о чем я думаю, то мне казалось, это ошибки OCR.

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

54. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Michael Shigorin (ok) on 06-Янв-17, 01:38

>>>> Юникодные парсеры постоянно ломаются на "некорректных данных".
>>> Странно, ни разу не видел. А можно примерчик?
>> Сколько угодно попадается побайтно разорванных на полусимволе сокращённых фраз
> Мм, где? Если вы о том, о чем я думаю, то мне казалось, это ошибки OCR.
Нет -- обычно в заголовках или автоматически сформированных цитатах.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

61. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 06-Янв-17, 10:10

> Нет -- обычно в заголовках или автоматически сформированных цитатах.
А, на опеннете же. Да, точно, хороший пример.
Но вот проблема-то создана именно тем, что сайт использует KOI8-R. а пользователи вводят данные в UTF-8. :)

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

62. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от Michael Shigorin (ok) on 06-Янв-17, 10:14

>> Нет -- обычно в заголовках или автоматически сформированных цитатах.
> А, на опеннете же. Да, точно, хороший пример.
Именно что не здесь.
> Но вот проблема-то создана именно тем, что сайт использует KOI8-R. а пользователи
> вводят данные в UTF-8. :)
Было сомнение по ходу обсуждения, а сейчас Вы прямым текстом расписались как в полном непонимании, так и в тяге к обсуждению из соображений вроде "чё это он не как все".
Вижу порой таких вот анонимных защитников "всего нового против всего старого", и всегда у них крупные проблемы с собственно пониманием, а не реагированием...

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

63. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 06-Янв-17, 10:20

>>> Нет -- обычно в заголовках или автоматически сформированных цитатах.
>> А, на опеннете же. Да, точно, хороший пример.
> Именно что не здесь.
Тогда я все-таки не понял, где. Можете все-таки ссылку дать?

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

64. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Michael Shigorin (ok) on 06-Янв-17, 10:22

>>>> Нет -- обычно в заголовках или автоматически сформированных цитатах.
>>> А, на опеннете же. Да, точно, хороший пример.
>> Именно что не здесь.
> Тогда я все-таки не понял, где. Можете все-таки ссылку дать?
Не-а, не запоминал; а ради оппонента, допускающего такие ошибки и при этом упорно продолжающего дискуссию (т.е. явно гробящего избыток времени попусту) -- искать не стану, простите.
Характерный признак -- "убитый" в кракозябра последний символ строки перед каким-нибудь многоточием.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

67. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Hamer13 (ok) on 06-Янв-17, 13:00

https://www.zabbix.com/forum/forumdisplay.php?f=21
Встречаются и обрезанные заголовки, и сообщения в разных кодировках одновременно, всякое там есть.
Вот очень древний пример: https://www.zabbix.com/forum/showthread.php?t=14476

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

76. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от freehck (ok) on 08-Янв-17, 19:05

>> Сколько угодно попадается побайтно разорванных на полусимволе сокращённых фраз, например.
> Мм, где? Если вы о том, о чем я думаю, то мне казалось, это ошибки OCR.
Ну например: при добавлении в базу решили обрезать введённую юзером в юникоде строку. Обрезали побайтно до 25 символов, потому что поле было такого размера. Затем извлекли из базы и куда-то вставили... и получили документ с битым юникодом.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

82. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Michael Shigorin (ok) on 11-Янв-17, 13:03

>>>> Юникодные парсеры постоянно ломаются на "некорректных данных".
>>> Странно, ни разу не видел. А можно примерчик?
>> Сколько угодно попадается побайтно разорванных на полусимволе сокращённых фраз,
>> например.
> Мм, где?
Например, в старой mediawiki при поиске можно огрести в отрывке вместо многоточия:
---
...никами <s>и собранный deb (он же переделан [[Elbrus/alien|alien]]'ом в rpm) glibc-2.21-20.005</s> и пакет из нег� BR: libgd2-devel временно отключено -- см. [[Elbrus/groff#libXt]] насчёт потери зависимостей между
---
(а gd2 вчера допинал после сборки всего нужного питоньего хозяйства, следом и glibc пересобрал "по полной")

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

59. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от А (??) on 06-Янв-17, 09:45

Скажите японцу, что KOI8-R - это вообще ни разу ни алафавит в России!

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

75. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Андрей (??) on 08-Янв-17, 11:28

Вы решаете несуществующие проблемы с мертвой кодировкой. 2017 год на дворе, у вас что 16 битный компьютер?

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

78. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от Аноним (??) on 09-Янв-17, 18:31

Оппа, а что, есть ещё те, кто не перешёл на UTF-8 ?
PS Сам не переходил, пока MC не стал нормально поддерживать UTF-8, но давно уж как научился.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

83. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от saahriktu (ok) on 13-Янв-17, 00:56

> Оппа, а что, есть ещё те, кто не перешёл на UTF-8 ?
Да, есть.

Ответить | Правка | ^ к родителю #78 | Наверх | Cообщить модератору

9. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от ffirefox on 05-Янв-17, 11:31

Отличная строчка для резюме:
Опытный пользователь. Обыгрываю текстовый редактор в шахматы.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

19. "Выпуск утилиты GNU sed 4.3" –1 +/–

Сообщение от Аноним (??) on 05-Янв-17, 15:15

Заставляю текстовой редактор играь шахматы

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

5. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от eRIC (ok) on 05-Янв-17, 07:24

Годно!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Выпуск утилиты GNU sed 4.3" +2 +/–

Сообщение от Аноним (??) on 05-Янв-17, 13:13

"Быстрее в 10 раз"
Втф. Убрали из кода слипы?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Выпуск утилиты GNU sed 4.3" +7 +/–

Сообщение от mumu (??) on 05-Янв-17, 13:19

> значительное ускорение операций ... в 10 раз
Это отнюдь не мини-новость! В файрфоксе и за 50 версий такого нововведения не сыщешь.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Anonim (??) on 05-Янв-17, 19:28

>> значительное ускорение операций ... в 10 раз
>
> Это отнюдь не мини-новость! В файрфоксе и за 50 версий такого нововведения не сыщешь.
sed 's|ускорение операций|потребление памяти|g' новость_о_sed.txt > новость_о_firefox.txt

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

28. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 05-Янв-17, 19:51

>>> значительное ускорение операций ... в 10 раз
>>
>> Это отнюдь не мини-новость! В файрфоксе и за 50 версий такого нововведения не сыщешь.
> sed 's|ускорение операций|потребление памяти|g' новость_о_sed.txt
> > новость_о_firefox.txt
У меня Firefox потребляет память в 10 раз. Это плохо?

Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

68. "Выпуск утилиты GNU sed 4.3" +/–

Сообщение от Аноним (??) on 06-Янв-17, 17:36

Следующая версия будет sedD для поддержки systemD ?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

77. "Выпуск утилиты GNU sed 4.3" +1 +/–

Сообщение от Аноним (??) on 09-Янв-17, 04:15

Сплюньте и помойте рот после таких заявлений!

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

2. "Выпуск утилиты GNU sed 4.3"	+/–
Сообщение от Аноним (??) on 05-Янв-17, 01:12
Как все слова выстроить в столбик?
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	3. "Выпуск утилиты GNU sed 4.3"	+6 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 01:22
	echo "Ключевым улучшением новой версии является" \| sed "s/ /\n/g"
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	7. "Выпуск утилиты GNU sed 4.3"	+4 +/–
	Сообщение от Nicknnn (ok) on 05-Янв-17, 10:48
	Немного улучшил. echo "Ключевым улучшением новой версии является" \| sed -r 's/\s+/\n/g'
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору

4. "Выпуск утилиты GNU sed 4.3"	+5 +/–
Сообщение от бедный буратино (ok) on 05-Янв-17, 03:49
теперь > OpenNews: Шахматы, реализованные с использованием утилиты sed будут работать в 10 раз быстрее? ура!
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	6. "Выпуск утилиты GNU sed 4.3"	+2 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 09:06
	Только ради них все и затевалось. Ждем еще лет 5 пока GPU ускорение завезут, вот там заживем.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	8. "Выпуск утилиты GNU sed 4.3"	–1 +/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 11:16
	Эти шахматы в оригинале заточены под юникод и при однобайтных локалях не работают. Однако, я на коленке портанул под локаль KOI8-R: gopher://sdf.org/9/users/saahriktu/filez/notbyme/SedChess.tar.xz .
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	10. "Выпуск утилиты GNU sed 4.3"	–5 +/–
	Сообщение от Пользователь Debian on 05-Янв-17, 12:04
	А что это за гопхер? o_O
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	11. "Выпуск утилиты GNU sed 4.3"	+1 +/–
	Сообщение от RomanCh (ok) on 05-Янв-17, 12:13
	curl gopher://sdf.org/9/users/saahriktu/filez/notbyme/SedChess.tar.xz > SedChess.tar.xz Пользуясь случаем хочу спросить, это так и задумано, у меня всё работает правильно? http://imgs.netpatch.ru/20170105_JwZWTuTbhc.png
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору


	12. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 12:24
	В ядерной консоли с локалью KOI8-R оно взлетает так: http://saahriktu.org/tmp/scr1483608023.png
	Ответить \| Правка \| ^ к родителю #11 \| Наверх \| Cообщить модератору


	17. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 13:27
	Пропатчил цвета для ядерной консоли: http://saahriktu.org/tmp/scr1483611819.png
	Ответить \| Правка \| ^ к родителю #12 \| Наверх \| Cообщить модератору


	57. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от Led (ok) on 06-Янв-17, 02:21
	>> Малыш > Саш, ты неправ. Прав, потому как я не про физический возраст.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 12:26
	http://linuxmd.net/forum/komandnaya-stroka-terminal/276-prot...
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору


	16. "Выпуск утилиты GNU sed 4.3"	+2 +/–
	Сообщение от mumu (??) on 05-Янв-17, 13:21
	> А что это за гопхер? saahriktu — известный тролль на тему экзотических локалей и протоколов
	Ответить \| Правка \| ^ к родителю #10 \| Наверх \| Cообщить модератору


	18. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 13:55
	>экзотических локалей Между прочим, в исходниках 5-го Perl'а до сих пор написано "KOI8 - De Facto Standard for the Cyrillic world". В исходниках ядра Linux и версии 4.9 написано "KOI8-R is preferred in Russia". А на официальном сайте юникода есть файл http://unicode.org/Public/MAPPINGS/VENDORS/MISC/KOI8-R.TXT , обновление которого датировано 2016-01-04 23:05:00 GMT [KW].
	Ответить \| Правка \| ^ к родителю #16 \| Наверх \| Cообщить модератору


	20. "Выпуск утилиты GNU sed 4.3"	+4 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 16:21
	Просто КОИ8 всем настолько нужна, что о ней забыли удалить упоминания.
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	21. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 16:40
	А вот и нет. Я упомянул только про вершину айсберга. Тот же INABA Hitoshi активно пилит модуль Char-KOI8R для 5-го Perl'а. Модуль отучает Perl от отдельных случаев интерпретирования текста в KOI8-R как бинарных данных и автоматически устанавливает кодировку скрипта в KOI8-R. Последняя версия вышла в конце августа. В этой версии автор по просьбам портанул модуль и на Win 10. В винде, напоминаю, выставить локаль KOI8-R в эмуляторе терминала можно командой "chcp 20866".
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	22. "Выпуск утилиты GNU sed 4.3"	+2 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 18:04
	А чем KOI8-R лучше Юникода?
	Ответить \| Правка \| ^ к родителю #21 \| Наверх \| Cообщить модератору


	23. "Выпуск утилиты GNU sed 4.3"	+2 +/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 19:14
	Архитектурной простотой, надёжностью и предсказуемостью. Юникодные парсеры постоянно ломаются на "некорректных данных". А для однобайтных парсеров KOI8-R "некорректных данных" просто не бывает. Они и юникод на отдельные байты разберут, включая некорректные для юникодных парсеров данные. Ну и т.д.
	Ответить \| Правка \| ^ к родителю #22 \| Наверх \| Cообщить модератору


	24. "Выпуск утилиты GNU sed 4.3"	–2 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 19:21
	> Юникодные парсеры постоянно > ломаются на "некорректных данных". Странно, ни разу не видел. А можно примерчик? > просто не бывает. Они и юникод на отдельные байты разберут, включая > некорректные для юникодных парсеров данные. А зачем это может понадобиться? Там же нечитаемые кракозябры будут в таком случае?
	Ответить \| Правка \| ^ к родителю #23 \| Наверх \| Cообщить модератору


	26. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 19:44
	http://www.linux.org.ru/forum/talks/13057674 . Ещё при локали UTF-8 файлы с некорректными для UTF-8 именами могут исчезать из файловых менеджеров, но внезапно появляться при локали KOI8-R. Кракозябрами имена файлов или нет - не так важно относительно того отображаются ли оно вообще или нет. Если они отображаются - можно и переименовать.
	Ответить \| Правка \| ^ к родителю #24 \| Наверх \| Cообщить модератору


	27. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от Аноним (??) on 05-Янв-17, 19:50
	> http://www.linux.org.ru/forum/talks/13057674 . У меня должен был браузер упасть? В заголовке квадратик. Вообще, там человек знатный ССЗБ. А можно это вызвать как-то попроще? :) > Ещё при локали UTF-8 файлы с некорректными > для UTF-8 именами могут исчезать из файловых менеджеров, но внезапно появляться > при локали KOI8-R. Кракозябрами имена файлов или нет - не так > важно относительно того отображаются ли оно вообще или нет. Если они > отображаются - можно и переименовать. А где такие файлы взять? Какие-то надуманные примеры, если честно. Можно (может и нельзя, я не проверял) еще сделать файлы с очень длинными именами, чтобы кончалась память/было переполнение. Но зачем?..
	Ответить \| Правка \| ^ к родителю #26 \| Наверх \| Cообщить модератору


	30. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 20:18
	Самый простой способ поломать юникодный парсер - скормить ему текст в любой однобайтной кодировке. Мне по этой причине пришлось патчить pip из состава Python'а 3.6.0. А то выпадал в осадок при сборке с ошибкой "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcb in position 22: invalid continuation byte" (авторы жёстко прописали дефолт в UTF-8; а суть патча свелась к "sed -i "s/'utf-8'/'koi8-r'/g" pip/_vendor/distro.py"). Соответственно, часть файлов, имена которых в KOI8-R, может пропадать при локали UTF-8. Но, ни один файл с именем в UTF-8 не пропадёт при локали KOI8-R.
	Ответить \| Правка \| ^ к родителю #27 \| Наверх \| Cообщить модератору


	35. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 20:58
	Ситуации бывают разные. Вот, например, у меня имена файлов в KOI8-R, а на какой-то другой машине локаль UTF-8. Что будет если я перекину файлы на флэшку, которую подключу к другой машине? Правильно, часть файлов я вообще не увижу. Даже кракозябрами.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Выпуск утилиты GNU sed 4.3"	+2 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 21:16
	> Ситуации бывают разные. Вот, например, у меня имена файлов в KOI8-R, а > на какой-то другой машине локаль UTF-8. Что будет если я перекину > файлы на флэшку, которую подключу к другой машине? Правильно, часть файлов > я вообще не увижу. Даже кракозябрами. Если у вас имена файлов тоже будут в UTF-8, то проблемы не будет в принципе. Зачем изобретать себе сложности?
	Ответить \| Правка \| ^ к родителю #35 \| Наверх \| Cообщить модератору


	39. "Выпуск утилиты GNU sed 4.3"	+1 +/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 21:32
	Это если они будут в валидном UTF-8. Мало ли откуда могут появиться файлы с невалидными именами. Через те же торренты (мало ли что там в раздачах), уязвимости (хорошая идея - прописать вирусятину в системе через файлы с невалидными UTF-8 именами),... и т.д. И они будут, но не будут видны.
	Ответить \| Правка \| ^ к родителю #38 \| Наверх \| Cообщить модератору


	41. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от Аноним (??) on 05-Янв-17, 21:53
	> Это если они будут в валидном UTF-8. Мало ли откуда могут появиться > файлы с невалидными именами. Через те же торренты (мало ли что > там в раздачах), уязвимости (хорошая идея - прописать вирусятину в системе > через файлы с невалидными UTF-8 именами),... и т.д. И они будут, > но не будут видны. И сколько раз вы с таким сталкивались?
	Ответить \| Правка \| ^ к родителю #39 \| Наверх \| Cообщить модератору


	32. "Выпуск утилиты GNU sed 4.3"	–1 +/–
	Сообщение от Аноним (??) on 05-Янв-17, 20:36
	> Самый простой способ поломать юникодный парсер - скормить ему текст в любой > однобайтной кодировке. Мне по этой причине пришлось патчить pip из состава > Python'а 3.6.0. А то выпадал в осадок при сборке с ошибкой > "UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcb in position 22: invalid > continuation byte" (авторы жёстко прописали дефолт в UTF-8; а суть патча > свелась к "sed -i "s/'utf-8'/'koi8-r'/g" pip/_vendor/distro.py"). > Соответственно, часть файлов, имена которых в KOI8-R, может пропадать при локали UTF-8. > Но, ни один файл с именем в UTF-8 не пропадёт при > локали KOI8-R. Хорошо. А зачем ему скармливать текст в однобайтовой кодировке?
	Ответить \| Правка \| ^ к родителю #30 \| Наверх \| Cообщить модератору


	36. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 21:01
	Криворукость кодеров бывает разной. Некоторые, вон, вообще локаль не читают. А какие-то тексты и при юнокодной локали могут оказаться в однобайтной кодировке. Да и юникодный текст внезапно может побиться. И юникодный парсер его уже не распарсит.
	Ответить \| Правка \| ^ к родителю #32 \| Наверх \| Cообщить модератору


	37. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от Аноним (??) on 05-Янв-17, 21:11
	> Криворукость кодеров бывает разной. Некоторые, вон, вообще локаль не читают. В таком случае текст обычно бывает как раз-таки в UTF-8. Или просто в ASCII. > А какие-то > тексты и при юнокодной локали могут оказаться в однобайтной кодировке. Да > и юникодный текст внезапно может побиться. Если по какой-то причине начал портиться текст в рандомном месте, то там уже не до парсера.
	Ответить \| Правка \| ^ к родителю #36 \| Наверх \| Cообщить модератору


	40. "Выпуск утилиты GNU sed 4.3"	+/–
	Сообщение от saahriktu (ok) on 05-Янв-17, 21:34
	Всякое бывает. Речь про проблемы в юникодных парсерах вообще. То, что они обычно работают как надо, не исключает связанных с ними проблем.
	Ответить \| Правка \| ^ к родителю #37 \| Наверх \| Cообщить модератору