forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Система распараллеливания shell-скриптов PaSh перешла под крыло Linux Foundation, opennews (??), 27-Сен-21, (0) [смотреть все]

Может у них и транслятор configure - CMake есть , Аноним (3), 22:17 , 27-Сен-21, (3) –2 //

В новости про мягкое, а вы про зелёное , Аноним (61), 12:55 , 28-Сен-21, (61) +1

Програмирую на Баш - обретает нов 1110 й смь 1110 сл , Аноним (5), 22:25 , 27-Сен-21, (5) –9 //

Это вообще не то , Аноним (7), 22:56 , 27-Сен-21, (7) +7 //

Наоборот , Вуся (?), 23:45 , 27-Сен-21, (10) +4

Это виндонабросчик с одной извилиной, и та пожароопасная -- не кормите лишку, лу, Michael Shigorin (ok), 12:26 , 28-Сен-21, (56) +3

До повершела Башу деградировать вечность, так что никогда не дойдет , Fractal cucumber (??), 12:10 , 28-Сен-21, (50) +2

Если речь идёт о ForEach -Parallel из 5 1, то это как раз то самое Итератор обхо, Аноним (11), 01:50 , 28-Сен-21, (11) +2 //

Я именно об этом и говорил, что не оно Как я понимаю, это было запилено, чтобы о, Аноним (7), 07:26 , 28-Сен-21, (15)
да, неплохо наворотил майкрософт абстракция на абстракции сидити абстракцией по, СеменСеменыч777 (?), 08:44 , 28-Сен-21, (23) +4

Вообще-то - глубоко ошибочным 1 Ни в одной серьезной конторе не используется то, pofigist (?), 09:58 , 28-Сен-21, (36) –11

хорошо я проиграл, а техно-этисамые выиграли рад за них если они хотят тратит, СеменСеменыч777 (?), 10:16 , 28-Сен-21, (39) +2

Ну имеется ввиду интеграция со всеми остальными системными вещами Да-да-да Для , pofigist (?), 12:08 , 28-Сен-21, (48) –3

Это вранье, на самом деле все наоборот, на что мягко намекает линукс в ажуре, по, Аноним (45), 11:35 , 28-Сен-21, (45)

Ой, недавно же обсуждали - в линаксе отсутствует аналог MSAD Увы и их - без это, pofigist (?), 11:59 , 28-Сен-21, (47) –3

Как там в вашем 1999-м , Аноним (61), 13:28 , 28-Сен-21, (66) +1

что-то все больше в больших конторах ну не берем рога-и-копыта из 10 человек и, Аноним (82), 16:02 , 28-Сен-21, (82) –1

Давайте не будем сравнивать AD и OpenLDAP Это все равно что сравнивать ну напри, pofigist (?), 19:06 , 28-Сен-21, (100)

А, вот оно что Ну окей, мы поняли, в какого уровня серьёзных конторах вы работал, freehck (ok), 00:05 , 29-Сен-21, (126) +1
Эх, молодежь - линакс используется на подавляюще большем количестве устройств , xgen (?), 02:15 , 29-Сен-21, (137)

Мой дорогой, но слабообразованный друг - мой первый юникс был на СМ1420 И таки, pofigist (?), 14:32 , 29-Сен-21, (146)

Мой высокообразованный, но не далекий друг, наш мир - это капитализм Просто пос, xgen (?), 21:21 , 29-Сен-21, (153) +1

Только на нем и делают Внезапно, да Только не 6адо тут про гугль и прочие штучн, pofigist (?), 22:59 , 03-Окт-21, (177)

Вы слышали что-нибудь, скажем, про perl , Michael Shigorin (ok), 12:10 , 28-Сен-21, (49)

Легендарный односторонние на перл в повершеле написать не получится - факт Имхо, pofigist (?), 12:54 , 28-Сен-21, (60) –1

Лучше Баша выглядит наличием телеметрии , Аноним (61), 13:20 , 28-Сен-21, (64)

Итак - исходники PowerShell находяться здесь - https github com PowerShell Pow, pofigist (?), 13:36 , 28-Сен-21, (67) –2

В здравом уме ни то ни то никто не станет использовать Уже питон в крайнем случа, Аноньимъ (ok), 14:31 , 28-Сен-21, (72)

А какую версию пихона по-вашему надо использовать-то Вот есть одна контора - исп, pofigist (?), 15:48 , 28-Сен-21, (79) –2

По моему лучше никакую А так то вопрос странный, очевидно 3 , Аноньимъ (ok), 15:56 , 28-Сен-21, (80)

Пихон это нечто уникальное по несовместимости между своими же версиями Поскольк, pofigist (?), 16:07 , 28-Сен-21, (83) –1

Лисп решение реальное Guix есть от гну, есть ракет схема rash shell есть всякие, Аноньимъ (ok), 00:05 , 29-Сен-21, (127)

Lisp давно умер REXX куда более живой ибо сделан професионалами , pofigist (?), 14:35 , 29-Сен-21, (147) –1

Да вы издеваетесь, мейнстрим только только до некоторых фич лиспа стал доходить , Аноньимъ (ok), 16:31 , 29-Сен-21, (150)
Ой, вот по мне так лисп - это диагноз Язык конечно был прикольный, новаторский , pofigist (?), 16:58 , 29-Сен-21, (152)
christian schaffmeister https github com drmeister, uses a custom lisp impl to, Аноньимъ (ok), 03:49 , 06-Окт-21, (189)
https riemann io, Аноньимъ (ok), 03:55 , 06-Окт-21, (190)

PS используют на венде, а питон на линуксе У обоих проблемы с кроссплатформенно, Аноним (11), 18:44 , 28-Сен-21, (99) –2

Так и должно быть Так и правильно , Аноньимъ (ok), 23:58 , 28-Сен-21, (124)

Виндоадмины порядочно дешевле и более распространены Вот те квест попробуй нор, freehck (ok), 23:57 , 28-Сен-21, (123)

Страшно спросить Если это по вашему плюсы то что-же там сейчас недостатки Жуть , Аноньимъ (ok), 00:02 , 29-Сен-21, (125)

Нашёл, где спросить На опеннете Тут каждый первый тебе ведро недостатков отгру, freehck (ok), 00:17 , 29-Сен-21, (128) –1

Он сложен не в плане супер хакеров, а в плане комплексных мер И дело тут не в шп, Аноньимъ (ok), 00:33 , 29-Сен-21, (131)

Очевидно что ты очень слабо представляешь процессы добычи нефти или создания и п, pofigist (?), 10:13 , 29-Сен-21, (145)

Самый большой недостаток винды это wsl, особенно 2й версии 129315 Товарищ ещё, pofigist (?), 10:01 , 29-Сен-21, (144)

Годная новость И лицензия правильная и место питона верное Порулить скажем пор, Аноним (9), 23:18 , 27-Сен-21, (9) –1 //

Если портеж станет вместо тупления по 15 минут делать компиляцию всех программ о, Аноним (42), 10:31 , 28-Сен-21, (42)

а я gnu parallel пользовалсячем это лучше , Аноним (12), 02:28 , 28-Сен-21, (12) +2 //

тем что как использователь parallel думал ты, dikiy_f90 (?), 10:08 , 28-Сен-21, (38) +1
Там ручками говоришь, тут JIT Кроме parallel 1 тоже есть несколько подобных р, Michael Shigorin (ok), 12:14 , 28-Сен-21, (51) –1
О, пользователь parallel Очень рад встретиться У меня с момента первого анонса, freehck (ok), 00:24 , 29-Сен-21, (129) //

Он может жуткий синтаксис, в котором без пол-литры разобраться сложно Каждый ра, Stax (ok), 02:35 , 30-Сен-21, (154) //

Ну оно так часто бывает, когда смотришь на инструменты следующего поколения Это, freehck (ok), 14:54 , 30-Сен-21, (155)

Жуть и мрак Шелл скрипт был ошибкой, вот что неплохо бы заменить как устаревшую , Аноньимъ (ok), 04:40 , 28-Сен-21, (13) –9 //

Так не пользуйся, заставляет, что ли, кто-то Альтернативных шеллов миллион, как , lockywolf (ok), 06:22 , 28-Сен-21, (14) +4 //

Он озвучивает ту точку зрения, что шелл как язык программирования -- это ужас , Michael Shigorin (ok), 12:16 , 28-Сен-21, (52) //

Пока это простой конвейр, то просто ужас Когда нужно немножко преобразовать или , Аноньимъ (ok), 15:35 , 28-Сен-21, (76)

А в чём проблема с cut sed awk У меня пачка скриптов, которые именно это всё и д, freehck (ok), 00:33 , 29-Сен-21, (130)

Нет, ужас в меня это не вселяет Во мне есть ужас но это другой ужас Ужас же шел, Аноньимъ (ok), 00:48 , 29-Сен-21, (133) +1

Не умеешь -- не используй , freehck (ok), 03:53 , 29-Сен-21, (138) –2
Да ты просто понятия не имееш как на шеле програмировать, потому шо больше однос, VINRARUS (ok), 21:29 , 03-Окт-21, (173) –1

Не умею так не умею Как кстати дела с отладкой обстоят у вас Чем пользуетесь , Аноньимъ (ok), 22:55 , 03-Окт-21, (176)

Так мало кто умеет, большынство понятия не имеют о всех возможностях shell http, VINRARUS (ok), 23:23 , 03-Окт-21, (178)

Интересно А как обработка ошибок осуществляется, и чем тестируете , Аноньимъ (ok), 21:39 , 04-Окт-21, (186)

Глазами, в терминале Иногда лог в файл направляю , VINRARUS (ok), 07:24 , 05-Окт-21, (188)
Я тут мимо старой темы проходил echo конечно хорошо, но для более грамотного деб, freehck (ok), 16:19 , 11-Ноя-21, (192)

Даааа Заставляет Тут пол GNU Linux на этом щастье нынче написилькана Всякие с, Аноньимъ (ok), 14:35 , 28-Сен-21, (73) //

Какое вообще отношение утилиты имеют к шелу Полно натива где в коде использу, VINRARUS (ok), 21:32 , 03-Окт-21, (174)

Дело-то не в этом Когда sh появился, его пользователи знали минимум пару-тройку , n00by (ok), 17:15 , 28-Сен-21, (93) +1 //

gt оверквотинг удален А, типа, это люди, когда пишут на Си или Питоне, пишут к, lockywolf (ok), 07:24 , 29-Сен-21, (140) –1

gt оверквотинг удален Вообще-то я сравнивал баш-программистов со знающими неск, n00by (ok), 07:53 , 29-Сен-21, (142) +1

Из коробки в линуксе сразу есть Perl и Python Даже ставить не надо специально К, Аноним (7), 07:29 , 28-Сен-21, (16) +1 //

Отвечу примером из жизни Я Привет Что делаешь Коллега Пишу скрипт для Я П, Аноним777 (?), 08:12 , 28-Сен-21, (18) +7 //

В этом плане удобнее всего PHP, у него весь рантайм укладывается в один бинарник, Онаним (?), 08:28 , 28-Сен-21, (19) –3

Это если разведение гадюшников или даже автоматизация этого процесса является , Michael Shigorin (ok), 12:18 , 28-Сен-21, (53) –1

Разведение гадюшников - это к пыхтону с его venv И отдельно к перлу с его бардак, Онаним (?), 20:50 , 28-Сен-21, (113) +1
В смысле утрамбовать PHP - реально представляет из себя один-единственный бинар, Онаним (?), 20:51 , 28-Сен-21, (114) +1

С Go не перепутали , Аноним (75), 15:32 , 28-Сен-21, (75)

Нет, не перепутал У того рантайм надо тащить в каждом собранном бинарнике каждо, Онаним (?), 20:49 , 28-Сен-21, (112)

Суёшься в перл - начинается бесконечный поиск пакетов с пакетами, если в дистре , Онаним (?), 08:30 , 28-Сен-21, (20) –2

tcl , kusb (?), 08:36 , 28-Сен-21, (22) +4

Why not Для тех, кто уживается с его синтаксисом - вполне , Онаним (?), 08:59 , 28-Сен-21, (24) +1
Скрыто модератором, DAyjybv (?), 09:23 , 28-Сен-21, (29) +1

CORE в perl достаточно для рядовой автоматизации А продуманная и стандартная, DAyjybv (?), 09:34 , 28-Сен-21, (31) +2

Угу Как только доходим до HTTP, что в перле, что в пыхтоне начинается лютейший , Онаним (?), 20:52 , 28-Сен-21, (115)

дальше можно не продолжать, у хттп проблемы встроены , Аноним (-), 01:38 , 29-Сен-21, (136)

На уровне глубины shell-а базовой поставки вполне достаточно , Аноним (7), 09:46 , 28-Сен-21, (33) +2

Ну, кому как , Онаним (?), 20:53 , 28-Сен-21, (116)

Лисп схему встроить прямо в ядро , Аноньимъ (ok), 15:42 , 28-Сен-21, (78) –1

Схема более похожа на Алгол, чем на Лисп Ну , кроме скобочек конечно , lockywolf (ok), 07:27 , 29-Сен-21, (141)

Недавно перетаскивал LinOTP на восьмую ветку CentOS а Пришлось допилить сам Lin, Онаним (?), 08:34 , 28-Сен-21, (21)

я уж молчу о том, что он требует мёртвенького python2 , Онаним (?), 09:01 , 28-Сен-21, (25)

Попробуйте хотя бы разделить наработки с апстримом -- вдруг при виде Ваших страд, Michael Shigorin (ok), 12:20 , 28-Сен-21, (54) +1

С апстримом мёртвых deprecated библиотек, которые он хочет D, Онаним (?), 20:54 , 28-Сен-21, (117)

были ли расмотрены и отброшены варианты 1 выкинуть LinOTP, заменить на более , СеменСеменыч777 (?), 09:03 , 28-Сен-21, (26)

Учитывая, что с ним работать не мне - рассмотрено и отброшено На него завязаны , Онаним (?), 20:56 , 28-Сен-21, (118)

Простите, гетерогенная гомогенная , Онаним (?), 20:57 , 28-Сен-21, (119)

имено что гомо такая среда даже внутри Microsoft не живет хотя у них все свое, СеменСеменыч777 (?), 15:07 , 01-Окт-21, (162)

Идеал, я так понимаю, зоопарк из полутора локалхостов, на одном убунта, на друго, Онаним (?), 20:31 , 01-Окт-21, (165)

если какие-то задачи кроме сдохнуть первым и предупредить что так делать не над, СеменСеменыч777 (?), 22:34 , 01-Окт-21, (166)

Конечно не вписал Винда - это задача уже другой команды, там свои заморочки BSD , Онаним (?), 09:00 , 02-Окт-21, (169)

ну вот видите а контора-то одна, и сеть общая и где ваша желанная гомосреда н, СеменСеменыч777 (?), 07:55 , 04-Окт-21, (179)
Если чуть-чуть включить мозг и понять, что среды две а то и более - есть , Онаним (?), 08:10 , 04-Окт-21, (180)
Есть, конечно, но не в моём случае Если собираешься взакрытую допиливать ядро, Онаним (?), 08:11 , 04-Окт-21, (181)
не только например если надо поставить хост, который сломают в последнюю очеред, СеменСеменыч777 (?), 12:12 , 04-Окт-21, (182)
Security through obscurity Учитывая, что качество review явно разнится, даже так, Онаним (?), 20:53 , 04-Окт-21, (183)
bullshit through bullshit вернитесь в реальность что чаще всего ломают потоковы, СеменСеменыч777 (?), 21:18 , 04-Окт-21, (185)
Очень правильное определение для ниши, указанной выше , Онаним (?), 22:30 , 04-Окт-21, (187)
А то может получиться в первую, а не в последнюю , Онаним (?), 20:54 , 04-Окт-21, (184)

А если бы всё это было написано на shell , Аноним (7), 09:47 , 28-Сен-21, (34)

ит-салаги исполняли бы это в bash, удивлялись тормозам и приняли бы решение - вс, СеменСеменыч777 (?), 10:23 , 28-Сен-21, (41) +1

Я, собственно, хотел намекнуть, что пример не релевантен Всякую скриптоту вокруг, Аноним (7), 13:43 , 28-Сен-21, (69) +1

А он в курсе, что printf в утилитах не обязан быть стабильным , commiethebeastie (ok), 09:14 , 28-Сен-21, (27)
Кросплатформенностью шелл-то и кросплатформенностью Херня вызывающая другую хе, DAyjybv (?), 09:22 , 28-Сен-21, (28) +3

Херня вызывающая другую херню и полагается, что на целевой системе будет хотя бы, Аноним (7), 09:48 , 28-Сен-21, (35)

Кто мешает писать на питон 3 5 , Аноним (7), 09:42 , 28-Сен-21, (32) –1

Питоны разных версий уживаются в одной системе Что мешает поставить рядом Pytho, Аноним (61), 13:45 , 28-Сен-21, (71) –2

Только если писать на чистом баше, как только вызвал внешнюю утилиту - не факт ч, pofigist (?), 13:00 , 28-Сен-21, (63) –2

Да что ты такое, чёрт-побери несёшь Тебя страшно обидел кто-то или ковид моз, Led (ok), 19:20 , 28-Сен-21, (101) +1
Ну так это не проблема скрипта Скрипт -- это софт Софт пакуется в пакеты, а у , freehck (ok), 00:45 , 29-Сен-21, (132)

А скрипты на Python имеют закрытый код , Аноним (61), 13:39 , 28-Сен-21, (68) +2
Ха Да щаз Это когда баш перестал быть сторонней библиотекой Оно ни разу не крос, Аноньимъ (ok), 15:38 , 28-Сен-21, (77)

Есть, busybox лиш подтянуть нада , VINRARUS (ok), 21:38 , 03-Окт-21, (175)

Ну это же было сделано двести лет до нашей эры Не модно и не молодёжно , cz (??), 10:18 , 28-Сен-21, (40)

Ощибка это SystemD, JavaScript, Electron, dart или как его там от гугла вместе с, пончик (?), 16:02 , 28-Сен-21, (81) +2 //

Согласен Но вынужден дополнить СистемаД решает таки реальные проблемы которые г, Аноньимъ (ok), 23:51 , 28-Сен-21, (122) //

Лол Не угодно ли местному балаболу обозначить задачи, для решения которых сущес, freehck (ok), 00:48 , 29-Сен-21, (134) –1

Интересно стало что он обозначит , Аноньимъ (ok), 01:01 , 29-Сен-21, (135)

Ах не угодно Ну-ну , freehck (ok), 03:55 , 29-Сен-21, (139) –1

Тебе не угодно Что ты сказать вообще хочешь Объясни себя , Аноньимъ (ok), 15:00 , 29-Сен-21, (148)

Я хочу сказать, что с балаболством вроде следующего становится вполне очеви, freehck (ok), 15:14 , 30-Сен-21, (156)

Нет, ты грязно меня оскорбляешь Или в твоей семье нормально таким образом обращ, Аноньимъ (ok), 18:09 , 30-Сен-21, (157)
Почти не спал последние дни, а тут вы явились, нужно быть все-же добрее Помогу п, Аноньимъ (ok), 23:03 , 30-Сен-21, (158)

Надо же На меня похож Окей, я по жизни на редкость злая сволочь по мнению неко, freehck (ok), 01:34 , 01-Окт-21, (159)

Вы путаете свой внутренний мир с внешней реальностью То что вы обиделись, еще не, Аноньимъ (ok), 18:33 , 01-Окт-21, (163)

имитация пользователя Ммм, здорово Значит первой в sexp-е стоит функция Всё п, freehck (ok), 00:12 , 02-Окт-21, (167)
Обезьянам нужно в джунглях сидеть О чём вы вообще Люди в большинстве не такие т, Аноньимъ (ok), 12:17 , 02-Окт-21, (170)

Если процессы ненужно исполнять параллельно то шелл ненужен Например одна прогр, Аноньимъ (ok), 18:44 , 01-Окт-21, (164)

Уууу, какая софистика пошла в ход То есть тебе вот прямо-таки хочется именно чт, freehck (ok), 00:25 , 02-Окт-21, (168)

а почему не просто тока православный С зачем такой огород городить , Админ Анонимов (?), 08:06 , 28-Сен-21, (17) –2 //

В Gentoo тоже похоронили Paludis на Си и пользуются Portage на питоне Кто их зн, Аноним (42), 10:34 , 28-Сен-21, (43) //

Такими темпами лет через много дженту просто перестанет существовать Если тренд, Аноним (9), 11:25 , 28-Сен-21, (44)
Никто никого не хоронил Активная фаза разработки Paludis завершилась, а в porta, Аноним (89), 16:37 , 28-Сен-21, (89) –1

Потому что переизобретать bash для разбора в AST, видимо, не хотелось Интересн, Michael Shigorin (ok), 12:27 , 28-Сен-21, (57)

Ох нихрена ж они заморочились , Ordu (ok), 09:25 , 28-Сен-21, (30) +3
Яснапонятно Какой, именно Шелл, неужели Маздаевский PowerShell Они ничего не сл, Аноним (-), 11:44 , 28-Сен-21, (46) –2 //

Полагаю, это Вы не дочитали до букв JIT давний пользователь parallel, пакет с, Michael Shigorin (ok), 12:28 , 28-Сен-21, (58) +2

PaSh - удар по systemd ерам , Аноним (61), 12:52 , 28-Сен-21, (59)
И этот комбайн только из-за того, что поленились почитать мэнуал и узнать о чудо, OpenEcho (?), 13:26 , 28-Сен-21, (65) +1 //

Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по чи, Аноним (70), 13:44 , 28-Сен-21, (70) –1 //

how_many_cpu lscpu 124 grep On-line CPU 124 awk -F print 2 , OpenEcho (?), 15:31 , 28-Сен-21, (74) +3 //

Зачем так сложно nprocМожно даже отсторожно башизм nproc 4 если хочет, San (??), 16:10 , 28-Сен-21, (84)
Ах, если бы всё так просто было 8230 Я конечно в порядке развлечения сделал вс, Аноним (70), 16:13 , 28-Сен-21, (85) –2

Кусок давно и успешно работающего кода параллельно запускающего сканирование в 3, San (??), 16:20 , 28-Сен-21, (87) +3

Так это совершенно мимо ведь задача не наспавнить процессов, а спавнить новые п, Аноним (70), 16:35 , 28-Сен-21, (88)

Совсем не мимо Скрипт именно так и работает читает из файла 100500мильенов стр, San (??), 16:42 , 28-Сен-21, (90) +1

Я просто не заметил того кода, с которым у меня возникли проблемы в шелле, а име, Аноним (70), 16:56 , 28-Сен-21, (91) –1

У приведенного мной выше кода есть еще такой минус Если одни потоки завершаются, San (??), 17:03 , 28-Сен-21, (92)

А как же провисшие процессы И gnu parallel это perl Мне не нравится автор и ос, Аноним (70), 17:17 , 28-Сен-21, (94) –1

Что значит провисшие А, точно я упустил еще одну строчку, которую надо было при, San (??), 17:27 , 28-Сен-21, (95)

Допустим, там фоновый жоб в таком формате while sleep 600 wait do и если скри, Аноним (70), 17:33 , 28-Сен-21, (96) –1
Согласен, подобное может быть проблемой, но не мой случай Все запущенные в пото, San (??), 17:38 , 28-Сен-21, (97) +1
help ulimit, однако , Michael Shigorin (ok), 19:31 , 28-Сен-21, (106)

https www freebsd org cgi man cgi find 1 code -X Permit find to be safe, Аноним (-), 19:25 , 28-Сен-21, (103)

Ну норм, это правда findutils Чё там по coreutils , Аноним (70), 19:49 , 28-Сен-21, (107)
Ну норм спрыг Погоди, щас шнурки поглажу , Аноним (-), 20:35 , 28-Сен-21, (110)
Отчасти, ты прав конечно, только ведь это одна и та же проблема Есть ещё прекра, Аноним (70), 20:46 , 28-Сен-21, (111)
Я нхнп Особенно - причем тут GPL А бсдшный sh который именно sh, с реализацие, Аноним (-), 21:04 , 28-Сен-21, (120)
нет, я имел в виду for file do - find -c for file do echo file done sh , Аноним (70), 21:12 , 28-Сен-21, (121)

Именно это xargs -P и делает , freehck (ok), 02:28 , 01-Окт-21, (161)

А книжку UNIX универсальная среда программирования Керниган, Пайк помните , Michael Shigorin (ok), 19:29 , 28-Сен-21, (104)

Забыл как Мариванна говорила На ноль делить нельзя , Led (ok), 19:24 , 28-Сен-21, (102) +3

Вот функция, которая составляет список активных ядер Пример форматирования в ко, n00by (ok), 17:56 , 28-Сен-21, (98)
На эту тему http egorfine com ru articles worse-than-failure , Michael Shigorin (ok), 19:30 , 28-Сен-21, (105) +2
Это можно даже сказать красивый изврат с tailНо как оно себя будет вести если п, RM (ok), 19:56 , 28-Сен-21, (108)

- Почему красивый изврат - Красота спасет мир Ну свой то PID мы знаем А дети, OpenEcho (?), 16:30 , 29-Сен-21, (149)

Скорее ps -o pid --ppid xxxно идея понятна, согласен Хотя еще возможно придется , RM (ok), 19:19 , 13-Окт-21, (191)

Короче дело было так Был огромный легаси баш скрипт, который работает не трога, Зз (?), 20:33 , 28-Сен-21, (109) +1 //

Аха, или просто был конкурс на https en wikipedia org wiki Rube_Goldberg_machi, OpenEcho (?), 16:36 , 29-Сен-21, (151)

Сообщения [Сортировка по времени | RSS]

70. "Система распараллеливания shell-скриптов PaSh перешла под кр..." –1 +/–

Сообщение от Аноним (70), 28-Сен-21, 13:44

Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по числу ядер на шелле (не считая утилиты вроде xargs и parallel). Зато осилил IPC на шелле (вообще без проблем) и фоновые процессы на шелле (изично, только как завершать их нормально, чтоб слип не провисал, тоже не представляю -- приходится убивать). Эти ребята решили проблему несколько иначе, и шел им просто лишний как по мне. Да и вообще, есть подозрение, что это чисто по фану.

Ответить | Правка | Наверх | Cообщить модератору

74. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +3 +/–

Сообщение от OpenEcho (?), 28-Сен-21, 15:31

> Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по
> числу ядер на шелле (не считая утилиты вроде xargs и parallel).
how_many_cpu() {
   lscpu | grep 'On-line CPU' | awk -F: '{print $2}'
}
> (изично, только как завершать их нормально, чтоб слип не
> провисал, тоже не представляю -- приходится убивать).
( echo 'Job #1 started...'; sleep 5; ) &
pid=$!;
echo "Do some other stuff in parent's process ...";
echo 'Waiting 4 job#1 to finish gracefully'
tail --pid=$pid -f /dev/null;
echo $?
> Эти ребята решили проблему
> несколько иначе, и шел им просто лишний как по мне. Да
> и вообще, есть подозрение, что это чисто по фану.
Эти ребята классическое представление интерпрайза, где деньги не свои и можно поиграться со всем новеньким и ублажить мэнеджера, что они используют новейшие технологии, а в итоге строют мостра, вместо того чтоб разобраться с инструментом, который они собираются "улучшать"

Ответить | Правка | Наверх | Cообщить модератору

84. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от San (??), 28-Сен-21, 16:10

>lscpu | grep 'On-line CPU' | awk -F: '{print $2}'
Зачем так сложно? nproc
Можно даже (отсторожно башизм) $(($(nproc)*4)) если хочется по 4 процесса на ядро запустить

Ответить | Правка | Наверх | Cообщить модератору

85. "Система распараллеливания shell-скриптов PaSh перешла под кр..." –2 +/–

Сообщение от Аноним (70), 28-Сен-21, 16:13

Ах, если бы всё так просто было… Я конечно в порядке развлечения сделал всё на шелле, но вывод я поучил только один: нужны скрипты -- бери питон и не страдай хернёй, особенно, если требуется параллельное исполнение.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

87. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +3 +/–

Сообщение от San (??), 28-Сен-21, 16:20

Кусок давно и успешно работающего кода параллельно запускающего сканирование в 300+ потоков на 6 ядрах процессора:
for th_count in $(seq 1 $threads_run)
do
  domain_scan "$th_count" &
done
joblist="$(jobs -p|sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/ /g')"

Не хочу обидеть никакие языки программирования, но чем дольше работаю с шелом, тем реже возникает желание/надобность что-то к шелу добавлять (даже однострочники на разных ЯП)
Вышеуказанный код позже был переписан с использованием Gnu Parallel (что улучшило работу скрипта), но внедрение нового скрипта  пока затянулось по бюрократическим причинам

Ответить | Правка | Наверх | Cообщить модератору

88. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (70), 28-Сен-21, 16:35

Так это совершенно мимо: ведь задача не наспавнить процессов, а спавнить новые покуда есть данные. При завершении родительского процесса (а ля sigint/sigterm) все порождённые процессы должны быть тут же завершены (включая все эти слипы), а готовые уже результаты сохранены.

Ответить | Правка | Наверх | Cообщить модератору

90. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +1 +/–

Сообщение от San (??), 28-Сен-21, 16:42

Совсем не мимо. Скрипт именно так и работает: читает из файла 100500мильенов строк входных данных, разбивает входные данные на N частей, параллельно обрабатывает все эти N частей. Обработка результатов запущенной в N потоков ведется другим участком кода, который я не приводил выше, чтоб не захламлять обсуждение кодом

Ответить | Правка | Наверх | Cообщить модератору

91. "Система распараллеливания shell-скриптов PaSh перешла под кр..." –1 +/–

Сообщение от Аноним (70), 28-Сен-21, 16:56

Я просто не заметил того кода, с которым у меня возникли проблемы в шелле, а именно -- синхронизации процессов и обработки завершения. В лучшем случае у меня получалось так, что под инитом оставалось висеть куча разрозненных провисших процессов после завершения скрипта. Всё же, в питоне куда проще решать такие задачи. И jobs -p это конечно хорошо, но вообще никуда не годится по факту. Я тоже сначала был доволен своим наколенным кодом, повезло, что довольно быстро обнаружил, что тот делает совсем не то, что я ожидал.

Ответить | Правка | Наверх | Cообщить модератору

92. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от San (??), 28-Сен-21, 17:03

У приведенного мной выше кода есть еще такой минус. Если одни потоки завершаются раньше, то в принципе на их место можно было бы запускать другие, но данные разбиты на части перед распараллеливанием и это невозможно. Поэтому время работы равно времени работы самого долгого из потоков.
В принципе можно было решить эту проблему без использования Gnu Parallels, но я решил с использованием и получил заметное ускорение и уменьшение расхода ресурсов (ну правда изменения не ограничились parallels)

Ответить | Правка | Наверх | Cообщить модератору

94. "Система распараллеливания shell-скриптов PaSh перешла под кр..." –1 +/–

Сообщение от Аноним (70), 28-Сен-21, 17:17

А как же провисшие процессы? И gnu parallel это perl. Мне не нравится автор и особенности синтаксиса этой утилиты. Теперь использую xargs везде, где можно решить вопрос распараллеливания запуском нескольких копий скрипта в цикле (единственная задача при этом писать скрипт так, чтобы можно было спокойно запускать сколько угодно его копий для разных данных). Для фоновых процессов всё ещё использую ipc через файлы, и завершаю через pkill -g $$. Спасибо, что есть find -print0 и xargs -0, иначе всё было бы очень печально (привет любителям бсд).

Ответить | Правка | Наверх | Cообщить модератору

95. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от San (??), 28-Сен-21, 17:27

>А как же провисшие процессы?
Что значит провисшие? А, точно я упустил еще одну строчку, которую надо было привести в примере выше (гранд пардон):
joblist="$(jobs -p|sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/ /g')"
echo "$(date +%Y-%m-%d:%H:%M:%S) $th_count threads started"
wait $joblist
wait будет ждать, пока все потоки не обработают свои данные и не завершатся. Только тогда пойдет выполнение дальнейшего кода

Ответить | Правка | Наверх | Cообщить модератору

96. "Система распараллеливания shell-скриптов PaSh перешла под кр..." –1 +/–

Сообщение от Аноним (70), 28-Сен-21, 17:33

Допустим, там фоновый жоб в таком формате while sleep 600 & wait; do и если скрипт завершить (отправив kill всем фоновым процессам напоследок), то sleep остаётся висеть. Я тогда словил гонку в нескольких местах сразу (и кажется, что работает, а по факту 1/10 раз нет).

Ответить | Правка | Наверх | Cообщить модератору

97. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +1 +/–

Сообщение от San (??), 28-Сен-21, 17:38

Согласен, подобное может быть проблемой, но не мой случай. Все запущенные в потоках команды/программы сами завершаются в течении 8 секунд по таймауту, если запустивший их процесс убить, но мне никогда не требовалось этого делать пока скрипт со всеми потоками не выполнит свою задачу
Но думаю, что и эта проблема решима, если старательно к ней подойти

Ответить | Правка | Наверх | Cообщить модератору

106. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:31

> Но думаю, что и эта проблема решима, если старательно к ней подойти
help ulimit, однако...

Ответить | Правка | К родителю #97 | Наверх | Cообщить модератору

103. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (-), 28-Сен-21, 19:25

> Спасибо, что есть find -print0 и xargs -0, иначе всё
> было бы очень печально (привет любителям бсд).
https://www.freebsd.org/cgi/man.cgi?find(1)

-X      Permit find to be safely used in conjunction with xargs(1).  If a
...
             However, you may wish to consider the -print0 primary in
             conjunction with “xargs -0” as an effective alternative.
-print0
             This primary always evaluates to true.  It prints the pathname of
             the current file to standard output, followed by an ASCII NUL
             character (character code 0).

И тебе привет.

Ответить | Правка | К родителю #94 | Наверх | Cообщить модератору

107. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (70), 28-Сен-21, 19:49

Ну норм, это правда findutils. Чё там по coreutils?

Ответить | Правка | Наверх | Cообщить модератору

110. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (-), 28-Сен-21, 20:35

>> Спасибо, что есть find -print0 и xargs -0, иначе всё
>> было бы очень печально (привет любителям бсд).
> Ну норм, это правда findutils. Чё там по coreutils?
Ну норм спрыг. Погоди, щас шнурки поглажу ...

Ответить | Правка | Наверх | Cообщить модератору

111. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (70), 28-Сен-21, 20:46

Отчасти, ты прав конечно, только ведь это одна и та же проблема. Есть ещё прекрасная конструкция for file do (и find тут очень при чём), это вроде башизм же? И тут GPL…

Ответить | Правка | К родителю #110 | Наверх | Cообщить модератору

120. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (-), 28-Сен-21, 21:04

> Отчасти, ты прав конечно, только ведь это одна и та же проблема.
> Есть ещё прекрасная конструкция for file do (и find тут очень
> при чём), это вроде башизм же? И тут GPL…
Я нхнп. Особенно - причем тут GPL.
А бсдшный sh (который именно sh, с реализацией в 13 000 sloc) вполне себе переваривает

for f in *; do printf "%s\n" "$f";done
-.o
-.s
[RPF] Обратная сторона Власти.zip

если что.

Ответить | Правка | К родителю #111 | Наверх | Cообщить модератору

121. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Аноним (70), 28-Сен-21, 21:12

нет, я имел в виду for file do -> find -c 'for file do;echo $file; done' sh {} +

Ответить | Правка | К родителю #120 | Наверх | Cообщить модератору

161. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от freehck (ok), 01-Окт-21, 02:28

> ведь задача не наспавнить процессов, а спавнить новые покуда есть данные
Именно это xargs -P и делает.

Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

104. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:29

> Не хочу обидеть никакие языки программирования, но чем дольше работаю
> с шелом, тем реже возникает желание/надобность что-то к шелу добавлять
> (даже однострочники на разных ЯП)
А книжку "UNIX: универсальная среда программирования" (Керниган, Пайк) помните?

Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

102. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +3 +/–

Сообщение от Led (ok), 28-Сен-21, 19:24

>бери питон и не страдай хернёй
Забыл как Мариванна говорила: "На ноль делить нельзя!"

Ответить | Правка | К родителю #85 | Наверх | Cообщить модератору

98. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от n00by (ok), 28-Сен-21, 17:56

>> Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по
>> числу ядер на шелле (не считая утилиты вроде xargs и parallel).
> how_many_cpu() {
>    lscpu | grep 'On-line CPU' | awk -F: '{print
> $2}'
> }
Вот функция, которая составляет список активных ядер. Пример форматирования в комментарии.
/*
* Returns human readable representation of the cpuset. The output format is
* a list of CPUs with ranges (for example, "0,1,3-9").
*/
char *cpulist_create(char *str, size_t len,
            cpu_set_t *set, size_t setsize)

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

105. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +2 +/–

Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:30

> а в итоге строют мостра, вместо того чтоб разобраться с инструментом,
> который они собираются "улучшать"
На эту тему: http://egorfine.com/ru/articles/worse-than-failure/

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

108. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от RM (ok), 28-Сен-21, 19:56

> tail --pid=$pid -f /dev/null;
Это можно даже сказать красивый изврат с tail
Но: как оно себя будет вести если пока
"Do some other stuff in parent's process ...";
фоновый процесс с данным pid завершится и на его место кто-то запустит что-то другое? (гонка)
Не зря же pidfd придумали.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

149. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от OpenEcho (?), 29-Сен-21, 16:30

>> tail --pid=$pid -f /dev/null;
> Это можно даже сказать красивый изврат с tail
- Почему красивый изврат?
- Красота спасет мир ;)

> Но: как оно себя будет вести если пока
> "Do some other stuff in parent's process ...";
> фоновый процесс с данным pid завершится и на его место кто-то запустит
> что-то другое? (гонка)
Ну свой то PID мы знаем ?!
А детишек, свои или нет можно легко проверить на отцовство `ps -o ppid=ххх`
Есть еще куча других методов, но каждый хорош под свою задачу, если здесь добавить обертку на проверки, то смысл примера потеряется
Пример то - не продакш, а просто в тему, что народ нагородил огород из кучи разных языков, хотя могли бы обойтись не квадратной головой и использовать тулз то назначению.
> Не зря же pidfd придумали.
Ну свой то PID мы знаем ?!
А детишек, свои или нет можно легко проверить на отцовство `ps -o ppid=ххх`
Можно пошерстить /proc/$PID/fd и проверить уникальный доступ к чему-либо уникальному (хэш созданный на старте к примеру) ...
Есть еще куча других методов, но каждый хорош под свою задачу, если здесь добавить обертку на проверки, то смысл примера потеряется
Пример то - не продакш, а просто в тему, что народ нагородил огород из кучи разных языков, хотя могли бы обойтись не квадратной головой и использовать тулз то назначению.
> Не зря же pidfd придумали.
pidfd_getfd() "придумали" всего год назад, (насколько я помню, он доступен только с  5.6 кернелом), а еще есть громадная куча парка машин где принцип "работает, - не трогай" и народ вполне обходился и обходится без pidfd (не я не против pidfd, наоборот, но действительность однако...)

Ответить | Правка | Наверх | Cообщить модератору

191. "Система распараллеливания shell-скриптов PaSh перешла под кр..." +/–

Сообщение от RM (ok), 13-Окт-21, 19:19

> Ну свой то PID мы знаем ?!
> А детишек, свои или нет можно легко проверить на отцовство `ps -o
> ppid=ххх`
Скорее ps -o pid --ppid=xxx
но идея понятна, согласен.
Хотя еще возможно придется учитывать внуков (потомков потомков), и не факт что ребенок будет жив пока внук работает. shell - он же может форкаться.
Хотя pidfd тут тоже не поможет в лоб.
> Пример то - не продакш, а просто в тему,
А я видел такое в проде, приходилось исправлять.
Вообще, досадно видеть, что есть куча кода, который almost works.
> pidfd_getfd() "придумали" всего год назад, (насколько я помню, он доступен только с
>  5.6 кернелом), а еще есть громадная куча парка машин где
> принцип "работает, - не трогай" и народ вполне обходился и обходится
> без pidfd (не я не против pidfd, наоборот, но действительность однако...)
Мой поинт был в том, что в pidfd была все же потребность.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру


	70. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	–1 +/–
	Сообщение от Аноним (70), 28-Сен-21, 13:44
	Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по числу ядер на шелле (не считая утилиты вроде xargs и parallel). Зато осилил IPC на шелле (вообще без проблем) и фоновые процессы на шелле (изично, только как завершать их нормально, чтоб слип не провисал, тоже не представляю -- приходится убивать). Эти ребята решили проблему несколько иначе, и шел им просто лишний как по мне. Да и вообще, есть подозрение, что это чисто по фану.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	74. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+3 +/–
	Сообщение от OpenEcho (?), 28-Сен-21, 15:31
	> Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по > числу ядер на шелле (не считая утилиты вроде xargs и parallel). how_many_cpu() { lscpu \| grep 'On-line CPU' \| awk -F: '{print $2}' } > (изично, только как завершать их нормально, чтоб слип не > провисал, тоже не представляю -- приходится убивать). ( echo 'Job #1 started...'; sleep 5; ) & pid=$!; echo "Do some other stuff in parent's process ..."; echo 'Waiting 4 job#1 to finish gracefully' tail --pid=$pid -f /dev/null; echo $? > Эти ребята решили проблему > несколько иначе, и шел им просто лишний как по мне. Да > и вообще, есть подозрение, что это чисто по фану. Эти ребята классическое представление интерпрайза, где деньги не свои и можно поиграться со всем новеньким и ублажить мэнеджера, что они используют новейшие технологии, а в итоге строют мостра, вместо того чтоб разобраться с инструментом, который они собираются "улучшать"
	Ответить \| Правка \| Наверх \| Cообщить модератору


	84. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от San (??), 28-Сен-21, 16:10
	>lscpu \| grep 'On-line CPU' \| awk -F: '{print $2}' Зачем так сложно? nproc Можно даже (отсторожно башизм) $(($(nproc)*4)) если хочется по 4 процесса на ядро запустить
	Ответить \| Правка \| Наверх \| Cообщить модератору


	85. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	–2 +/–
	Сообщение от Аноним (70), 28-Сен-21, 16:13
	Ах, если бы всё так просто было… Я конечно в порядке развлечения сделал всё на шелле, но вывод я поучил только один: нужны скрипты -- бери питон и не страдай хернёй, особенно, если требуется параллельное исполнение.
	Ответить \| Правка \| К родителю #74 \| Наверх \| Cообщить модератору


	87. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+3 +/–
	Сообщение от San (??), 28-Сен-21, 16:20
	Кусок давно и успешно работающего кода параллельно запускающего сканирование в 300+ потоков на 6 ядрах процессора: for th_count in $(seq 1 $threads_run) do domain_scan "$th_count" & done joblist="$(jobs -p\|sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/ /g')" Не хочу обидеть никакие языки программирования, но чем дольше работаю с шелом, тем реже возникает желание/надобность что-то к шелу добавлять (даже однострочники на разных ЯП) Вышеуказанный код позже был переписан с использованием Gnu Parallel (что улучшило работу скрипта), но внедрение нового скрипта пока затянулось по бюрократическим причинам
	Ответить \| Правка \| Наверх \| Cообщить модератору


	88. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (70), 28-Сен-21, 16:35
	Так это совершенно мимо: ведь задача не наспавнить процессов, а спавнить новые покуда есть данные. При завершении родительского процесса (а ля sigint/sigterm) все порождённые процессы должны быть тут же завершены (включая все эти слипы), а готовые уже результаты сохранены.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	90. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+1 +/–
	Сообщение от San (??), 28-Сен-21, 16:42
	Совсем не мимо. Скрипт именно так и работает: читает из файла 100500мильенов строк входных данных, разбивает входные данные на N частей, параллельно обрабатывает все эти N частей. Обработка результатов запущенной в N потоков ведется другим участком кода, который я не приводил выше, чтоб не захламлять обсуждение кодом
	Ответить \| Правка \| Наверх \| Cообщить модератору


	91. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	–1 +/–
	Сообщение от Аноним (70), 28-Сен-21, 16:56
	Я просто не заметил того кода, с которым у меня возникли проблемы в шелле, а именно -- синхронизации процессов и обработки завершения. В лучшем случае у меня получалось так, что под инитом оставалось висеть куча разрозненных провисших процессов после завершения скрипта. Всё же, в питоне куда проще решать такие задачи. И jobs -p это конечно хорошо, но вообще никуда не годится по факту. Я тоже сначала был доволен своим наколенным кодом, повезло, что довольно быстро обнаружил, что тот делает совсем не то, что я ожидал.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	92. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от San (??), 28-Сен-21, 17:03
	У приведенного мной выше кода есть еще такой минус. Если одни потоки завершаются раньше, то в принципе на их место можно было бы запускать другие, но данные разбиты на части перед распараллеливанием и это невозможно. Поэтому время работы равно времени работы самого долгого из потоков. В принципе можно было решить эту проблему без использования Gnu Parallels, но я решил с использованием и получил заметное ускорение и уменьшение расхода ресурсов (ну правда изменения не ограничились parallels)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	94. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	–1 +/–
	Сообщение от Аноним (70), 28-Сен-21, 17:17
	А как же провисшие процессы? И gnu parallel это perl. Мне не нравится автор и особенности синтаксиса этой утилиты. Теперь использую xargs везде, где можно решить вопрос распараллеливания запуском нескольких копий скрипта в цикле (единственная задача при этом писать скрипт так, чтобы можно было спокойно запускать сколько угодно его копий для разных данных). Для фоновых процессов всё ещё использую ipc через файлы, и завершаю через pkill -g $$. Спасибо, что есть find -print0 и xargs -0, иначе всё было бы очень печально (привет любителям бсд).
	Ответить \| Правка \| Наверх \| Cообщить модератору


	95. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от San (??), 28-Сен-21, 17:27
	>А как же провисшие процессы? Что значит провисшие? А, точно я упустил еще одну строчку, которую надо было привести в примере выше (гранд пардон): joblist="$(jobs -p\|sed -e ':a' -e 'N' -e '$!ba' -e 's/\n/ /g')" echo "$(date +%Y-%m-%d:%H:%M:%S) $th_count threads started" wait $joblist wait будет ждать, пока все потоки не обработают свои данные и не завершатся. Только тогда пойдет выполнение дальнейшего кода
	Ответить \| Правка \| Наверх \| Cообщить модератору


	96. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	–1 +/–
	Сообщение от Аноним (70), 28-Сен-21, 17:33
	Допустим, там фоновый жоб в таком формате while sleep 600 & wait; do и если скрипт завершить (отправив kill всем фоновым процессам напоследок), то sleep остаётся висеть. Я тогда словил гонку в нескольких местах сразу (и кажется, что работает, а по факту 1/10 раз нет).
	Ответить \| Правка \| Наверх \| Cообщить модератору


	97. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+1 +/–
	Сообщение от San (??), 28-Сен-21, 17:38
	Согласен, подобное может быть проблемой, но не мой случай. Все запущенные в потоках команды/программы сами завершаются в течении 8 секунд по таймауту, если запустивший их процесс убить, но мне никогда не требовалось этого делать пока скрипт со всеми потоками не выполнит свою задачу Но думаю, что и эта проблема решима, если старательно к ней подойти
	Ответить \| Правка \| Наверх \| Cообщить модератору


	106. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:31
	> Но думаю, что и эта проблема решима, если старательно к ней подойти help ulimit, однако...
	Ответить \| Правка \| К родителю #97 \| Наверх \| Cообщить модератору


	103. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (-), 28-Сен-21, 19:25
	> Спасибо, что есть find -print0 и xargs -0, иначе всё > было бы очень печально (привет любителям бсд). https://www.freebsd.org/cgi/man.cgi?find(1) -X Permit find to be safely used in conjunction with xargs(1). If a ... However, you may wish to consider the -print0 primary in conjunction with “xargs -0” as an effective alternative. -print0 This primary always evaluates to true. It prints the pathname of the current file to standard output, followed by an ASCII NUL character (character code 0). И тебе привет.
	Ответить \| Правка \| К родителю #94 \| Наверх \| Cообщить модератору


	107. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (70), 28-Сен-21, 19:49
	Ну норм, это правда findutils. Чё там по coreutils?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	110. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (-), 28-Сен-21, 20:35
	>> Спасибо, что есть find -print0 и xargs -0, иначе всё >> было бы очень печально (привет любителям бсд). > Ну норм, это правда findutils. Чё там по coreutils? Ну норм спрыг. Погоди, щас шнурки поглажу ...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	111. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (70), 28-Сен-21, 20:46
	Отчасти, ты прав конечно, только ведь это одна и та же проблема. Есть ещё прекрасная конструкция for file do (и find тут очень при чём), это вроде башизм же? И тут GPL…
	Ответить \| Правка \| К родителю #110 \| Наверх \| Cообщить модератору


	120. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (-), 28-Сен-21, 21:04
	> Отчасти, ты прав конечно, только ведь это одна и та же проблема. > Есть ещё прекрасная конструкция for file do (и find тут очень > при чём), это вроде башизм же? И тут GPL… Я нхнп. Особенно - причем тут GPL. А бсдшный sh (который именно sh, с реализацией в 13 000 sloc) вполне себе переваривает for f in *; do printf "%s\n" "$f";done -.o -.s [RPF] Обратная сторона Власти.zip если что.
	Ответить \| Правка \| К родителю #111 \| Наверх \| Cообщить модератору


	121. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Аноним (70), 28-Сен-21, 21:12
	нет, я имел в виду for file do -> find -c 'for file do;echo $file; done' sh {} +
	Ответить \| Правка \| К родителю #120 \| Наверх \| Cообщить модератору


	161. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от freehck (ok), 01-Окт-21, 02:28
	> ведь задача не наспавнить процессов, а спавнить новые покуда есть данные Именно это xargs -P и делает.
	Ответить \| Правка \| К родителю #88 \| Наверх \| Cообщить модератору


	104. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:29
	> Не хочу обидеть никакие языки программирования, но чем дольше работаю > с шелом, тем реже возникает желание/надобность что-то к шелу добавлять > (даже однострочники на разных ЯП) А книжку "UNIX: универсальная среда программирования" (Керниган, Пайк) помните?
	Ответить \| Правка \| К родителю #87 \| Наверх \| Cообщить модератору


	102. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+3 +/–
	Сообщение от Led (ok), 28-Сен-21, 19:24
	>бери питон и не страдай хернёй Забыл как Мариванна говорила: "На ноль делить нельзя!"
	Ответить \| Правка \| К родителю #85 \| Наверх \| Cообщить модератору


	98. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от n00by (ok), 28-Сен-21, 17:56
	>> Справедливости ради, я так и не осилил исполнение нескольких фоновых задач по >> числу ядер на шелле (не считая утилиты вроде xargs и parallel). > how_many_cpu() { > lscpu \| grep 'On-line CPU' \| awk -F: '{print > $2}' > } Вот функция, которая составляет список активных ядер. Пример форматирования в комментарии. /* * Returns human readable representation of the cpuset. The output format is * a list of CPUs with ranges (for example, "0,1,3-9"). / char cpulist_create(char str, size_t len, cpu_set_t set, size_t setsize)
	Ответить \| Правка \| К родителю #74 \| Наверх \| Cообщить модератору


	105. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+2 +/–
	Сообщение от Michael Shigorin (ok), 28-Сен-21, 19:30
	> а в итоге строют мостра, вместо того чтоб разобраться с инструментом, > который они собираются "улучшать" На эту тему: http://egorfine.com/ru/articles/worse-than-failure/
	Ответить \| Правка \| К родителю #74 \| Наверх \| Cообщить модератору


	108. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от RM (ok), 28-Сен-21, 19:56
	> tail --pid=$pid -f /dev/null; Это можно даже сказать красивый изврат с tail Но: как оно себя будет вести если пока "Do some other stuff in parent's process ..."; фоновый процесс с данным pid завершится и на его место кто-то запустит что-то другое? (гонка) Не зря же pidfd придумали.
	Ответить \| Правка \| К родителю #74 \| Наверх \| Cообщить модератору


	149. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от OpenEcho (?), 29-Сен-21, 16:30
	>> tail --pid=$pid -f /dev/null; > Это можно даже сказать красивый изврат с tail - Почему красивый изврат? - Красота спасет мир ;) > Но: как оно себя будет вести если пока > "Do some other stuff in parent's process ..."; > фоновый процесс с данным pid завершится и на его место кто-то запустит > что-то другое? (гонка) Ну свой то PID мы знаем ?! А детишек, свои или нет можно легко проверить на отцовство `ps -o ppid=ххх` Есть еще куча других методов, но каждый хорош под свою задачу, если здесь добавить обертку на проверки, то смысл примера потеряется Пример то - не продакш, а просто в тему, что народ нагородил огород из кучи разных языков, хотя могли бы обойтись не квадратной головой и использовать тулз то назначению. > Не зря же pidfd придумали. Ну свой то PID мы знаем ?! А детишек, свои или нет можно легко проверить на отцовство `ps -o ppid=ххх` Можно пошерстить /proc/$PID/fd и проверить уникальный доступ к чему-либо уникальному (хэш созданный на старте к примеру) ... Есть еще куча других методов, но каждый хорош под свою задачу, если здесь добавить обертку на проверки, то смысл примера потеряется Пример то - не продакш, а просто в тему, что народ нагородил огород из кучи разных языков, хотя могли бы обойтись не квадратной головой и использовать тулз то назначению. > Не зря же pidfd придумали. pidfd_getfd() "придумали" всего год назад, (насколько я помню, он доступен только с 5.6 кернелом), а еще есть громадная куча парка машин где принцип "работает, - не трогай" и народ вполне обходился и обходится без pidfd (не я не против pidfd, наоборот, но действительность однако...)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	191. "Система распараллеливания shell-скриптов PaSh перешла под кр..."	+/–
	Сообщение от RM (ok), 13-Окт-21, 19:19
	> Ну свой то PID мы знаем ?! > А детишек, свои или нет можно легко проверить на отцовство `ps -o > ppid=ххх` Скорее ps -o pid --ppid=xxx но идея понятна, согласен. Хотя еще возможно придется учитывать внуков (потомков потомков), и не факт что ребенок будет жив пока внук работает. shell - он же может форкаться. Хотя pidfd тут тоже не поможет в лоб. > Пример то - не продакш, а просто в тему, А я видел такое в проде, приходилось исправлять. Вообще, досадно видеть, что есть куча кода, который almost works. > pidfd_getfd() "придумали" всего год назад, (насколько я помню, он доступен только с > 5.6 кернелом), а еще есть громадная куча парка машин где > принцип "работает, - не трогай" и народ вполне обходился и обходится > без pidfd (не я не против pidfd, наоборот, но действительность однако...) Мой поинт был в том, что в pidfd была все же потребность.
	Ответить \| Правка \| Наверх \| Cообщить модератору