The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз командного интерпретатора Bash 5.1, opennews (?), 08-Дек-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


46. "Релиз командного интерпретатора Bash 5.1"  –4 +/
Сообщение от Аноним (16), 08-Дек-20, 13:36 
До тех пор пока ты не начнёшь ежесекундно спамить тысячами процессов, да и с мультипоточностью пострадать придётся больше чем в питоне (там гил и гц мешают счастью).
Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

61. "Релиз командного интерпретатора Bash 5.1"  +2 +/
Сообщение от Аноним (32), 08-Дек-20, 14:08 
Для этого есть утилиты xargs и parallel, запускал больше тыщи на малине
Ответить | Правка | Наверх | Cообщить модератору

63. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (16), 08-Дек-20, 14:16 
> Для этого есть утилиты xargs и parallel, запускал больше тыщи на малине

Сколько тысяч процессов при этом вызывал каждый из тысячи процессов? А главное, сколько там было тредов? Когда большая часть времени исполнения уходит на паразитную нагрузку и "бесполезный" бойлерплейт (это что касается xargs и parallel), это всё же ощутимо.

Ответить | Правка | Наверх | Cообщить модератору

65. "Релиз командного интерпретатора Bash 5.1"  +1 +/
Сообщение от Аноним (32), 08-Дек-20, 14:19 
>Сколько тысяч процессов при этом вызывал каждый из тысячи процессов?

А питон так умеет?

Ответить | Правка | Наверх | Cообщить модератору

72. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (16), 08-Дек-20, 14:27 
>>Сколько тысяч процессов при этом вызывал каждый из тысячи процессов?
> А питон так умеет?

С процессами без проблем, параллелится на сотни (это то что я проверял). С тредами потолок будет раньше, совсем плохо будет если использовать pure python батарейки — там вообще не параллелится практически. Дело как раз в том, что питону не придётся нонстоп вызывать сотни-тысячи программ и ждать их завершения, он сам всё может. А структуры его куда более дружелюбны для данных, вон в шелле даже многомерного массива нет и приходится городить очень неприятные конструкции не эффективные по памяти.

Ответить | Правка | Наверх | Cообщить модератору

135. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Урри (ok), 08-Дек-20, 17:23 
Ну вот питон - сотни, а баш выше - тысячи. Комментарии, как говорится, излишни.
Ответить | Правка | Наверх | Cообщить модератору

142. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (16), 08-Дек-20, 17:49 
Проблема в том, что аналогичный код на баше захлебнётся много раньше, накладные расходы велики. Это не говоря о том, что написать _аналогичный_ код — практически анриал, проще и быстрее будет брать сразу си. А сотни только потому, что железо не позволяло скалировать дальше. Это были 100 вычислительных потоков, а не 1000 бесполезных внешних вызовов. За единицу времени получаем одну-три единицы вычисления на баше, или сотни на питоне (с полной загрузкой).
Ответить | Правка | Наверх | Cообщить модератору

150. "Релиз командного интерпретатора Bash 5.1"  –1 +/
Сообщение от Аноним (16), 08-Дек-20, 18:32 
А кстати, мне тут понадобилось сложить пару чисел в баше. Ну такое, гигабайты чисел он не очень успешно ворочает. Даже очень неуспешно. И есть с десяток очевидных способов сделать это КРАЙНЕ не успешно. Хотя питон тоже не проверял, только numpy, но там и не пришлось так извращаться.
Ответить | Правка | К родителю #135 | Наверх | Cообщить модератору

263. "Релиз командного интерпретатора Bash 5.1"  –1 +/
Сообщение от Аноним (263), 09-Дек-20, 14:37 
Числодробилки никто не пишет на интерпретаторах. Если брать интерпретатор, то сама числодробилка должна быть на сях/плюсах. Сам код может быть модулем для твоего интерпретатора (CPython, cffi и т.п.). И не потому что си быстрее, а потому что числа лежат на стеке, а не в куче. Гугли l1 cache speed vs ram.
Ответить | Правка | Наверх | Cообщить модератору

269. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (16), 09-Дек-20, 15:42 
А почему я не могу делать это на интерпретаторе? Да я протупил, за доли секунды складываются 300к значений в баше. Для сравнения сумма полутора миллиона значений тоже за доли секунды. Так что ты неправ, выходит.
Ответить | Правка | Наверх | Cообщить модератору

265. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (263), 09-Дек-20, 14:43 
>Сколько тысяч процессов при этом вызывал каждый из тысячи процессов?

FYI https://github.com/gh0stwizard/yafb Там две ветки с разным подходом.

Твой вопрос смешной, т.к. 2000 процессов, которые тупо складывают одно число убивают (ну раньше убивали) линукс полностью. Если не понял в чем суть вопроса, то ты make -j 10000 делаешь или как велят умные дяди make -j {кол-во ядер + 1}? Ок, даже если ты чутка в теме и скажешь, что это из-за disk i/o, то смотри линк выше, там нет никакого disk i/o.

Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

270. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (16), 09-Дек-20, 15:47 
Не делай вид, что не понял, о чём я. Никто не говорил о единовременном форкании, только о последовательном. Особенно ощутимо это в венде конечно, в линуксе с некоторых пор получше, но тоже не сахар.
Ответить | Правка | Наверх | Cообщить модератору

64. "Релиз командного интерпретатора Bash 5.1"  +/
Сообщение от Аноним (32), 08-Дек-20, 14:17 
Ещё бывает сами утилиты поддерживают параллельность, например sort и curl.
Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру