| |
| |
| 3.38, Xenia Joness (ok), 05:04, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| –9 +/– |
 У меня есть какая-то штука, называется вроде Xeon Phi 7210, только я не могу понять, зачем она мне. Что с ней можно сделать? Какая польза от неё, если поставить в обычный компьютер?
| | |
| |
| 4.71, Аноним (19), 11:17, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
Ну если котиков с фконтактика смотреть, то, да, пользы будет немного. Попробуй на ней LFS что-ли пособирать.
| | |
|
|
|
| 1.2, InuYasha (?), 23:14, 04/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– |
Пожалуй, это покруче ГРИДа будет. Знаю даже тех, кто захочет этим воспользоваться. Особенно когда расчёты неделями идут. Но писанина файлов с результатами - это тот ещё вопрос.
| | |
| |
| 2.5, JL2001 (ok), 00:02, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
 > Пожалуй, это покруче ГРИДа будет. Знаю даже тех, кто захочет этим воспользоваться.
> Особенно когда расчёты неделями идут. Но писанина файлов с результатами -
> это тот ещё вопрос.
а кто захочет и для чего?
и чем это для них отличается от уже существующих методов запуска в кластере или в каком-нить GridGain ?
не, технологически это реально круто, да и как бесшовная миграция с проблемных нод и балансировка - полезно
но вот само по себе применимость этого какая? всёж задачи для распределённых вычислений довольно специфические
| | |
| |
| 3.48, Аноним (48), 09:03, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +3 +/– |
Нормальный кластер единого системного образа обеспечивает миграцию процессов на другие узлы при обычном системном вызове fork (pthreads). Кочу прикладного ПО обычных пользователей: архиваторы, перекодировки видео, не говоря о научном ПО сразу, прозрачно, рапаралелятся по всем узлам кластера.
| | |
| 3.74, Аноним (74), 12:22, 05/05/2020 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +3 +/– |
Насколько я понимаю для всех кластеров нужно переписывать программы под них.
Тут можно запустить теоретически любую программу в том числе неподдерживаемую разработчиком.
От перекодирования видео на домашнем компе со смартфона до рендера изображений на кластере.
| | |
| |
| 4.105, Аноним (105), 08:32, 07/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> для всех кластеров нужно переписывать программы под них.
Нет. SSI кластер для ПО это обычный комп с общим числом процов и оперативы. Для классического SSI который для миграции дочерных процессов использует системный вызов forck (pthreads) ничего переписывать ненадо.
> Тут можно запустить теоретически любую программу в том числе неподдерживаемую разработчиком.
Сабж это не классический SSI они для миграции процессов на другие узлы используют свой отдельный системный вызов. Для сабжа надо переписывать все ПО!!!
Чем сабж лучше MPI для которого тоже надо переписывать все ПО не понятно. MPI поддерживается сабжем но в той же мере MPI поддерживается и классическим SSI поскольку он прозрачен для ПО.
| | |
|
| 3.113, InuYasha (?), 13:15, 07/05/2020 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +2 +/– | |
>>но вот само по себе применимость этого какая?
- адмн: ааааааааабл?дь! у нас рэйд рушится, харды не можем купить! ваш софт надо переносить!
- бдлк: ааааааааабл?дь! у нас задача 20 из 50 дней считается, остановить её мы не можем!!
- элкт: ааааааааабл?дь! у нас вчера запланирован перенос на другую фазу, другой подвод, другую подстанцию! Может жахнуть, мы ничего не гарантируем.
- нчво: ааааааааабл?дь! у нас аренда кончается, переносите своё гуано в другой дотацентр! у вас джва дня!
- срвр: ааааааааабл?дь! алерт! алерт! алерт! префэйл кондишон! алерт! алерт! алерт!
и так далее )
| | |
|
|
| |
| |
| |
| 4.49, Аноним (48), 09:05, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– | |
Потребность программисту писать специализированное ПО используя только прраллельные алгоритмы.
Обычное ПО MPI не паралелит.
| | |
|
|
|
| 1.6, JL2001 (ok), 00:05, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +1 +/– |
на миграцию запущеного фаерфокса со смартфона на десктоп и обратно я бы посмотрел....
ну или миграцию tox-а или rss-ридера...
как можно применять этот "Distributed Thread Execution" ? какие идеи есть?
| | |
| |
| |
| 3.34, JL2001 (ok), 02:56, 05/05/2020 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +3 +/– | |
> Мир немножко богаче, чем это видит анонимус с его локалхостом и телефоном.
о, великий неанонимус! расширь мне сознание! покажи мне мир!
| | |
| |
| |
| 5.40, A.Stahl (ok), 08:44, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
 И зачем это анонимусу если у него есть лишь локалхост и телефон? Вот анонимус и думает как ему можно применить новую, необычную для локалхоста, технологию. Но некоторые админы не могут опустить свой взляд на локалхост: надутые от гордости щёки мешают.
| | |
| |
| 6.56, анонимуслинус (?), 09:23, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| –2 +/– |
если такое ПО разлетится по всем ядрам линукс во будет праздник для взлома))) нашел одну уязвимость и все хосты одним махом у тебя в кармане)) отличная идея как я погляжу. такие системы придется держать строго в ограниченной локальной сети. для научных институтов вполне хорошая вещь.
| | |
| |
| 7.59, A.Stahl (ok), 09:39, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
B USB-шки залить эпоксидкой: это ж какой простор для взлома если софт можно копировать между машинами парой кнопок. Пусть с клавы программы набивают. Как в спектрумовские времена.
| | |
|
|
|
|
|
|
| |
| |
| |
| 4.107, Аноним (105), 08:39, 07/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Единичные научные институты которые ее внедрение покупали в средине нулевых не имели денег. Разработка неокупалась.
| | |
|
|
|
| |
| 2.17, Онаним (?), 01:03, 05/05/2020 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно размазываешь по N систем без специальных ухищрений по обмену этими самыми данными.
| | |
| |
| |
| 4.24, Аноним (19), 01:27, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
Так, наверное, это и есть одна из разновидностей кластеризации. Только здесь должно быть существено меньше танцев с настройками.
| | |
| |
| 5.93, Lex (??), 06:19, 06/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Там работа с памятью несколько смущает.
Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.
| | |
| |
| 6.108, Аноним (105), 08:43, 07/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> Есть смутные подозрения, что, если в ходе работы, активно шарятся данные, то производительность упрется в скорость синхронизации памяти по сети.
Оно во всех кластерах в скорость сети упирается.
Хороший выиграш на жирных, тяжолых процесах: распределить перекодировку видео на нескольких компах.
| | |
|
|
|
| 3.21, JL2001 (ok), 01:17, 05/05/2020 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
> Есть у тебя софт, обрабатывающий данные в 100500 потоков, но при этом
> имеющий между ними общие данные и синхронизацию. Дальше ты его равномерно
> размазываешь по N систем без специальных ухищрений по обмену этими самыми
> данными.
а чего - распределённые/кластерные фс и просто базы данных раньше не существовали?
я не понимаю концептуальную новизну/профит (кроме distributed shared memory - не знаю были ли раньше распределённые in-memory map/bd, для java у GridGain было, у них ещё и жавамашина вместо LLVM создаёт мультиплатформенность)
| | |
| |
| 4.44, Онаним (?), 08:55, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
При чём тут FS? Речь о том, что у тебя треды _одного_ процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую область памяти + возможность синхронизации - и для этого не надо изголяться с кластерными FS, пилить свою собственную синхронизацию и т.п. Кластерная FS тут идёт только как дополнение - треды вполне могут захотеть что-то с общего "диска" почитать.
| | |
| |
| |
| 6.91, Онаним (?), 23:03, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> Потоки с чтением файлов не могут клонироваться в новости написано.
А я поэтому и говорю, что из этого супового набора имхо взлетит только DSM.
| | |
|
| 5.80, JL2001 (ok), 14:57, 05/05/2020 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
> При чём тут FS? Речь о том, что у тебя треды _одного_
> процесса потенциально могут летать между нодами, при этом прозрачно сохраняя общую
> область памяти + возможность синхронизации
а чем это от numa отличается?
| | |
|
|
|
| |
| 3.83, псевдонимус (?), 16:25, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Людям, как выясняется, обычные-то компы почти не нужны (постоянно сталкиваюсь с гейфон- дрочерами, причём чем крупнее город, тем больше этих юродивых), а что они будут делать с суперкомпом?
| | |
|
| 2.51, COBA (?), 09:09, 05/05/2020 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
А еще как бесшовный переезд на более мощное жедезо без остановки процесса можно использовать наверное.
| | |
|
| 1.16, Онаним (?), 01:01, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +2 +/– |
Distributed shared memory - это то, что из всего этого счастья реально может взлететь. Идея витает в воздухе уже очень долго.
| | |
| |
| |
| 3.41, Онаним (?), 08:51, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– | |
Ты что-то путаешь. NUMA существует в пределах машины, а тут между несколькими машинами.
На самом деле идея с DSM витала давно, и с ней экспериментировали. Всё упиралось в относительно медленную связность, но с появлением в массах серверных 40G и 100G интерфейсов идея DSM становится ближе к реальности - отсюда и новые эксперименты.
| | |
|
|
| 1.20, rm_ (ok), 01:17, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +1 +/– |
 Воу, неужели спустя годы снова изобрели то, что уже было и прекрасно работало у дедов в OpenMosix, правда судя по тому что нужен особый компилятор, в каком-то урезанном игрушечном варианте.
| | |
| |
| 2.26, Аноним (26), 01:31, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +3 +/– |
Компилятор нужен для поддержки переезда процесса с железа на одной архитектуре (пускай x86) на железо на другой (пускай ARM)
| | |
|
| 1.29, evkogan (?), 01:53, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [к модератору]
| +3 +/– |
Из новости не понятны ограничения технологии.
Явно ПО под эту вещь писать надо специальное.
Иначе не представляю как прозрачно для существующего ПО это может взлететь. Даже банальное обращение к файлам из разных потоков сломает это.
Именно в этом отличие от CRIU где миграция возможна для ПО которое не знает что его могут мигрировать.
Т.е. по факту это ядерная поддержка для всяких GRID.
Ну хорошо, это то чего не хватает Linux для реализации скайнета :)
| | |
| |
| 2.43, Онаним (?), 08:52, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
> Из новости не понятны ограничения технологии.
> Явно ПО под эту вещь писать надо специальное.
> Иначе не представляю как прозрачно для существующего ПО это может взлететь.
Да, это не прозрачный переход. Но если идея с DSM зайдёт даже в таком виде - в гипервизорах можно будет ждать уже прозрачной имплементации.
| | |
|
| |
| 2.46, Онаним (?), 08:58, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| –3 +/– |
>> Программный стек Popcorn образуют патчи к ядру Linux и библиотека с тестами, демонстрирующими как можно использовать системные вызовы Popcorn для миграции потоков в распределённо исполняемых приложениях.
> 1. Для миграции потоков необходимо переписывать прикладное ПО и линковать с их либой
Внезапно. Естественно, такая фича не будет прозрачной.
> 2. Сегодняшние ядра Linux, FreeBSD, OpenBSD непригодны для реализации виртуализации и кластера
Если из этого списка удалить Linux, всё будет верно.
| | |
| 2.47, Онаним (?), 09:02, 05/05/2020 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– | |
> 3. Давным давно поддерживал сборник патчей для ядра Linux который мог:
Проблема моськи знаешь в чём? Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.
| | |
| |
| 3.52, Аноним (48), 09:15, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
Это огромный плюс, что для миграции между нодами используются стандартные системные вызовы fork (pthreads). Именно это избавляет от потребности переписывать прикладное ПО. Все что умеет fork (pthreads) будет изкаробки, сразу, прозрачно работать в кластере SSI балансируя нагрузку между узлами!
| | |
| 3.54, Аноним (48), 09:21, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– | |
> Это строго SSI. Никакой реальной кластеризацией софта там банально не пахнет, софт должен сам уметь в синхронизацию между своими процессами, обмен данными (через "классические" решения например) и т.п.
Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу совсем не мешают, а наоборот помогают. SSI дает один виртуальный компьютер с общим числом процов и оперативы в сети. MPI можно запускать не на физических компах, а сразу на виртуальных - кластерах SSI!
| | |
| |
| 4.96, Онаним (?), 09:04, 06/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> Смотри DYSTRYK. В нем одновременно реализован SSI и MPI. Они друг другу
И много у тебя классического софта с MPI? Софт под это дело всё равно нужен специализированный. Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...
| | |
| |
| 5.100, Аноним (100), 16:20, 06/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> И много у тебя классического софта с MPI
equery h mpi
Понятно что только научные проги.
> Софт под это дело всё равно нужен специализированный.
Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает. Дочирные процесс будут мигрировать на узлы кластера. Для обычного пользователя это архиваторы, кодировщик видео.
> Понятно, что там грант хороший был, вот дистр на коленке и запилили, давай уж честно...
Делал сам, для себя, в свободное время, без всяких президентских грандов.
Установку купили пару школ и один ВУЗ. Предприятия от кластерной реализации отказались, другую версию покупали.
| | |
| |
| 6.101, Онаним (?), 19:41, 06/05/2020 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| –1 +/– | |
> Понятно что только научные проги
Ну ладно, здесь таки признал.
> Для нормального SSI не надо специализированного софта! Системных вызовов fork (pthreads) хватает.
Для этого вполне докера достаточно и микросервисов. Идея с миграцией бессмысленна без DSM, солнце закатывать (синхронизацию, обмен данными) иначе всё равно придётся костылить вручную.
| | |
| 6.102, Онаним (?), 19:42, 06/05/2020 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
> Делал сам, для себя, в свободное время, без всяких президентских грандов.
> Установку купили пару школ и один ВУЗ.
Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)
| | |
| |
| 7.110, Аноним (105), 09:16, 07/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> Ну давай, признай уже, что были, может не президентские, но стимул эту бессмыслицу пилить должен быть :)
SSI кластер это не бесмыслица, а пропущенный путь развития. Linux, FreeBSD, OpenBSD не в тот поворот свернули.
Разработка DYSTRYK никем, никогда не финансировать и велась мною в свободное время.
Хочу чтобы увидели один закон:
Если задачи ресурсоемки, а процессоры очень дорогие и маломощны - есть спрос на кластерные решения SSI.
Если ресурсоемких задач нет, а процессоры мощные и дешовые - спроса на кластера SSI не будет.
| | |
|
|
|
|
|
| |
| 3.58, Аноним (48), 09:32, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– | |
> По хорошему такое должно решаться на уровне ...
Нет детки, виртуализация и кластера единого системного образа решаются только в точке реализации ядром асинхронный работы на многопроцессорных системах.
Все зависит от выбранной матмодели ядра для асинхронной работы на много процессорных системах.
Сегодняшний Linux, FreeBSD, OpenBSD для виртуализации и кластера единого системного образа не подходят.
| | |
|
|
| |
| |
| 3.81, Аноним (81), 16:21, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
Было бы не плохо если бы вы где-то рассказали поподробнее. Например на https://habr.ru/ если нет аккаунта то через песочницу. Плюсы, минусы, подводные камни, что помешало, что помогла, почему не взлетело.
| | |
| |
| |
| 5.117, 111 (??), 17:28, 07/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Очень напоминает общественное разделение труда в разных формациях,например: капитализм и социализм. Видимо это влияет.
| | |
|
|
|
|
| 1.63, Аноним (63), 09:46, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– |
Ахахах, как в том меме.
Так линукс теперь может работать с 4086 ядер!
Так а там реализовали нормальный просмотр видео в браузере?
Нет
| | |
| |
| 2.66, Аноним (48), 09:56, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +2 +/– |
> Так линукс теперь может работать с 4086 ядер!
> Так а там реализовали нормальный просмотр видео в браузере?
Да, теперь декодировка видео в бровзере нормально параллелится аж на 4086 ядерах! ;)
| | |
| |
| 3.78, Аноним (63), 14:04, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
А в windows юзается аппаратная деодировка. А если нету поддержки как допустим у меня с vp9, то как то юзают 3d шейдеры. Походу direct3d можно юзать как рендер
| | |
|
|
| 1.79, Аноним (79), 14:45, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [к модератору]
| +1 +/– |
вот есть у меня сервер который слушает порт 55555 и что они этот же порт на удаленной машине откроют и туда его перенесут?
| | |
| |
| 2.82, Аноним (81), 16:23, 05/05/2020 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
Живую миграцию кто только не делает. Тут же они туда перенесут сначала процесс, а потом если надо вернут результат. По протоколу TCP.
| | |
|
| 1.88, mail (?), 21:51, 05/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– | |
"Политехнический университет Виргинии" ===> "Вирджиния Тех (Политехнический университет Виргинии)"
Его никто кроме как "Вирджиния Тех" не называет.
| | |
| 1.98, Аноним (-), 12:32, 06/05/2020 [ответить] [﹢﹢﹢] [ · · · ] [↑] [к модератору]
| +/– | |
>Для использования Popcorn в гетерогенных окружениях необходимо использовать специальный компилятор на основе LLVM.
Без GCC не нужно!
| | |
|
