> разрабатывался долго и с большой оглядкой на безпасность. На слово в таких вещах не верят, а то что кто-то это сильно палочкой тыкал - сомнительно. Хоть это и лучше чем ничего, конечно. И все же что-то мне подсказывает что потом окажется какая-нибудь недокументированная командочка, etc.
> кроме майнеров есть еще РосГидромет (Cray XC40 + tesla /если не путаю спеку/).
"А что так хорошо, доктор? Хорошо что это не у меня!"
> очень плохо влияет на MPI (см. историю появления Cray interconnect - SEASTAR/BlackStar).
Люди пытаются скрестить ужа и ежа. Логично что получается странное, с специфичными проблемами. И когда я это вижу, не покидает ощущение что они наломали дров на этапе партиционирования задач, а потом истошно пытались что-нибудь придумать чтобы это не признавать, дико костыля везде и всюду. Получилось дорого, странно, экзотично и ... это и правда был единственный способ? Или они просто архитектов не нашли?
> Зачем? дороже в производстве а получается очень нишевый продукт.
Так у них тоже получается нишевой продукт. Но еще заодно помучаются и они и кастомеры от души, потому что в майнлайне этого нет.
> Поэтому КН послали на юх.. собака лает караван идет.
Пруф? Я весь тредик почитал и не вижу кто там KH там послал. Алсо лает половина LKML, даже Мэйсон, из фэйсбука, который ФС пилит и знает и специфику фб, и dos/donts майнлайна тому чудику вежливо, но убедительно намекнул что он выбрал крайне хреновый способ для попадания в майнлайн - дескать, рекомендуется радикально пересмотреть курс действий. Нет, сколхозить тонкий shim относительно нвидияапи и выдать это как патчи в майнлайн решительно не проканает, а запал на этом крайне вреден для репутации wannabe-kernel developer.
> И спокойно продолжают разработку - допиливая фичи которые реально нужны клиентам.
Они могут хоть зеленых покемонов разводить, покуда это не затрагивает майнтайнеров майнлайна. А вот если это начинает колыхать оных - пааардон! Те сделают удобно себе, коллегам, своим фирмам и клиентам. А вот остальным - постольку поскольку. И соответственно это никак не про сдирание апи с нвидии, которой даже в кернеле нет.
> Раз в 5 лет при выходе очередного дистрибутива redhat/suse - можно слегка
> напрячься скооперироваться с разрабами оттуда и допилить прослойку совместимости.
Если они намерены пытаться втулить в кернел именно тонкий шим относительно нвидияапи, они именно это и пойдут делать стройными рядамы, потому что их там оттроллит весь LKML. И если они будут продолжать тем же курсом, в ядре потом совершенно случайно появится параллельное по смыслу апи, ради которого перетряхнут половину барахла используемого нвидией. Так что та потом еще разок полкернела перепишет в своем блобе, им не привыкать. А кастомеры нвидии соответственно пару месяцев покушают гамна очередной раз.
> Если обитателям мира HPC прийдется больше пахать, то есть не нулевой шанс
> что Торвальдсу напомнят кто его кормит,
Его кормят явно не эти чуваки - от нвидии ни денег, ни патчей. А у конкретно редхата вся команда вокруг GPU на нвидию волком смотрит. Так что единственный кто в этой схеме будет икать - некооперативный проприетарщик и клиентура оного. Блин, даже MS сподвигся комитить свой крап на общих основаниях, усвоив что ежели хорошая работа продуктов и отсутствие трабл у кастомеров нужны, правильный курс дейтсвий - вот такой.
> или вообще свалят на что другое. В большом мире решают не абстрактные мысли о свободке, а
> вполне реальные цифры затрат на достижение определенней производительности.
От отсутствия проприетарщиков с нвидией никто ничего не потеряет особо. Эти, видите ли, всегда норовят на чужом хребте в рай въехать. И в какие там васюки эти жлобы перенесут свою столицу - да это их проблемы.
> Если эта производительность может быть достигнута на другой платформе с меньшими затратами
Это такое очень большое "если". У остальных, видите ли, нет крутой и компетентной кернелтимы такого масштаба, освоившей совместную игру такого масштаба. И соответственно их кернелы находятся в куда более унылом состоянии. Ну и про меньшие затраты, производительность и проч речь не идет. Ядерщики линя отлично в курсе своего уровня и что именно его поддерживает. Поэтому периодически спрыскивают зарывающихся дустом. Что очень способствует поддержке проекта в форме. А вот этим вашим другим - фирма сони уже как бы _себе_ написала годную графику, а другим она _дырку от бублика_ подарила. И вот такие шоу линуксным ядерщикам вообще не втыкают, они серьезно намерены быть первым сортом, а не всеми забытой подложкой под проприетарные продукты.
> то Linux умрет. Стоит только напомнить что эти люди подарили Linux -
> ext3(проект ldiskfs)/ext4 (да да, то что называется ext4 это проект ldiskfs2).
Я btrfs использую. И подарили его по большому счету несколько конкретных чуваков - вон тот Мэйсон который ща в FB и те кто ему насоветовали cow-деревья. И технологически это был большой шаг вперед, а вы можете своим EXT* размахивать. Только это надо было цать лет назад делать. А основная заслуга корпов типа fb относительно него - да вообще мощный багтест и обезглючка. Это несомненно тоже надо, но присвоить себе лавры при этом все же не получится.
> Возвращаясь к Lustre - она всегда поддерживала большой диапазон ядер которые стоят
> у клиентов. Никто из больших кластеров не будут обновляться до последнего
> mainline что бы получить какой-то багфикс. Вот как-то так.
> А патч с убираем EXPORT_SYMBOL_GPL - очень дешев.
Ну как бы я иногда тоже майнлайн патчу под свои нужды - и таки почему-то радуюсь если удалось отделаться от этого. Потому что когда этого накапливается и по всей площади, а в новом релизе половина отъезжает, миллион комаров постепенно может задолбать и слона.
> Mellanox выложил свой код 4 года назад. Учитывая объем - где-то в
> 500-1000 строк, там поддержка требуется крайне редко.
...потому что там вокруг никто ничего не трогал. Однако этот патч кое-что изменил. Он показал девам что некий пойнт у фичи все же может быть - и возможно было бы неплохо если бы кернел фичу умел. А то что они не собираются копипастить с нвидии... задайте вопрос нвидии почему это так.
> https://github.com/Mellanox/nv_peer_memory
> https://github.com/Mellanox/gpu_direct_rdma_access
У ядерщиков как раз там резонный вопрос возник - может быть, время для какого-то более generic апи для pci p2p? А то когда вот тут патч на частный случай, тут патч на частный случай, тут и тут... все это определенно катится в сторону лоскутного одеяла. И нет, такое устроить в майнлайне не дадут, они уже наелись на заре его вылупления, дважды на одни грабли они не встают.
> Все тривиально до жути - CUDA предоставляет функции замапить PCI BAR в
> память ядра и(или) процесса.
Ну вот там ядерщики и прошлись по этому моменту - мол, вы обуели драть апи 1 в 1 с нвидии вашей проприетарной.
> Потом этот же адрес можно использовать как аргумент для cuda программ которые
> выполняются на GPU.
Как круто. Нвидиевская проприетарщина еще и будет лупить в чужие железки, прям в их BAR. Выглядит апофеозом секурити. И так чисто по человечески, гидромету потом не надо обижаться, когда заодно там будет мини-штаб NSA пополам с представительством узкоглазых.
> Facebook решил себе облегчить жизнь и пихнуть его в mainline зачем-то. Так
> что приплетать Mellanox туда совсем не стоит.
Facebook регулярно это делает. И таки реально облегчает себе жизнь. Это для них, в отличие от нвидии, неплохо работает.
