| |
| 2.2, онан (?), 11:20, 05/10/2017 [^] [^^] [^^^] [ответить]
| +4 +/– |
Только анекдотичные есть: google, dell emc storages(lustre+ext2, сам в этом немного участвовал)
| | |
| |
| |
| 4.15, ты не в теме (?), 09:20, 06/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
>> google ...
> навряд ли, у них своих, более лучших, подeлий достаточно.
это и есть их свое более лучшее подeлие. И используют они его - с 2000х годов. То есть как написали, так и используют.
| | |
| |
| 5.20, all_glory_to_the_hypnotoad (ok), 00:31, 08/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
 Ты, наверное, что-то путаешь.
Lustre просто непригодна для использования в больних датацентрах т.к. это довольно топорная ФС и у неё нет крайне важных функций: избыточность хранением данных в географически разнесённых хранилищах и автоматическая репликация. Так, по крайней мере, было минимум лет 10 и какое-то время назад обещали сделать простое избыточное хранение на уровне ФС, но судя по описаниям архитектуры, их всё ещё нет.
Надёжность и доступность данных в Lustre обеспечивается SAN, RAID'амим и прочими костылями. В компаниях врде гугла на больших кластерах не используют SAN, а вместо этого поднимают специальный софт на куче обычных хостов (см. https://en.wikipedia.org/wiki/Commodity_computing).
В общем, в гугле для этого использовали google file system (https://en.wikipedia.org/wiki/Google_File_System) и она совсем не похожа на Lustre. С тех пор они наделали ещё много чего.
| | |
|
|
| 3.14, пох (?), 08:50, 06/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> dell emc storages(lustre+ext2, сам в этом немного участвовал)
а можно подробностей - как участвовал, чего пилил, чего в результате получилось?
А то с гугля (они, кстати, тоже изначально делали на ext2, и, судя по тому что по сей день что-то в ней допиливают, часть нод так на ней и осталась) толку хрен, они очень не любят делиться внутренними подробностями.
| | |
| |
| 4.17, Аноним (-), 23:46, 06/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– | |
люстра + ext2 это что-то новое ;-)
Лана было с ext3 - но очень давно.. а вот ext2..
| | |
| |
| 5.18, пох (?), 11:43, 07/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
не было у гугля никакой ext3, разьве что где-то в побочных проектах - они, похоже, с самого начала поняли, что оно мертворожденное.
гугль развивал в качестве подложки под люстру свой форк ext2, пока не объявил что переходит на 4 w/o journal. Но, судя по некоторым признакам (включая вылезающие на свет патчи), по сей день не перешел окончательно (или вообще без шума и пыли отменил переход).
pdf с анонсом того перехода и сравнительным анализом характеристик, вероятно, ищущий еще может найти. Год примерно 2010-11, читать осторожно, поскольку сравнивается не-мэйнстримная ext2 с ext4 восьмилетней давности.
видимо, emc его читать не стала, и продолжила все ту же тему - но вот они информацией официально не делятся, поэтому очень интересно было бы услышать что-то от инсайдера.
| | |
| |
| 6.21, Аноним (-), 06:30, 09/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
в истории люстры был момент когда она жила на ext3+большая стопка патчей (в районе 1.4). Потом эти патчи влили в kernel.org и появилось ext4. C тех пор так и живет.
| | |
|
|
|
|
| 2.4, Аноним (-), 12:08, 05/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– |
С учетом того, что это специализированная ФС для определенных задач, то вам в помощь почти любой HPC кластер.
| | |
| 2.5, Всем Анонимам Аноним (?), 14:06, 05/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
Если Вы подумыввете использовать для себя, то не советую. Скорее всего она используется из-за того, что не так много альтернатив. Эти системы, мне кажется, сделаны чтобы можно было побольше выставить счет за эти системы. Например, она похоже что чувствительна к сбоям и т.п. Дизайн 80-90-х годов.
Если нужна реально масштабируемая система, то рекомендую Ceph. И попробовать обойтись без CephFS (это удобно, но не для designed for failure систем)
| | |
| |
| 3.6, . (?), 16:34, 05/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Чот ты фигню порешь, брат анон.
Тебе рассказать, с какой частотой у тебя будут выходить узлы сети хранения (а люстра, это фс, с помощью которой строят сети хранения для HPC кластеров из топ500), если их там больше 100? Ну вот чисто на бумажке прикинуть вероятности. Так вот люстра умеет выживать (и спасать данные) в очень неординарных случаях. Например, когда у тебя в меланоксовском IB-свитче, сдыхает ребро к которому были подключены несколько oss. А у тебя только суммарное IO проседает, но работа продолжает кипеть. Ты звонишь инженерам в дц (или сам идёшь), перетыкаешь oss'ы на свободные порты. Проверяешь, что IB поднялся, рестартуешь сервис lustre-oss на отвалившихся oss и через некоторое время получаешь те же цифры в суммарном IO, что были до сбоя. По-моему, отличная сетевая ФС. Лучше я не видел.
| | |
| |
| 4.7, лютый жабист__ (?), 18:39, 05/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
Если не секрет, какая у неё скорость на копировании больших файлов? Те один тазик умеет 250мб в сек, сколько выдадут 100 тазиков с люстре?
| | |
| |
| 5.8, Аноним (-), 18:50, 05/10/2017 [^] [^^] [^^^] [ответить]
| +2 +/– |
Один OST умеет 8Gbyte/s раздавать на 16 клиентов, дальше уперлись в SAS / IB / PCIe.
подскажите реально получить такую скорость на CephFS ?
| | |
| |
| 6.9, щи (?), 19:32, 05/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Зависит, конечно. Но как выше посоветовали - лучше попробовать обойтись без CephFS.
| | |
| |
| 7.11, Аноним (-), 21:56, 05/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
что зависит то? повторю вопрос -
вот на люстре IOR запущеный на 16 клиентах - дает 8-9 Gbyte/s с одной OSS ноды - упираясь в IB / SAS.
Реально получить такую скорость Ceph с posix namespace ?
| | |
| 7.12, Аноним (-), 21:59, 05/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Ах да, за одно - можно ли создавать на Ceph - порядка 20000-30000 файлов в секунду?
При теоритическом пределе в 100к create/s
| | |
|
|
|
|
|
|
|
