The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск кластерной ФС Lustre 2.12"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от opennews (??), 23-Дек-18, 11:12 
Состоялся (https://www.mail-archive.com/lustre-announce@lists.lust...) релиз кластерной файловой системы Lustre 2.12 (http://lustre.org/), используемой в большей части крупнейших (http://top500.org/) Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), серверы размещения объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты.


Основные новшества (http://wiki.lustre.org/Lustre_2.12.0_Changelog):


-  Добавлена (https://jira.whamcloud.com/browse/LU-468) функция разнесения (restriping) крупных существующих каталогов распределённого пространства имён (DNE, Distributed Namespace) с одного объектного хранилища метаданных (MDT, Metadata Targets) на несколько  (разнесение разных сегментов DNE по разным MDT). Новая возможность упрощается введение в строй новых MDT для существующих ФС и проведение ручной ребалансировки нагрузки на MDT;

-  Для хранилищ метаданных (MDT) реализован (https://jira.whamcloud.com/browse/LU-9538) режим "Lazy Size", позволяющий очень быстро возвращать приблизительный, а не точный размер файлов при прямом сканировании MDT чрез движок управления потилитиками (policy engine) в ситуациях, когда скорость важнее точности;

-  Для конфигураций с несколькими сетевыми интерфейсами LNet добавлена (https://jira.whamcloud.com/browse/LU-9120) возможность "LNet Network Health",  реализующая опцию для повторного обращения к RPC через другой сетевой интерфейс в случае сбоя при первой отправке запроса;

-  Добавлена поддержка сервера для ядер RHEL 7.6 (3.10.0-957.el7) и
    SLES12 SP3 (4.4.162-94.69). Добавлена поддержка клиента для непатченных ядер RHEL 7.6 (3.10.0-957.el7), SLES12 SP3 (4.4.162-94.69) и Ubuntu 18.04 (4.15.0-32).


URL: https://www.mail-archive.com/lustre-announce@lists.lust...
Новость: https://www.opennet.ru/opennews/art.shtml?num=49839

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (1), 23-Дек-18, 11:12 
Постоянно пользуюсь.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Выпуск кластерной ФС Lustre 2.12"  +8 +/
Сообщение от Qwerty (??), 23-Дек-18, 14:47 
О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "Выпуск кластерной ФС Lustre 2.12"  –16 +/
Сообщение от Dapredator (?), 23-Дек-18, 18:56 
>О, да это же те самые анонимные админы сверхбольших кастеров подтянулись.

Что за комплексы из тебя лезут?

Думаешь тут нет инженеров, эксплуатирующих большие кластеры? Я руковожу группой системных инженеров, эксплуатирующих инфраструктуру из >80 тысяч физических серверов. И? У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

19. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Pofigist (?), 24-Дек-18, 01:27 
> поверх btrfs

Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

20. "Выпуск кластерной ФС Lustre 2.12"  –4 +/
Сообщение от Dapredator (?), 24-Дек-18, 02:36 
> Яб даже поверил... еслиб лично не наступал на эти грабли под названием btrfs...

Chris Mason (разработчик btrfs), Jens Axboe и Роман Гущин работают в соседнем отделе. ;) Грабли? Вправляйте руки, всё работает ;)

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

31. "Выпуск кластерной ФС Lustre 2.12"  +1 +/
Сообщение от Pofigist (?), 24-Дек-18, 12:34 
Ну да, конечно же! RAID5 и RAID6 тоже?
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

40. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от Аноним (40), 24-Дек-18, 18:55 
Chris Mason - это которого из zfs выгнали ?
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

44. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (44), 24-Дек-18, 20:38 
> Chris Mason - это которого из zfs выгнали ?

Нет, его из Reiserfs выгнали. Он решил создать собственную файловую систему по мотивам Reiserfs, как оказалось, совершенно не понимая, как работает последняя.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

47. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от Dapredator (?), 25-Дек-18, 03:18 
Да куда уж ему до анонимов с опенрунета ;)
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

73. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от Аноним (73), 25-Дек-18, 19:59 
добрый вьюнош - я не очень удивлюсь если тут обитают некоторые люди из бывшего namesys (если тебе что-то скажет это название), а то что тут люди из Sun имевшие отношение к zfs - так точно есть.
Так что имеют право на свое мнение.
Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

72. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (73), 25-Дек-18, 19:58 
Опа.. он и там засветиться успел :)
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

43. "Выпуск кластерной ФС Lustre 2.12"  +4 +/
Сообщение от vantoo (ok), 24-Дек-18, 20:12 
Я правильно понял, что эти уважаемые люди бросили свои должности в Oracle, Facebook и Yandex чтобы поработать под началом тебя, анонима с Опеннета?
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

46. "Выпуск кластерной ФС Lustre 2.12"  –5 +/
Сообщение от Dapredator (?), 25-Дек-18, 03:16 
Чукча не читатель, чукча писатель? ;) Перечитай то, на что отвечаешь. Возможно несколько раз ;)
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

48. "Выпуск кластерной ФС Lustre 2.12"  –5 +/
Сообщение от Dapredator (?), 25-Дек-18, 03:22 
P.S. все трое сейчас работают в facebook. Правда в сан-франциско. Я в лондонском. ;)

И по количеству минусов виден масштаб зависти, что, конечно, очень-очень радует ;)

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

75. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от universite (ok), 25-Дек-18, 20:18 
> P.S. все трое сейчас работают в facebook. Правда в сан-франциско. Я в
> лондонском. ;)
> И по количеству минусов виден масштаб зависти, что, конечно, очень-очень радует ;)

Так вот почему мордокнига так через одно место работает!
Когда починят отображение главное страницы? Цензура?
А то не отображаются посты друзей и на кого подписан.


Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

79. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от пох (?), 27-Дек-18, 13:03 
ну епаралон-я ж уже
не раз разжевывал - пофиг главному смузихлебу на эти мелочи. ни потеря ваших котиков, ни даже потеря relation graph - для него не потеря. все равно ты быстро ее скомпенсируешь.добровольно и с песней
Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

22. "Выпуск кластерной ФС Lustre 2.12"  +1 +/
Сообщение от Аноним (22), 24-Дек-18, 02:50 
> glusterfs поверх btrfs бегает
> которое тебе и не снилось

Франкенштейн на франкенштейне - это надо ещё умудриться такое увидеть во сне..

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

23. "Выпуск кластерной ФС Lustre 2.12"  –2 +/
Сообщение от Dapredator (?), 24-Дек-18, 03:02 
Не бойся, судя по всему тебе такое увидеть не светит ;)
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

27. "Выпуск кластерной ФС Lustre 2.12"  +2 +/
Сообщение от Qwerty (??), 24-Дек-18, 10:31 
> Не бойся, судя по всему тебе такое увидеть не светит ;)

Вась, успокойся. Продолжай руководить своими девопсами и пить кофе с Цукербергом. Чего ты нервничаешь-то? btrfs не станет от этого ни на йоту лучше или стабильнее.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

49. "Выпуск кластерной ФС Lustre 2.12"  –3 +/
Сообщение от Dapredator (?), 25-Дек-18, 03:25 
Я нервничаю? ;)
Да что же ты с себя-то срисовываешь все комплексы, а? Они ж тебя выдают всего наизнанку, учись держать эмоции и комплексы (и перед девопсами тоже, лол!) ;) и не выдавай желаемое за действительное ;)
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

54. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Qwerty (??), 25-Дек-18, 09:51 
> Я нервничаю? ;)
> Да что же ты с себя-то срисовываешь все комплексы, а? Они ж
> тебя выдают всего наизнанку, учись держать эмоции и комплексы (и перед
> девопсами тоже, лол!) ;) и не выдавай желаемое за действительное ;)

Ого, да ты не только убер-инженер на миллионе физических серверов, ты ещё и тонкий психолог и зоркий знаток человеческих душ. Преклоняюсь перед многогранностью и развитостью, а также перед Лондоном и Фейсбуком. Передавай привет Цукербергу от нас, недостойных, когда будешь с ним вискарь хлестать и посмеиваться над Немытой.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

68. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от XoRe (ok), 25-Дек-18, 15:56 
> glusterfs

glusterfs? или все же lustre fs?

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

74. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от Dapredator (?), 25-Дек-18, 20:12 
Мы обильно используем редхатовский gluster. Как водится с собственными патчами для нормальной работы IPv6. В гластере IPv6 ломают с завидной регулярностью, а в апстрим патчи принимают, но неохотно.
Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

77. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Вашье (?), 26-Дек-18, 09:31 
И как вам живется с маленькими файлами?
Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

29. "Выпуск кластерной ФС Lustre 2.12"  –2 +/
Сообщение от Аноним (29), 24-Дек-18, 11:23 
>У нас тут glusterfs поверх btrfs бегает на таком количестве стораджей, которое тебе и не снилось.

О, хорошо ты приложил по тем, кто орут, что BTRFS не готово для продакшон.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

32. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от Аноним (32), 24-Дек-18, 12:55 
Больше 4х лет использую btrfs в продакшен
Особенно удобно докер волумы размещать
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

37. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от пох (?), 24-Дек-18, 18:11 
вот, ребята, учитесь - все правильно делает.

(поскольку докер и его волумы рано или поздно все равно крэшатся вместе с нижележащей fs - соврешенно не жаль, что это btrfs. Зато рефлинки и никакой вермишели оверлей-маунтов.)

Ответить | Правка | ^ к родителю #32 | Наверх | Cообщить модератору

3. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (3), 23-Дек-18, 13:13 
> скорость важнее точности

Весь современный IT в трёх словах.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Выпуск кластерной ФС Lustre 2.12"  +1 +/
Сообщение от Аноним (4), 23-Дек-18, 13:39 
Нет, лучше:
>хипсторские инструменты важнее скорости
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

6. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним84701 (ok), 23-Дек-18, 15:06 
>> скорость важнее точности
> Весь современный IT в трёх словах.

Ага, с главным хипстером Цузе Конрадом и подражателями типа Вильяма Кэхена (лауреат премии Смуз^W Тьюринга) и их числами с плавающей запятой …

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

7. "Выпуск кластерной ФС Lustre 2.12"  +6 +/
Сообщение от Аноним (7), 23-Дек-18, 15:10 
"Вырвать из контекста" - аноним в трёх словах
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

9. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (9), 23-Дек-18, 16:10 
Падажите!
Люстра таки научилась в фейловер mds, но для этого нужен отказоустойчивый shared storage?
12 лет, а проблема с репликацией состояния кластера так и не решена?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от bircoph (ok), 23-Дек-18, 21:03 
Решена. Используйте OrangeFS.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

24. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от kvaps (ok), 24-Дек-18, 05:08 
И давно OrangeFS в репликацию научился?
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

33. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (40), 24-Дек-18, 17:35 
люстра всегда умела failover для MDS при shared сторадже - а разморозкой вас.. как там было в 70х ?
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (44), 23-Дек-18, 20:40 
Lustre - это которую выкинули из ядра?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Выпуск кластерной ФС Lustre 2.12"  +4 +/
Сообщение от Kuromi (ok), 24-Дек-18, 01:18 
Выкинули или нет, но Торвальдц на них постоянно, матом, ругался в рассылках, что не могут за годы довести до ума своё творение.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

34. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (40), 24-Дек-18, 17:36 
ругался Greg, торвальдс о них и не знал поди.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

30. "Выпуск кластерной ФС Lustre 2.12"  +1 +/
Сообщение от Аноним (30), 24-Дек-18, 12:25 
Блин в каждой новости про люстру одна и таже ошибка, OST - это не сервер, это oject storage target, то есть дисковое пространство которое раздает OSS - object storage server.Из раза в раз этот бред копируется.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (40), 24-Дек-18, 17:46 
Очередной релиз с датакарапшенами :) lfsck пользоваться не советую да и вообще плюшками DNE.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

38. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от пох (?), 24-Дек-18, 18:13 
нннепонял - а зачем оно тогда вообще такое ненужно? 8-O

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

41. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (41), 24-Дек-18, 20:08 
Под мусорное ведро, для хентея
Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

51. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (73), 25-Дек-18, 09:09 
2.12 - только начало нового LTS цикла. Так что пока 2.12.1 не выйдет - врядли что-то будет удобоваримое.
Опять же - политика по релизам у WC сейчас странная, релиз могут выпустить с известными проблемами (deadlock / corruption). Но таковой она стала после 2.4 - ресурсов в сустейниг вкладывать не хочется.
Черевато потерей флага "главного развивающего" (имхо).

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

55. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от пох (?), 25-Дек-18, 09:51 
> Черевато потерей флага "главного развивающего" (имхо).

э... а там есть еще и неглавные? И они вообще не для себя это делают?

(хотя, да, главный в СанФранциско, неглавный в Лондоне, или наоборот, а разгребать потом наоборот другой офис заставить, мыжзанятыразвитием. Жаба гадючку того-сь, или наоборот? Остальным надо стоять на безопасном расстоянии от серпентария, чтоб жабьей икрой не брызнуло, и ждать результатов.)

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

58. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Аноним (73), 25-Дек-18, 11:32 
ну товарищи из WC говорят что там комитит больше чем одна компания.
http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...

слайд 11.

Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

60. "Выпуск кластерной ФС Lustre 2.12"  –1 +/
Сообщение от КГБ СССР (ok), 25-Дек-18, 13:21 
> http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...

Какие хорошие слайды! Особенно № 5: «What Linux distributions do you use in production?»

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

76. "Выпуск кластерной ФС Lustre 2.12"  +/
Сообщение от Kuromi (ok), 26-Дек-18, 01:09 
> ну товарищи из WC говорят что там комитит больше чем одна компания.
> http://cdn.opensfs.org/wp-content/uploads/2018/04/Jones-Comm...
> слайд 11.

Полагаю вы скорее про слайд 17 - там удивительные вещи, вроде контрибуции Каноникал в размере 1 коммит изменивший 1 строку

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру