forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Компания Versity открыла исходные тексты файловой системы Sc..., opennews (??), 18-Сен-18, (0) [смотреть все]

хм а уже появились какие-то вменяемые методы сделать верифицируемый бекап со , Аноним (1), 10:17 , 18-Сен-18, (1) +2 //

Снапшот ФС с любой ФС LVM Никак , Annoynymous (ok), 10:53 , 18-Сен-18, (3) –1 //

Flush tables with read lock внутри ВМ Потом LVM снапшот , blblbl (?), 10:56 , 18-Сен-18, (5) //

Ну ему же хочется просто снапшот, без смыва, я так понял , Annoynymous (ok), 13:05 , 18-Сен-18, (13) –2

Почему никак Зависит от рук и БД , Аноним (33), 20:37 , 18-Сен-18, (33) –1

Написано что можно тут https www postgresql org docs 9 0 static backup-file ht, Аноним (19), 14:00 , 18-Сен-18, (19) +2

теперь в качестве движка хранения для этой штуки нужно прикрутить другую распред, Аноним (2), 10:27 , 18-Сен-18, (2) +3
Сетевые FS не в счет а то вот есть под боком одна файловая система - 15P и , Аноним (4), 10:56 , 18-Сен-18, (4) +1
Не умеет OFED - совсем LOCKING сделал per inode, паралельные чтения еще возможн, Аноним (4), 11:18 , 18-Сен-18, (6) +1
Что не так с ocfs2 и gfs2 А, вот что Ну допустим А сколько будет стоить хран, Moomintroll (ok), 11:31 , 18-Сен-18, (7) –1 //

OCFS2 научилось маштабироваться выше 256 узлов правда уже при этом были дикие , Аноним (4), 11:58 , 18-Сен-18, (10) //

В OCFS2 угрёбищно сделано квотирование, пишет один длиннющий псевдофайл, верифик, Аноним (33), 20:39 , 18-Сен-18, (34) //

А для чего я грешным думал что что бы раздавать большие объемы PS в OCFS2 - ли, Аноним (40), 07:40 , 19-Сен-18, (40)

Чтобы раздавать большие объёмы - лучше что-то с шардингом посмотреть OCFS2 - бо, Аноним (33), 09:00 , 19-Сен-18, (41)

а что в compute cluster еще делают раздают большие объемы Если посмотреть на ф, Аноним (40), 11:19 , 19-Сен-18, (44) –1

Шардинг отменили , Аноним (33), 20:07 , 19-Сен-18, (49)
В compute cluster - считают, объёмы при этом могут быть разными , Аноним (33), 20:07 , 19-Сен-18, (50)

С GFS2 не так кластерный стек, увы, только для сферического кластера в вакууме, , Аноним (33), 20:35 , 18-Сен-18, (31) //

Хотя, для compute cluster без HA GFS2 тоже заруливает, да , Аноним (33), 20:35 , 18-Сен-18, (32)

https en wikipedia org wiki OpenAFS, Аноним (8), 11:31 , 18-Сен-18, (8) –1 //

Тёплое vs мягкое, Moomintroll (ok), 11:43 , 18-Сен-18, (9) –2 //

А OFED не знает или хотя бы AF_RDS, Аноним (4), 12:01 , 18-Сен-18, (11) –1

Это конкурент ceph , ddgrg (?), 12:42 , 18-Сен-18, (12) –1 //

нет, это перпендикулярный проект - ceph когда надо быстро и данные под рукой, но, пох (?), 13:13 , 18-Сен-18, (14) –1 //

Куда, нафиг, оно будет расти Это про FC iSCSI, Moomintroll (ok), 14:38 , 18-Сен-18, (22) –1
Пейсмакер с коросинком не дадут заполнить глобус уже при 3-5 мс latency , Аноним (33), 20:27 , 18-Сен-18, (28) //

уп-с да ну, нафиг, 5ms, не может быть Может все же 50 , пох (?), 11:15 , 19-Сен-18, (43)

Увы, может 5 нод с latency около ms благополучно флапали коросинк, а в случаях , Аноним (33), 20:06 , 19-Сен-18, (48)

Current StatusInitial Alpha Open Source Releasescoutfs is under heavy active dev, Аноним (15), 13:13 , 18-Сен-18, (15) +1

сетевая фс в ядре бекдорведь в любой достаточно сложной программе есть уязвимо, Аноним (16), 13:35 , 18-Сен-18, (16) –1 //

сетевой placeholder в ядре бекдорне показатель , anonymous (??), 13:41 , 18-Сен-18, (17) +2
Сеть - вообще бэкдор Выдерните кабели, выломайте антенны и прочие приёмники пер, Аноним (33), 20:05 , 19-Сен-18, (47)

Семантика соответствует требованиям POSIX - обычно звездёжь Как у неё с POSIX, Аноним (20), 14:10 , 18-Сен-18, (20) –1 //

Ну вот код, разбирайтесь https github com versity scoutfs-kmod-dev blob 7d1ea, KonstantinB (ok), 20:13 , 18-Сен-18, (26) //

DLM, то есть пейсмакер с коросинком Всё веселье в одном флаконе , Аноним (33), 20:26 , 18-Сен-18, (27) //

встроенный DLM с выносным кластерным стеком, которых на деле 1 штука В той же, Аноним (33), 20:29 , 18-Сен-18, (29) –1
вы путаете это поделие использует тот же DLM что и OCFS2 , Аноним (40), 20:39 , 18-Сен-18, (35) –1

Это вы путаете DLM да, кластерный стек - нет У OCFS2 есть свой кластерный стек, Аноним (33), 09:02 , 19-Сен-18, (42)

DLM и кластерный стек это вещи разные - от слова совсем так же как и STONITH - н, Аноним (40), 11:26 , 19-Сен-18, (45) –1

Хосспаде, ну запусти мне родной DLM в Linux без кластерного стека или его подо, Аноним (33), 20:03 , 19-Сен-18, (46)

Легко Для монтирования руками различных нод кластера - ума много не надо При эт, Аноним (40), 09:21 , 20-Сен-18, (51)

еще один не путайте требования POSIX и POSIX LOCKs первое включает очень больш, Аноним (40), 20:47 , 18-Сен-18, (37) –1

формально есть DLM, есть какие-то события быть святее папы римского и оптимизир, Аноним (40), 20:41 , 18-Сен-18, (36)

Ну тогда ничего для себя интересного не вижу , Аноним (21), 14:13 , 18-Сен-18, (21)
Зачем ядру иметь в себе структуры, существенно зависящие от внешних обстоятельст, yet another anonymous (?), 17:21 , 18-Сен-18, (23) –1 //

Модули в помощь Не надо - не грузишь А кому-то эти внешние обстоятельства пр, Crazy Alex (ok), 18:42 , 18-Сен-18, (24) +1 //

Причем тут модули Речь о том, что для ядра взаимодействие с внешними системами , yet another anonymous (?), 19:29 , 18-Сен-18, (25) –1 //

Потому что делать десяток контекст свитчей на каждую блочную операцию могут толь, Аноним (33), 20:31 , 18-Сен-18, (30) +3

Т е по вашей логике разница между ядром и юзерспейсом в том что в ядре должен бы, Аноним (38), 23:56 , 18-Сен-18, (38) –1

Простой должен быть в обоих, но вам как сложному не понять , Аноним (39), 07:04 , 19-Сен-18, (39) +1

Сообщения [Сортировка по времени | RSS]

7. "Компания Versity открыла исходные тексты файловой системы Sc..." –1 +/–

Сообщение от Moomintroll (ok), 18-Сен-18, 11:31

> ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных.
> Важная особенность ScoutFS в отсутствии отдельного централизованного сервера обработки метаданных, так как вся функциональность реализуется на конечных узлах и метаданные обрабатываются на всех узлах или отдельной группе узлов в кластере. Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам. На узлах лишь поддерживается общий синхронизированный индекс метаданных.
Что не так с ocfs2 и gfs2?
> ScoutFS существенно расширяет возможности традиционных ФС по числу хранимых файлов в одном пространстве имён, позволяя хранить в одной ФС до триллиона файлов.
А, вот что. Ну допустим... А сколько будет стоить хранилище под такую задачу? Думаю, потому и выбросили проект на мороз, что для хранения "триллиона файлов" теперь дешевле и эффективнее использовать распределённые ФС, вроде ceph или lustre.

Ответить | Правка | Наверх | Cообщить модератору

10. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (4), 18-Сен-18, 11:58

> Что не так с ocfs2 и gfs2?
OCFS2 научилось маштабироваться выше 256 узлов ? правда уже при этом были дикие тормоза из-за локинга на каждый блок.

Ответить | Правка | Наверх | Cообщить модератору

34. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 18-Сен-18, 20:39

В OCFS2 угрёбищно сделано квотирование, пишет один длиннющий псевдофайл, верификация которого занимает херову тучу времени + квотирование лочится на каждый чих. Без квотирования нормально, но не на 256 узлов конечно, оно для этого уже не предназначено.

Ответить | Правка | Наверх | Cообщить модератору

40. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (40), 19-Сен-18, 07:40

А для чего? я грешным думал что что бы раздавать большие объемы.
PS. в OCFS2 - лимит на 256 нод - прошит в протокол.
/* this limits us to 256 nodes
#define OCFS2_NODE_MAP_MAX_NODES 256
и насколько я знаю - далеко не просто так. Даже без проблем с квотой.

Ответить | Правка | Наверх | Cообщить модератору

41. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 19-Сен-18, 09:00

Чтобы раздавать большие объёмы - лучше что-то с шардингом посмотреть. OCFS2 - более-менее shared FS общего назначения. Применимо для HA, для compute cluster, и для раздачи тоже, но не silver bullet.

Ответить | Правка | Наверх | Cообщить модератору

44. "Компания Versity открыла исходные тексты файловой системы Sc..." –1 +/–

Сообщение от Аноним (40), 19-Сен-18, 11:19

а что в compute cluster еще делают? раздают большие объемы. Если посмотреть на физику/биологию/метеорологию - там объемы 1 файла даже не мегабайты - а гигабайт и выше.
Опять же - при ограничении в протоколе - 256 нод - это будет - очень маленький кластер.

Ответить | Правка | Наверх | Cообщить модератору

49. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 19-Сен-18, 20:07

Шардинг отменили?

Ответить | Правка | Наверх | Cообщить модератору

50. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 19-Сен-18, 20:07

В compute cluster - считают, объёмы при этом могут быть разными.

Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

31. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 18-Сен-18, 20:35

С GFS2 не так кластерный стек, увы, только для сферического кластера в вакууме, где всё остальное (сеть, железо) надёжнее самого кластера.
С OCFS2 для именно кластерных применений (а не горизонтального масштабирования в небеса на сотни узлов) - всё в порядке, да )

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

32. "Компания Versity открыла исходные тексты файловой системы Sc..." +/–

Сообщение от Аноним (33), 18-Сен-18, 20:35

Хотя, для compute cluster без HA GFS2 тоже заруливает, да.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

7. "Компания Versity открыла исходные тексты файловой системы Sc..."	–1 +/–
Сообщение от Moomintroll (ok), 18-Сен-18, 11:31
> ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных. > Важная особенность ScoutFS в отсутствии отдельного централизованного сервера обработки метаданных, так как вся функциональность реализуется на конечных узлах и метаданные обрабатываются на всех узлах или отдельной группе узлов в кластере. Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам. На узлах лишь поддерживается общий синхронизированный индекс метаданных. Что не так с ocfs2 и gfs2? > ScoutFS существенно расширяет возможности традиционных ФС по числу хранимых файлов в одном пространстве имён, позволяя хранить в одной ФС до триллиона файлов. А, вот что. Ну допустим... А сколько будет стоить хранилище под такую задачу? Думаю, потому и выбросили проект на мороз, что для хранения "триллиона файлов" теперь дешевле и эффективнее использовать распределённые ФС, вроде ceph или lustre.
Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (4), 18-Сен-18, 11:58
	> Что не так с ocfs2 и gfs2? OCFS2 научилось маштабироваться выше 256 узлов ? правда уже при этом были дикие тормоза из-за локинга на каждый блок.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 18-Сен-18, 20:39
	В OCFS2 угрёбищно сделано квотирование, пишет один длиннющий псевдофайл, верификация которого занимает херову тучу времени + квотирование лочится на каждый чих. Без квотирования нормально, но не на 256 узлов конечно, оно для этого уже не предназначено.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (40), 19-Сен-18, 07:40
	А для чего? я грешным думал что что бы раздавать большие объемы. PS. в OCFS2 - лимит на 256 нод - прошит в протокол. /* this limits us to 256 nodes #define OCFS2_NODE_MAP_MAX_NODES 256 и насколько я знаю - далеко не просто так. Даже без проблем с квотой.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	41. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 19-Сен-18, 09:00
	Чтобы раздавать большие объёмы - лучше что-то с шардингом посмотреть. OCFS2 - более-менее shared FS общего назначения. Применимо для HA, для compute cluster, и для раздачи тоже, но не silver bullet.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	44. "Компания Versity открыла исходные тексты файловой системы Sc..."	–1 +/–
	Сообщение от Аноним (40), 19-Сен-18, 11:19
	а что в compute cluster еще делают? раздают большие объемы. Если посмотреть на физику/биологию/метеорологию - там объемы 1 файла даже не мегабайты - а гигабайт и выше. Опять же - при ограничении в протоколе - 256 нод - это будет - очень маленький кластер.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	49. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 19-Сен-18, 20:07
	Шардинг отменили?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	50. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 19-Сен-18, 20:07
	В compute cluster - считают, объёмы при этом могут быть разными.
	Ответить \| Правка \| К родителю #44 \| Наверх \| Cообщить модератору


	31. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 18-Сен-18, 20:35
	С GFS2 не так кластерный стек, увы, только для сферического кластера в вакууме, где всё остальное (сеть, железо) надёжнее самого кластера. С OCFS2 для именно кластерных применений (а не горизонтального масштабирования в небеса на сотни узлов) - всё в порядке, да )
	Ответить \| Правка \| К родителю #7 \| Наверх \| Cообщить модератору


	32. "Компания Versity открыла исходные тексты файловой системы Sc..."	+/–
	Сообщение от Аноним (33), 18-Сен-18, 20:35
	Хотя, для compute cluster без HA GFS2 тоже заруливает, да.
	Ответить \| Правка \| Наверх \| Cообщить модератору