1.1, Аноним (1), 14:36, 08/11/2018 [ответить] [﹢﹢﹢] [ · · · ] [к модератору]
| +/– |
> Выяснилось, заказчик взял и переставил 2 ssd и 2 HDD с другого сервера, а затем отключил 1 OSD.
Я правильно понимаю что это был тест "Пьяная обезьянка порезвилась в серверной". Ок. Заказчик молодец.
>Так похоже что FileStore мало подходит
FileStore тест на пьяную обезьянку не прошел? Можно объяснить подробнее в чем проблемма?
>Пробуем с Blustore
>Blustore оказался более пригоден и более живуч
BlueStore прошел тест? Где подробности?
| |
1.3, alex (??), 16:40, 08/11/2018 [ответить] [﹢﹢﹢] [ · · · ] [к модератору]
| +/– |
Кстати аноним !
Интересно послушать Ваш опыт в данном распределенном хранилище !
И дай Вам счастье чтоб заказчик был всегда адекватный !
| |
|
2.5, alexpn (ok), 23:04, 09/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
мне же не все события нужны а именно эти
Денег пока не дали
ушел на Блюстор и заказчик затих ! Видимо сломать не получилось.
| |
|
3.6, твой лучший друг (?), 12:59, 10/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
в начале нулевых именно здесь на опеннете за связки греп|awk grep|sed cat|grep и тп и тд на полном серьёзе один неанонимный уважаемый комментатор говорил, что для него это как жёлтая карточка: первый раз он разраба предупредит, на второе использование будут кадровые решения. Понимаете, вы используете базовые "кирпичики" юникс в правильном ключе, именно комбинируя маленькие утилиты - но в данном случае сами утилиты достаточно мощны, чтобы выполнить фильтрацию без использования греп.
| |
|
4.7, alexpn (ok), 16:30, 10/11/2018 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
> в начале нулевых именно здесь на опеннете за связки греп|awk grep|sed cat|grep
> и тп и тд на полном серьёзе один неанонимный уважаемый комментатор
> говорил, что для него это как жёлтая карточка: первый раз он
> разраба предупредит, на второе использование будут кадровые решения. Понимаете, вы используете
> базовые "кирпичики" юникс в правильном ключе, именно комбинируя маленькие утилиты -
> но в данном случае сами утилиты достаточно мощны, чтобы выполнить фильтрацию
> без использования греп.
Логично . Учту на будущее.
Если есть решение проще то опубликуйте
| |
|
5.28, rumanzo (?), 02:44, 16/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
собственно:
ceph pg dump_stuck inconsistent -f json 2>/dev/null | jq -r '.[]?.pgid?' | xargs -L1 -r ceph pg repair
Тут во первых сразу дамп pg нужного статуса, во вторых передаётся в сериализованном виде, и скорее всего это не придется переписывать когда вывод в очередной версии поменяется
А вообще запихивать такое в крон не лучшая идея:
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2016-June/010920.html
А если очень уж хочется, можно поковырять параметр osd_scrub_auto_repair и osd_scrub_auto_repair_num_errors
| |
|
4.8, Аноним (8), 17:47, 10/11/2018 [^] [^^] [^^^] [ответить] [↓] [↑] [к модератору]
| +/– |
#~/bin/sh
CEPH=/usr/bin/ceph
$CEPH health detail |
grep -oP "(?<=pg )(.+)(?=is active\+clean\+inconsistent)" |
xargs -l $CEPH pg repair
Подотритесь вместе со своим гуру.
| |
|
5.9, твой лучший друг (?), 18:26, 10/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
> #~/bin/sh
> CEPH=/usr/bin/ceph
> $CEPH health detail |
> grep -oP "(?<=pg )(.+)(?=is active\+clean\+inconsistent)" |
> xargs -l $CEPH pg repair
> Подотритесь вместе со своим гуру.
Хорошее использование регулярки, претензия на использование двух утилит там, где достаточно одной снимается, но врядли бы замена директивы "распечатай столбец номер два" на регулярку с префиксом "до столбца вот это" и постфиксом "а после столбца вот это" прошла любое кодеревью. Кто-нибудь откаменил "что, если требуемый столбец сменился?" и после этого зеленую кнопку нажать духу не хватило б.
| |
|
6.10, Аноним (8), 13:10, 11/11/2018 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
>[оверквотинг удален]
>> $CEPH health detail |
>> grep -oP "(?<=pg )(.+)(?=is active\+clean\+inconsistent)" |
>> xargs -l $CEPH pg repair
>> Подотритесь вместе со своим гуру.
> Хорошее использование регулярки, претензия на использование двух утилит там, где достаточно
> одной снимается, но врядли бы замена директивы "распечатай столбец номер два"
> на регулярку с префиксом "до столбца вот это" и постфиксом "а
> после столбца вот это" прошла любое кодеревью. Кто-нибудь откаменил "что, если
> требуемый столбец сменился?" и после этого зеленую кнопку нажать духу не
> хватило б.
Да ну. Где так серьезно пишут на шелле, что даже с кодревью? Шепните название фирмы. Лидер отрасли, не иначе.
Смена формата вывода внутри мажорной версии софта обычно не происходит. Перед обновлением на проде админ это проверит и перепишет регулярку.
Информация об этом скрипте уже документирована.
К чему это брюзжание?
Переписывание греп + авк на чистый авк - это вкусовщина чистейшая.
Скрипт делает то, что нужно? Делает. Будет ли он редактироваться в обозримом будущем? Нет. Работает быстро? Да. Какая разница, что внутри? Никакой.
Идите пристаньте к бэкэнд-программерам с их ORM и прочими гиперабстракциями. Отстаньте от админов.
| |
|
7.12, Anonymouss (?), 21:44, 11/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
>[оверквотинг удален]
>>> xargs -l $CEPH pg repair
>>> Подотритесь вместе со своим гуру.
>> Хорошее использование регулярки, претензия на использование двух утилит там, где достаточно
>> одной снимается, но врядли бы замена директивы "распечатай столбец номер два"
>> на регулярку с префиксом "до столбца вот это" и постфиксом "а
>> после столбца вот это" прошла любое кодеревью. Кто-нибудь откаменил "что, если
>> требуемый столбец сменился?" и после этого зеленую кнопку нажать духу не
>> хватило б.
> Да ну. Где так серьезно пишут на шелле, что даже с кодревью?
> Шепните название фирмы. Лидер отрасли, не иначе.
Поверьте, писать на шелле с кодревью - это во многих компаниях, которые себя уважают и продают свои решения, особенно если их потом за это могут взять ...
Знаю сходу пяток таких контор, причем кол-во людей работающих в каждой, превышает 1К человек и они действительно проходят кодревью на любые вещи, которые пишут.
> Смена формата вывода внутри мажорной версии софта обычно не происходит. Перед обновлением
> на проде админ это проверит и перепишет регулярку.
> Информация об этом скрипте уже документирована.
Вы не дооцениваете человеческую лень. Лучше уж скрипт будет вываливаться и отправлять алерты, чем работать не так как запланировано.
> К чему это брюзжание?
> Переписывание греп + авк на чистый авк - это вкусовщина чистейшая.
> Скрипт делает то, что нужно? Делает. Будет ли он редактироваться в обозримом
> будущем? Нет. Работает быстро? Да. Какая разница, что внутри? Никакой.
"И так сойдет" (с) какой то мультфильм, ага.
> Идите пристаньте к бэкэнд-программерам с их ORM и прочими гиперабстракциями. Отстаньте
> от админов. | |
|
6.11, Anonymouss (?), 21:38, 11/11/2018 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
/usr/bin/ceph health detail | awk '/active+clean+inconsistent/ {run="/usr/bin/ceph pg repair "$2; print run; system(run)}'
так ж быстрее. да.
| |
|
7.14, Аноним (8), 01:29, 12/11/2018 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
> /usr/bin/ceph health detail | awk '/active+clean+inconsistent/ {run="/usr/bin/ceph
> pg repair "$2; print run; system(run)}'
> так ж быстрее. да.
Вряд ли быстрее, но красивенько.
| |
7.15, alex (??), 03:14, 12/11/2018 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
Торопится собственно некуда
Задача развесить флаги востановления и по возможности понять от чего они , а не с играть в стрелялку. Спеши медленно и практично.
| |
|
|
|
4.22, Адекват (ok), 09:35, 14/11/2018 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
А вот мне, кажется, чем более читаем и понятен код, тем лучше. Уж лучше иметь много sed | grep | awk | cut и прочее, чем один скажем awk но с совершенно не читаемой кашой ' { ; и прочее.
В случае если случится ЧП и код будет оформлен как awk, sed, cut, grep - большинство админов быстрее разберется в чем проблема, в отличии от ситуации, когда будет один awk но с магическими заклинаниями.
Админы они такие - сегодня работают, завтра нет, и у каждого нового свои взгляды на то, как и что правильно :)
Имхо конечно.
| |
|
5.44, Весёлый Пастер (?), 13:12, 24/12/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> А вот мне, кажется, чем более читаем и понятен код, тем лучше.
> Уж лучше иметь много sed | grep | awk | cut
> и прочее, чем один скажем awk но с совершенно не читаемой
> кашой ' { ; и прочее.
> В случае если случится ЧП и код будет оформлен как awk, sed,
> cut, grep - большинство админов быстрее разберется в чем проблема, в
> отличии от ситуации, когда будет один awk но с магическими заклинаниями.
> Админы они такие - сегодня работают, завтра нет, и у каждого нового
> свои взгляды на то, как и что правильно :)
> Имхо конечно.
Твоё право использовать "большинство админов", а не "меньшинство админов" особенно если не понимать их различия)))
| |
|
|
|
|
1.17, имя (?), 17:54, 12/11/2018 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| –1 +/– |
ну а swap то зачем 16 GB, ещё и на каждом диске? те представляешь себе что если твой сервер действительно начнём им пользоваться хотяб на 5%?
| |
|
2.23, Аноним (23), 15:05, 14/11/2018 [^] [^^] [^^^] [ответить] [↓] [к модератору]
| +/– |
Лучше, чтобы ООМ пришел рандомные osd килять?
Swap только дает немного времени при возниктовении проблем с памятью
| |
|
3.26, имя (?), 13:11, 15/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
настоящая беда не в OOM, а лишь в том что ты не удосужился прочесть ни статью, ни мой комментарий. попытаюсь объяснить
серверы позиционированы на использование Ceph, который представляет собой обычное user-space приложение, т.е. если Ceph не хватает памяти она залезет в swap (19 GB). надо объяснять потери производительности что возникнут при этом у и без того медленной Ceph? прочти статью ещё раз и попытайся найти хотяб 1-2 строчки настроек sysctl которые порой могли бы помочь. правильно - их нет. значит получаем Ceph и file system cache периодически залазят в swap размером до 19GB. даже при SSD-дисках, swap подобного размера вместо тюнинга vm - ЗЛО!
| |
3.32, щавель (?), 14:15, 19/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
Представьте себе, да. Иначе лаги начнутся (и не закончатся) во всем кластере. А так кильнул osd, сделал ребаланс и живи дальше.
| |
|
|
|
|
3.37, alex (??), 16:16, 01/12/2018 [^] [^^] [^^^] [ответить] [↑] [к модератору]
| +/– |
>> Основной задачей было обеспечение надёжности без применения CRUSH Map.
опечатка сорри
Когда начинал общатся с заказчиком у них в штате был кршМаппер
Официальная должность с должностной инструкцией
тоесть чувак занимался чисто картой ... определял какой туп дика куда засунуть и за это получал 60к в мес !!!
Причем убеждал всех что он делает работу которую никто сделать не может
| |
|
4.38, RomanCh (ok), 17:46, 01/12/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> тоесть чувак занимался чисто картой ... определял какой туп дика куда засунуть
> и за это получал 60к в мес !!!
Нда, неплохо устроился! Вот к чему приводит низкая компетентность управляющего звена.
| |
|
|
|
1.29, Lantaris (ok), 09:49, 18/11/2018 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [к модератору]
| +/– |
Подход, как сама реализация - полный бред. Цеф в продакт нести можно только с size >= 3 и minsize >= 2. Точек отказа, в зависимости от структуры крушмапа, должно быть как минимум 3. Нужно было людям дать обычный DRBD и не играться с тем, что рано или поздно убъет данные.
| |
|
2.30, Alex (??), 14:31, 18/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +1 +/– |
Оказалось не бредом
Скоро допишу статью то все это чем закончилось
Как говорится чуток терпения и все получится
| |
2.34, . (?), 09:36, 21/11/2018 [^] [^^] [^^^] [ответить] [к модератору]
| +/– |
> Нужно было людям дать обычный DRBD и не играться с тем,
> что рано или поздно убъет данные.
судя по их "тестам", эти странные люди убьют данные самостоятельно.
хоть с ceph, хоть без.
задача исполнителя - выполнить формальные требования, получить оплату и свалить в туман. Тем более что заказчик именно на таком подходе и настаивает.
| |
|
1.40, Аноним (39), 19:02, 02/12/2018 [ответить] [﹢﹢﹢] [ · · · ] [↑] [к модератору]
| +/– |
Возможно запустить рабочею osd(допустим железка умерла но диски с osd живы) на другом хосте?
К чему такой вариант, допустим быстрей перетащить диски чем ждать пока всё синхронизируется.
| |
|