The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra, opennews (??), 22-Янв-19, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


8. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  +4 +/
Сообщение от erthink (ok), 22-Янв-19, 13:39 
> Что там у этих оптимизаторов из сциллы - хз, как-то слабо верится, что получилось - хорошо.

Если говорить про zero-copy "из ядра", то там вся прозрачно/понято (Intel DPDK).
Работает действительно просто:
- выделяете кусок памяти в своем приложении.
- через библиотеку просите класть такие-то пакеты в этот буфер (ioctl к драйверу).
- драйвер сетевухи настраивает её так, что пакеты из сети сразу попадают в ваш буфер.
- профит.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

13. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  –1 +/
Сообщение от нах (?), 22-Янв-19, 15:17 
ну да, только результат этого зирокопирования надо разобрать обратно на байтики высокоуровневого протокола, не забыть низкоуровневым сгенерить ответы (ну ок, современная карта большую часть возьмет на себя, там оффлоад) и правильно обработать таймауты/потери (вот это она за тебя делать не будет). И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.

насколько у авторов тазы банных получилось хорошо и тем более - надежно - вопрос, требующий отдельного изучения.

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  +5 +/
Сообщение от erthink (ok), 22-Янв-19, 15:47 
> ну да, только результат этого зирокопирования надо разобрать обратно на байтики высокоуровневого > протокола, не забыть низкоуровневым сгенерить ответы (ну ок, современная карта большую часть возьмет на себя, там оффлоад) и правильно обработать таймауты/потери (вот это она за тебя делать не будет).

Действительно, очень проблемно/сложно через java-жoпy что-либо делать DPDK-автогеном :)

> И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.

Не нужно, в случае DPDK он не участвует в обработке потока данных.

> насколько у авторов тазы банных получилось хорошо и тем более - надежно - вопрос, требующий отдельного изучения.

нет, это "не вопрос" - работает, давно, и многократно быстрее.
Очень хороший горчичник и butthurt-индикатор для жабистов :)
Вот прям приятно.

Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  –1 +/
Сообщение от нах (?), 22-Янв-19, 17:28 
>> И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.
> Не нужно, в случае DPDK он не участвует в обработке потока данных.

я и говорю - ты весь этот код (ну, во всяком случае, изрядную его часть) будешь переписывать - или, что более вероятно, оно будет работать только в локальной сеточке у разработчика, и на соседнем столе в лаборатории - а в других сетапах как-то иногда)

> нет, это "не вопрос" - работает, давно, и многократно быстрее.

есть у меня подозрение, что это не из-за привязки к cpu и обработки tcp в волшебной сиплюсплюсичке, а вопреки этому.

ну просто потому что трудно поверить универсального спеца по базам данных, умеющего low level tcp - причем хорошо, а не абы как.

Обычно это сильно разные ребята.

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  +3 +/
Сообщение от erthink (ok), 22-Янв-19, 18:05 
>>> И не особенно-то это и просто покажется, если на минутку заглянуть в ядерный код.
>> Не нужно, в случае DPDK он не участвует в обработке потока данных.
> я и говорю - ты весь этот код (ну, во всяком случае,
> изрядную его часть) будешь переписывать - или, что более вероятно, оно
> будет работать только в локальной сеточке у разработчика, и на соседнем
> столе в лаборатории - а в других сетапах как-то иногда)

Ну переписывать я точно не буду, разве-что поправлю при необходимости, ибо чуток участвовал.

Но начинать надо с RTFM, т.е. с понимания, что оно умеет и как работает в тех или иных случаях.
Если уж совсем кратко, то http://seastar.io/networking/ позволяет выбрать между ядерным TCP и собственным упрощенным TCP-стеком (который дружит и с DPDK и с Virtio).
//offtopic: Но в отличии моего 1Hippeus (сейчас заброшенного) не умеет эффективных очередей в разделяемой памяти (в пределах физического сервера, сквозь все слои виртуализации).

Поэтому в теплично-контролируемых условиях одного датацентра, одной стойки с серверами или внутри одного VM-хоста, можно подключаться к ScyllaDB через DPDK и упрощенный TCP без участия ядра), а в остальных случаях через штатный TCP (со всеми фичами и плюшками).

Грубо говоря, ничего не отнимается, а только добавляется.

>> нет, это "не вопрос" - работает, давно, и многократно быстрее.
> есть у меня подозрение, что это не из-за привязки к cpu и
> обработки tcp в волшебной сиплюсплюсичке, а вопреки этому.

А земля плоская?
Если серьезно, то благодаря, но далеко не только этому.
Главный тезис - просто не делать лишнего, т.е. избавить машину от ненужных фрикций.

> ну просто потому что трудно поверить универсального спеца по базам данных, умеющего
> low level tcp - причем хорошо, а не абы как.
> Обычно это сильно разные ребята.

Но не всегда ;)

Ответить | Правка | Наверх | Cообщить модератору

25. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  –1 +/
Сообщение от rshadow (ok), 22-Янв-19, 18:06 
> Обычно это сильно разные ребята.

Движек БД пишут ребята которые как раз понимают low level. Иначе за это и браться не стоит.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

40. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  +/
Сообщение от Dim (??), 24-Янв-19, 01:16 
>> Обычно это сильно разные ребята.
> Движек БД пишут ребята которые как раз понимают low level. Иначе за
> это и браться не стоит.

Движок Сциллы пишет команда которая, помимо прочего, написала OSv и KVM

Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск СУБД ScyllaDB 3.0, совместимой с Apache Cassandra"  –1 +/
Сообщение от нах (?), 24-Янв-19, 10:24 
да, я глянул - впечатлился. Причем команда огромная, не полтора гика, такие и впрямь напишут работающее.

Потом их, конечно, купит IBM, но мы успеем порадоваться счастью.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру