The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск СУБД Redis 7.0, opennews (?), 28-Апр-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


18. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Без аргументов (?), 28-Апр-22, 11:47 
А кто нить работает в хайлоаде? На чем крутятся какие-нибудь комменты в ВК и других соцсетях?
Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск СУБД Redis 7.0"  +/
Сообщение от bOOster (ok), 28-Апр-22, 12:04 
На кластере серверов.
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск СУБД Redis 7.0"  +1 +/
Сообщение от Аноним (21), 28-Апр-22, 12:15 
В ВК хз у нас все крутится в мемкеше работает быстро есть не просит.  
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

23. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 28-Апр-22, 12:23 
в мемкеше данные коментов? а тип если кластер умрет - их не жалко?
Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск СУБД Redis 7.0"  +3 +/
Сообщение от Аноним (21), 28-Апр-22, 12:28 
Заново греть кеши? При запросе все данные в том числе предиктовые запрашиваются из БД и попадают мемкеш и от туда запрашиваются пользователем. Как их перестают запрашивать данные удаляются.

Ты спросишь про валидацию кешей вот там велосипед на велосипеде. Ака консистеностность в конечном счете.  

Ответить | Правка | Наверх | Cообщить модератору

42. "Выпуск СУБД Redis 7.0"  +1 +/
Сообщение от Аноним (44), 28-Апр-22, 14:52 
"В программировании есть две реально сложных проблемы - именование сущностей и валидация кэшей. Все остальное - простые проблемы" © не помню кто
Ответить | Правка | Наверх | Cообщить модератору

45. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (45), 28-Апр-22, 15:13 
Джефф Этвуд, один из основателей Stack Overflow
Ответить | Правка | Наверх | Cообщить модератору

47. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Просто интересно (?), 28-Апр-22, 15:42 
А чем плохи Hazel Cache и Ignite Cache?

https://stackoverflow.com/questions/31932836/hazelcast-vs-ig...

Они же сами все автоматически синхронизируют на всех узлах или нет?

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

63. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (44), 28-Апр-22, 18:29 
А кто сказал, что они обязательно плохи?
Просто они гораздо сильнее интегрируются в логику приложения, и хорошо заходят, если у вас энтерпрайз Java и SpringEverything (по крайней мере, Hazelcast)
Ответить | Правка | Наверх | Cообщить модератору

84. "Выпуск СУБД Redis 7.0"  +/
Сообщение от eRIC (ok), 29-Апр-22, 07:39 
> А чем плохи Hazel Cache и Ignite Cache?

GridGain еще есть, пока на практике не попробуешь, не поймешь

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

85. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Брат Анон (ok), 29-Апр-22, 07:52 
Имена сущностей и ИНВАЛИДАЦИЯ
кешей.

Вот и выросло поколение, которое не умеет в классиков.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

105. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (105), 01-Май-22, 02:48 
Автор данной фразы, как и её каноническое написание, вообще не очень точно известны. Её приписывают Тиму, но по его же словам, он её сам слышал от кого-то.
Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск СУБД Redis 7.0"  –4 +/
Сообщение от амоним (?), 28-Апр-22, 12:22 
сейчас появились оч быстрые железки по диску, и ... можно на небольшом кол-ве железа процессить оч большие объемы.
понятное дело, что в вк там кластер, потому что ну очень много + отказоустойяиво нужно.
но этт нк рокет сайнс. ну нагрузки много, но она примитивная. шардированный доступ в зубы, и вперед. тут больше архитектурное решение решает.
а так: мускул, каучбэйз, аероспайк, кассандра.
хотя кауч и аероспайк в рф вероятно уже не продаются, так что если про вк говорим - наверное без них )
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

38. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (44), 28-Апр-22, 14:39 
> а так: мускул, каучбэйз, аероспайк, кассандра.

Если про couchbase и aerospike ещё плюс-минус попадание, то кеши в кускуле или кассандре - это прямо первоапрельская шутка (причём не очень умная).

Ответить | Правка | Наверх | Cообщить модератору

66. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 28-Апр-22, 18:54 
вопрос был как сделаны коменты? или где кеш лежит?
вроде как про комменты
Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 28-Апр-22, 18:56 
про шутки - почитай для чего фб вообще делал кассандру изначально
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

68. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 28-Апр-22, 18:59 
мускл - ну ты попробуй положить в него кей-валуе данные, дать ему 256 гиг памяти под кеш, пачку pcie ssd, и несколько зионов платинум проца. скажешь потом, где проблема, и где оно хуже кауча.
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

77. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (44), 28-Апр-22, 22:37 
> ну ты попробуй положить в него кей-валуе данные, дать ему 256 гиг памяти под кеш, пачку pcie ssd, и несколько зионов платинум проца

Лучше всё-таки 1 Тб оперативки, а то вдруг данных много окажется, гигабайт, например.

И в итоге получится что-то, способное догнать по скорости Redis на Pentium 4.

Ответить | Правка | Наверх | Cообщить модератору

86. "Выпуск СУБД Redis 7.0"  +3 +/
Сообщение от Брат Анон (ok), 29-Апр-22, 07:56 
Вот когда ты напишешь тест хоть один по сравнению скорости кеша в памяти с кешем на диске, да посчитаешь сколько бабла тебе потребуется для уравнивания их скоростей -- вот тогда и приходи комменты писать.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

92. "Выпуск СУБД Redis 7.0"  –3 +/
Сообщение от амоним (?), 29-Апр-22, 12:09 
о как! т.е. кеш рсубд, живет на диске?
расскажу по секрету - нет ) он живет в памяти, внезапно, как и данные редиса. и в мускле, и пг и оракле.
и прогрев кеша нужен и в редисе (хм, данные на диске, если рестарт, то нужно сильно думать).
а внезапно аероспайк и придумывали, чтобы хранить данные на диске, не парясь на инмемори и не парится, если их ну оч много.
Ответить | Правка | Наверх | Cообщить модератору

97. "Выпуск СУБД Redis 7.0"  +2 +/
Сообщение от Брат Анон (ok), 29-Апр-22, 16:13 
> о как! т.е. кеш рсубд, живет на диске?

Ну давай, расскажи мне, как поднять постгрес без диска, вперде))
И как гарантировать, что те данные что должны быть в памяти не будут вытеснены на диск в Постгресе/Оракле/что там у тебя ещё есть. И как данные шарить между нодами, которые поднимаются и ложатся по требованию.

Ответить | Правка | Наверх | Cообщить модератору

102. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 30-Апр-22, 10:33 
балин... ну о чем спорить? в память положил, из памяти взял. но тогда вычитка с диска, и инвалидация - ручками. хочешь, чтобы это работало само - база данных, с кучей кеша данных и/или ключей. все упирается в объем данных, время и желание делать велосипеды.
зашардировать данные в редисе - фокус. проверять схему - фокус. реплицировать при высокой летенси сети (xdc) и высокой нагрузке - фокус.
юзать как локальный кеш сервиса - отлично работает.
ну как-то так...
Ответить | Правка | Наверх | Cообщить модератору

46. "Выпуск СУБД Redis 7.0"  +1 +/
Сообщение от Без аргументов (?), 28-Апр-22, 15:16 
Благодарю за ответы. Но интересно, если в РСУБД все как-то атомарно связано транзакциями, констрейтами, в общем, конторолем на уровне СУБД, то как здесь решается проблема синхронизация первичных и прочих агрегированных данных, статистики и прочих витрин? Получается, с помощью бизнес-логики приложения или сервисов?
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

50. "Выпуск СУБД Redis 7.0"  –2 +/
Сообщение от Аноним (44), 28-Апр-22, 15:55 
Такое ощущение, что вы просто накопипастили случайные фразы из первых ссылок по выдаче гугла.
Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Без аргументов (?), 28-Апр-22, 17:18 
Просто я работал с одной нераспределенной БД Oracle и Maria DB в рамках одного корпоративного монолита. А про остальное не знаю, вот и спрашиваю.
Ответить | Правка | Наверх | Cообщить модератору

57. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Без аргументов (?), 28-Апр-22, 17:20 
Одно дело, когда целостность данных конролируется триггерами и прочими связями самой БД. А как это в монгах и редисах я даже не представляю. И полагаю, что это делается на уровне модели софта.
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

61. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Аноним (44), 28-Апр-22, 18:24 
Что вы подразумеваете под "целостностью данных" в key-value storage?
Ответить | Правка | Наверх | Cообщить модератору

75. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Без аргументов (?), 28-Апр-22, 22:08 
Именно там как раз нет, а получается, на уровне софта значит решают вопрос или вообще не решают?
Ответить | Правка | Наверх | Cообщить модератору

79. "Выпуск СУБД Redis 7.0"  +2 +/
Сообщение от Аноним (44), 28-Апр-22, 23:29 
Именно так.
Понятие "целостности", а точнее, консистентности данных, вообще растёт именно из реляционных СУБД, где данные (обычно) хранятся в нормализованном виде, то есть один объект представлен множеством записей во множестве таблиц. Соответственно, изменение свойств объекта может затрагивать несколько таблиц сразу. Отсюда и появляется необходимость в атомарных, консистентных, изолированных и детерминированных транзакциях (https://ru.wikipedia.org/wiki/ACID), которые значительно усложняют логику работы сервера БД.

В документ-ориентированных и key-value СУБД объекты обычно либо атомарны сами по себе (например, настройка something=10), либо хранятся в денормализованном виде (все сведения об объекте в одной записи), поэтому там необходимость строго синхронно обновлять множество сущностей не является краеугольным камнем архитектуры БД. Обычно там вообще нет понятия foreign key.

Ответить | Правка | Наверх | Cообщить модератору

87. "Выпуск СУБД Redis 7.0"  +2 +/
Сообщение от Брат Анон (ok), 29-Апр-22, 08:03 
NoSQL база хранит агрегат. Т. е. одна запись не раскидывается по нескольким таблицам, а значит для поддержания консистентности объекта -- транзакции не нужны. Если речь идеи о ссылках в объекте на другие объекты -- ссылки в NoSQL у нормальных людей постоянны (но вовсе не значения по ссылкам). Если же критично изменение конкретного числа объектов одновременно -- да, там используются всë теже транзакции. Но в голове всегда держим: транзакции гарантируют консистентность, но не гарантируют целостность. Тут поможет только фактор репликации "три". За счëт отсутствия необходимости транзакции на раскладывание сложного объекта -- NoSQL работает быстрее на запись/чтение. Вопрос быстрого поиска решается фильтрами Блума (да, индексы никто не отменял).
Ответить | Правка | К родителю #57 | Наверх | Cообщить модератору

69. "Выпуск СУБД Redis 7.0"  +1 +/
Сообщение от амоним (?), 28-Апр-22, 19:02 
да нету там целосности. если целосность нужна (межсервисная), она реализуется тем, что операции умеют накатываться, откатываться, есть очереди для достижения консистентности к определенному моменту, ечть контроль, если очереди мертвых сообщений.
читай кафка, читай дельта-лямбда архитектуры, читай евент процессинг, гугли оркестрация, и проч.
Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

76. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Без аргументов (?), 28-Апр-22, 22:09 
Благодарю
Ответить | Правка | Наверх | Cообщить модератору

88. "Выпуск СУБД Redis 7.0"  +3 +/
Сообщение от Брат Анон (ok), 29-Апр-22, 08:07 
Вы не понимаете, что такое "консистентность" и "целостность".
В NoSQL (сюрприз-сюрприз) есть как механизмы поддержания консистентности (нет, не так как в РСУБД) так и целостности.
Ответить | Правка | К родителю #69 | Наверх | Cообщить модератору

93. "Выпуск СУБД Redis 7.0"  –1 +/
Сообщение от амоним (?), 29-Апр-22, 12:27 
да, русские термины перепутал, сорри.
имелось ввиду консистентность реализуется руками. встроенных механизмов нету.
с целостностью тоже не все очевидно. все что кей-валуе гарантирует - что есть кей, и что есть валуе. а вот что там - ...
так что снова руками.
тут конешн, все от конкретной бд зависит, их оч много.
Ответить | Правка | Наверх | Cообщить модератору

98. "Выпуск СУБД Redis 7.0"  +2 +/
Сообщение от Брат Анон (ok), 29-Апр-22, 16:17 
> да, русские термины перепутал, сорри.
> имелось ввиду консистентность реализуется руками. встроенных механизмов нету.

Ну вот не надо гнать. всё уже давно есть.

> с целостностью тоже не все очевидно. все что кей-валуе гарантирует - что
> есть кей, и что есть валуе. а вот что там -
> ...
> так что снова руками.

Нет, давно уже не руками.

> тут конешн, все от конкретной бд зависит, их оч много.

Именно. Не все васяны одинаково полезны. Но все приличные васяны давно уже умеют и консистентность, и целостность.

Ответить | Правка | Наверх | Cообщить модератору

103. "Выпуск СУБД Redis 7.0"  +/
Сообщение от амоним (?), 30-Апр-22, 10:37 
>[оверквотинг удален]
>> имелось ввиду консистентность реализуется руками. встроенных механизмов нету.
> Ну вот не надо гнать. всё уже давно есть.
>> с целостностью тоже не все очевидно. все что кей-валуе гарантирует - что
>> есть кей, и что есть валуе. а вот что там -
>> ...
>> так что снова руками.
> Нет, давно уже не руками.
>> тут конешн, все от конкретной бд зависит, их оч много.
> Именно. Не все васяны одинаково полезны. Но все приличные васяны давно уже
> умеют и консистентность, и целостность.

приличные васяны, это монга, да?)

ps CAP теорема как бэ -  консистентность... ну в общем трейдоф )

Ответить | Правка | Наверх | Cообщить модератору

60. "Выпуск СУБД Redis 7.0"  +/
Сообщение от Анонимemail (4), 28-Апр-22, 18:09 
Aerospike, Scylla
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

104. "Выпуск СУБД Redis 7.0"  +/
Сообщение от InuYasha (??), 30-Апр-22, 13:57 
реббиты, эластики, постгресы + мемкаши и лоад-балансеры
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру