The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск графо-ориентированной СУБД Nebula Graph 3.2

19.07.2022 13:20

Опубликован выпуск открытой СУБД Nebula Graph 3.2, предназначенной для эффективного хранения крупных наборов связанных между собой данных, образующих граф, который может насчитывать миллиарды узлов и триллионы связей. Проект написан на языке С++ и распространяется под лицензией Apache 2.0. Клиентские библиотеки для обращения к СУБД подготовлены для языков Go, Python и Java.

В СУБД применяется распределённая архитектура без разделения ресурсов (shared-nothing), подразумевающая запуск независимых и самодостаточных процессов обработки запросов graphd и процессов хранения storaged. Оркестровкой перемещения данных и предоставлением мета-информации о графе занимается мета-сервис. Для обеспечения согласованности данных используется протокол на базе алгоритма RAFT.

Основные особенности Nebula Graph:

  • Обеспечение безопасности через предоставление доступа только аутентифицированным пользователям, полномочия которых задаются через систему управления доступа на основе ролей (RBAC).
  • Возможность подключения разных типов движков хранения. Поддержка расширения языка формирования запросов новыми алгоритмами.
  • Обеспечение минимальных задержек при чтении или записи данных и поддержание высокой пропускной способности. При тестировании в кластере из одного узла graphd и трёх узлов storaged БД размером 632 GB, включающей граф из 1.2 миллиарда вершин и 8.4 миллиарда рёбер задержки были на уровне нескольких миллисекунд, а пропускная способность составила до 140 тысяч запросов в секунду.
  • Линейная масштабируемость.
  • SQL-подобный язык запросов, достаточной мощный и простой для восприятия. Поддерживаются такие операции, как GO (двунаправленный обход вершин графа), GROUP BY, ORDER BY, LIMIT, UNION, UNION DISTINCT, INTERSECT, MINUS, PIPE (использование результата от предыдущего запроса). Поддерживаются индексы и определяемые пользователем переменные.
  • Обеспечение высокой доступности и устойчивость к сбоям.
  • Поддержка создания снапшотов со срезом состояния БД для упрощения создания резервных копий.
  • Готовность для промышленного применения (уже используется в инфраструктуре компаний JD, Meituan и Xiaohongshu).
  • Возможность изменения схемы хранения и обновления данных без остановки или влияния на выполняемые операции.
  • Поддержка TTL для ограничения времени жизни данных.
  • Команды для управления настройками и хостами хранения.
  • Инструменты для управления работами и планированием запуска работ (из работ пока поддерживаются COMPACT и FLUSH).
  • Операции поиска полного пути и кратчайшего пути между заданными вершинами.
  • Интерфейс OLAP для интеграции со сторонними платформами аналитики.
  • Утилиты для импорта данных из файлов CSV или из Spark.
  • Экспорт метрик для мониторинга при помощи Prometheus и Grafana.
  • Web-интерфейс Nebula Graph Studio для визуализации операций с графом, навигации по графу, проектирования схемы хранения и загрузки данных.



В новом выпуске:

  • Добавлена поддержка функции extract() для извлечения подстроки, соответствующей заданному выражению.
  • Оптимизированы настройки в файле конфигурации.
  • Добавлены правила оптимизации для удалений бесполезного оператора AppendVertices и отключения применения фильтров рёбер и вершин.
  • Сокращён объём данных, копируемых для операции JOIN, а также для операторов Traverse и AppendVertices.
  • Оптимизирована производительность SHORTEST PATH и SUBGRAPH
  • Улучшено распределение памяти (задействован Arena Allocator).


  1. Главная ссылка к новости (https://github.com/vesoft-inc/...)
  2. OpenNews: Первый стабильный выпуск графо-ориентированной СУБД Nebula Graph
  3. OpenNews: Новая версия СУБД ArangoDB 3.6
  4. OpenNews: Опубликована СУБД immudb 1.0, обеспечивающая защиту от искажения данных
  5. OpenNews: Выпуск СУБД Firebird 4.0 с поддержкой репликации
  6. OpenNews: Первый стабильный релиз реляционно-графовой СУБД EdgeDB
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/57522-nebula
Ключевые слова: nebula, graph
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (37) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 13:39, 19/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +10 +/
    > особенности Nebula Graph:
    > предоставление доступа только аутентифицированным пользователям

    А идея-то неплохая. Хорошо, что Nebula Graph такое придумал. В других БД такого не было, это особенность исключительно Nebula Graph.

     
     
  • 2.2, Аноним (2), 13:57, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Маркетинг - оно такое...
     
  • 2.3, Аноним (3), 14:02, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Это инновация уровня Apple или даже выше.
     
  • 2.11, Аноним (11), 18:52, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +6 +/
    На фоне mongodb, который по умолчанию торчит в сеть голой жопой, это достижение.
     
     
  • 3.16, Аноним (16), 00:41, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И про это прямо написано в документации, но кто ж её читает?
     
     
  • 4.20, ПомидорИзДолины (?), 02:49, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это их фича. Можно не читая документацию выкатить в прод и успешно использовать.
     
     
  • 5.31, Аноним (31), 09:59, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +9 +/
    Можно даже не выкатывать, и успешно использовать соседское.
     
     
  • 6.35, An onymous (?), 21:49, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Это преимущество Монги
     
  • 5.36, Аноним (36), 22:41, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > Это их фича

    Ты так сам решил или прочитал где-то?

     
  • 2.38, Уася (?), 15:33, 22/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    в других тоже есть распределённая бд и алгоритм рафт ?
     
     
  • 3.39, Anybody (??), 18:32, 22/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    О, да тебя, малыш, ждёт ещё много открытий чудных.
     
     
  • 4.41, Уася (?), 09:44, 25/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Кто ты имеешь против малыша?
     

  • 1.4, лютый жжжжж (?), 14:17, 19/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    на самом деле по описанию симпатично, аж хочется потыкать и переехать с нео4ж, но уверен на 95% что это очередная сишная недоделка с хорошей презой и пшиком внутри. сколько уже их было

    allshortestpaths надеюсь есть, и полноценные веса. на этом все валятся, даже нео4ж (на адекватных объемах)

     
  • 1.5, Аноним (5), 14:33, 19/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а есть что-то легкое, консольное по типу sqlite но графо-ориентированное ?
     
     
  • 2.6, Аноним (6), 16:25, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    дык networkx - in-memory graph db.
     
     
  • 3.7, Аноним (5), 16:41, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    это питоно-консольное, а хотелось бы просто консольное
     
     
  • 4.9, Массоны Рептилоиды (?), 16:55, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://cayley.gitbook.io/cayley/usage/quickstart-as-lib

    Ну или редиску можно: https://redis.io/docs/stack/graph/

     
     
  • 5.13, Аноним (13), 21:52, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И https://dgraph.io/
     
  • 2.8, YetAnotherOnanym (ok), 16:51, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    https://db-engines.com/en/systems
    Ишши! Ишши! Должон быть!
     
  • 2.10, лютый жжжжж (?), 18:29, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >легкое, консольное по типу sqlite но графо-ориентированное

    ну ты и чушь спросил, а тебе ещё и отвечают. как субд может быть консольной, это характеристика интерфейса ))

    простейшие графы народ руками кодит. а если заэмбеддить в приложение хочется у той же neo4j есть такой режим. сама она не тяжелая, если ты не на stm запускать будешь

     
     
  • 3.12, Аноним (5), 19:32, 19/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >ну ты и чушь спросил, а тебе ещё и отвечают. как субд может быть консольной, это характеристика интерфейса ))

    ля, еще один душный интеллектуал попался
    ясное дело что "консольное по типу sqlite" имелось в виду наличие нативной утилиты командной строки  для выполнения команд к базе данных.

     
     
  • 4.28, лютый жжжжж (?), 08:58, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >нативной утилиты командной строки  для выполнения команд к базе данных

    ну у neo4j есть cypher-shell. хотя я думаю почти у всех что-то имеется, как минимум curl-ом кидать команды

     
  • 2.25, ыы (?), 08:08, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Nebula Console v3.0.0
    Nebula Graph Console (Console for short) is a console for Nebula Graph. With Console, you can create a graph schema, import the demonstration nba dataset, and retrieve data.
     

  • 1.15, Аноним (15), 23:45, 19/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Чушь какая-то. Вот был бы на Расте написан, тогда да!
     
     
  • 2.19, аноним228 (?), 01:51, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Есть шутки от повторения которых они становяться только смешнее. Это не тот случай.  шутки про раст уже надоели.
     
     
  • 3.24, ыы (?), 07:50, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Приведете пример?
     
     
  • 4.33, Аноним (33), 19:06, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    принцепе не плохая шутка для смеха , мог быть и лучше но и сейчас более не менее
     
  • 4.37, An onymous (?), 00:01, 21/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    "Как пропатчить KDE2 под FreeBSD".
     
  • 4.40, Anybody (??), 18:34, 22/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    >Приведете пример?

    Например, ты.

     
  • 2.34, Вы забыли заполнить поле Name (?), 20:15, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    Действительно, а почему на расте за 11 лет ничего такого не появилось?
     

  • 1.21, сарказм (?), 07:15, 20/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Не взлетит. Ну не умеют китайцы в опенсорс.
     
     
  • 2.27, пох. (?), 08:33, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Китайцы умеют кодить. В отличие от опеннетовских экспертов, для которых даже скрипт на баше - китайская грамота.

     
     
  • 3.30, ыы (?), 09:39, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Тебя никто в экспертности не подозревает и знание китайского не потребует. Расслабься. :)
     

  • 1.23, ыы (?), 07:44, 20/07/2022 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >При тестировании в кластере из одного узла graphd и трёх узлов storaged БД размером 632 GB

    Итого 4 узла, в каждом из которых 256 Гб оперативки (на базу соответственно - 768 Гб) плюс NVMe диски по 800 Гб...

    То есть ВСЯ база была в памяти и еще куча свободного места

    при этом:
    >задержки были на уровне нескольких миллисекунд

    нескольких миллисекунд при операциях исключительно в памяти?
    ну, это прорыв ...

     
     
  • 2.26, пох. (?), 08:32, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +/
    > нескольких миллисекунд при операциях исключительно в памяти?

    дорогой работничек фальсбука - твой мемкэш не совсем то же самое, что эта штука.

    > нескольких миллисекунд при операциях исключительно в памяти?

    да, надо же, какое открытие - операции поиска по графу в памяти размером с терабайт не выполняются бесплатно, кто бы мог подумать и было ли ему - чем?

    Не говоря уже о том что эта память доступна не напрямую а через сеть, пусть даже и 10G, и сохраняется, а не "никому не жалко, новых котиков понаприсылают".

     
     
  • 3.29, ыы (?), 09:35, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >операции поиска по графу в памяти размером с терабайт не выполняются бесплатно,

    Любая операция поиска в памяти даже в мегабайте не выполняется бесплатно.
    Если бы ктото учился не на форумах- он бы это знал.
    Поиск по графу - ничем принципиально в смысле трудоемкости не отличается от поиска в реляционной базе.
    И про терабайт памяти  с придыханием и благоговением говорит тот кое кто у кого таких объемов просто нет.

    Действительно прорыв прорывов - 72 ядра с гипертрейдингом работающие параллельно ищут в половине терабайта памяти чегото...

     
     
  • 4.32, пох. (?), 15:04, 20/07/2022 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >>операции поиска по графу в памяти размером с терабайт не выполняются бесплатно,
    > Любая операция поиска в памяти даже в мегабайте не выполняется бесплатно.

    надо же!
    > Если бы ктото учился не на форумах- он бы это знал.

    ну вот ты прочитал это на форуме и, я вижу, научился - даже сэкстраполировал на мегабайты.
    Правда, по прежнему плаваешь в том, что не представляешь себе скорости доступа. Про сети, похоже, тоже не в твоем отделе надо спрашивать?

    > Поиск по графу - ничем принципиально в смысле трудоемкости не отличается от
    > поиска в реляционной базе.

    И про поиски в реляционной базе ты, похоже, тоже на форумах не дочитал.

    В общем, твой мемкэш на локалхосте по прежнему у тебя лезет из ушей. (у него вот да, только один способ поиска, потому что он голый key-value. А у реляционных все посложнее будет.)

    > И про терабайт памяти  с придыханием и благоговением говорит тот кое
    > кто у кого таких объемов просто нет.

    похоже и фейкбук я тоже правильно угадал. Только его нищие рабы с придыханием возвещают всему миру что у них есть, есть такие объемы, и даже больше!

    > 72 ядра с гипертрейдингом работающие параллельно ищут в половине терабайта памяти чегото...

    и не утыкаются в интерлоки (во всяком случае, китайцы так говорят). Угу. Если бы ты умел кодить, ты бы оценил. Но вряд ли этому ты научишься. Хоть на форумах, хоть как.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру