Исходное сообщение
"Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..." Отправлено Классический анонимус, 24-Сен-15 12:03
> Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал > не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить > до завтра, разумеется, и второй раз не сортировать. "вчера" хранится в СУБД. Если хранить его ещё и в файле, то возможна неконсистентность. Просто загрузка в СУБД (Oracle) нового файла - тормоза на полчаса. Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на "больше часа". Проги на джаве и си "выгрузить из СУБД, найти дельту, загрузить в СУБД" примерно одинаково на уровне 4-5 минут. На джаве шаг "найти дельту" около 40 секунд отрабатывает с fastutil. Программу накидал за полчаса на стандартных и протестированных компонентах. Сишник 2 дня чё-то писал, переписывал, оптимизировал, в итоге скорость чуть ниже и ДРУГИЕ цифры. Т.е. у него ещё и баги надо было искать ;) При том, что сишник как прогер намного сильнее меня.