Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Доступна отказоустойчивая СУБД CockroachDB 1.1, opennews (ok), 14-Окт-17, (0) [смотреть все] кто бы рассказал, ЧТО, блин, на самом деле байда там хранит Вряд ли ведь они , пох (?), 11:49 , 14-Окт-17, (4) –3 // В последнее время часто вижу какую-то предвзятость и паранойю к китайцам в IT И, Фуррь (ok), 13:37 , 14-Окт-17, (7) +3 // Некоторые несознательные товарищи, которые не совсем и даже совсем нам уже не то, Аноним (-), 13:54 , 14-Окт-17, (8) –1 // Ноуп, я не в этом смысле Интересно, почему именно в IT такая предвзятость , Фуррь (ok), 13:57 , 14-Окт-17, (10) Не только в ИТ, поверь , vanzhiganov (ok), 14:11 , 14-Окт-17, (11) +1 потому что все остальное они примерно так же делают Почитай, если сумеешь найти , пох (?), 15:23 , 14-Окт-17, (13) А где ты тут предвзятость нашёл Вроде бы наоборот, было предположение, что байд, Crazy Alex (ok), 13:57 , 14-Окт-17, (9) –1 // Ну как бы у них свой китайский мир, по численности носителей языка англосаксов д, Аноним (-), 03:38 , 15-Окт-17, (48) +1 им не пофиг, они, в отличие от вас, жрать себе в ответ на cмешные санкции не з, пох (?), 12:59 , 16-Окт-17, (70) Один поисковик сожрёт минимум несколько петабайт для хранения копий интерента на, all_glory_to_the_hypnotoad (ok), 22:26 , 14-Окт-17, (27) // только эта база явно не для хранения копий интернета им совершенно не нужна суп, пох (?), 23:46 , 14-Окт-17, (31) // Ошибаешься по всем пунктам По таким базам строят поисковые индексы и если из Б, all_glory_to_the_hypnotoad (ok), 01:33 , 15-Окт-17, (42) –1 много поисковых систем-то видел вживую по каким таким По базе копий всего и, пох (?), 23:27 , 15-Окт-17, (64) –2 Некоторое колв-о отличное от нуля Не неси чуши Ну ладно, сверкни интеллектом и , all_glory_to_the_hypnotoad (ok), 03:05 , 16-Окт-17, (67) только сам sql для такой задачи - не нужен Совсем Спрашивается - ну и из каког, пох (?), 13:19 , 16-Окт-17, (71) –2 Whatever the missing mass of the Universe is, I hope it s not in cockroaches , YetAnotherOnanym (ok), 11:58 , 14-Окт-17, (5) +1 Терабайты в CSV вышел в окно, anomymous (?), 16:25 , 14-Окт-17, (15) –4 // Ну, терабайт не видел, а вот десятки гигабайт - да не с этой штукой Оно правд, Crazy Alex (ok), 16:49 , 14-Окт-17, (17) +2 А что не так Всё экономней, чем SQL-дамп , Аноним (-), 17:09 , 14-Окт-17, (19) +1 // после вот этого Из ограничений CockroachDB отмечается плохая пригодность для ре, ыы (?), 20:41 , 14-Окт-17, (23) // Ну логично - отказоустойчивое, но неспешное и не любящее особо навороченные запр, Crazy Alex (ok), 20:58 , 14-Окт-17, (24) +1 это единственный стандартизированный всеми кроме microsoft формат для обмена, пох (?), 18:07 , 14-Окт-17, (21) // формат этот для обмена данными крайне неудобен годен только для передачи самых п, ыы (?), 20:34 , 14-Окт-17, (22) –3 // Ну назови более удобный в контексте обмена данными между существующими СУБД , angra (ok), 21:52 , 14-Окт-17, (25) Dblink, штатный экспорт импорт, промежуточные базы sqlite , xml, ыы (?), 22:57 , 14-Окт-17, (28) –3 штатный совместим только сам с собой, и часто совершенно не является эффективным, пох (?), 23:53 , 14-Окт-17, (32) +1 Сверхбольшие объемы данных - передавать вообще не надо Если у вас часто возника, ыы (?), 00:34 , 15-Окт-17, (39) –2 Ну да - а если ты ходишь в памперсах, то должно быть весь мир - тоже - Ну ничег, . (?), 02:05 , 18-Окт-17, (81) –1 Есть СУБД mysql и есть СУБД postgres, как ты собираешься передать между ними дан, angra (ok), 00:07 , 15-Окт-17, (33) Вас на поисковике забанили , sqlite, xml А вот с форматами Ну, с примитивными д, ыы (?), 00:32 , 15-Окт-17, (38) –2 Если тебе будет так легче, то представь, что забанили По сути ответ будет или о, angra (ok), 02:05 , 15-Окт-17, (45) Если у какого-то неумного человека, возникает потребность передавать большие объ, ыы (?), 10:24 , 15-Окт-17, (51) –5 Ну как и ожидалось, куча трёпа не по задаче, рассказы, что тебе такая задача не , angra (ok), 18:03 , 15-Окт-17, (59) Почему вы считаете что ваша задача- осмысленна Я вам сказал как ее можно решить , ыы (?), 18:23 , 15-Окт-17, (61) –3 Если ты неспособен держать нить дискуссии в голове, то я тебе напомню Речь шла , angra (ok), 23:35 , 15-Окт-17, (65) +2 gt оверквотинг удален Ну успехов , Dr. Manhattan (?), 14:40 , 16-Окт-17, (73) –1 Это не формат представления данных, а модуль который ходит в другие СУБД SQL-ем , all_glory_to_the_hypnotoad (ok), 01:37 , 15-Окт-17, (43) прежде того, как вы начнете решать вопрос о формате - вы должны решить вопрос о , ыы (?), 09:17 , 15-Окт-17, (49) –2 Т е данные нужно передавать в формате хранения на накопителе На самом деле это, all_glory_to_the_hypnotoad (ok), 03:41 , 16-Окт-17, (68) gt оверквотинг удален Вы такой забавный Я искренне поддерживаю Ваше желание о, Dr. Manhattan (?), 14:49 , 16-Окт-17, (74) –2 Каждая таблица в базе данных очень проста и там только примитивные наборы А ты , Аноним (-), 23:32 , 14-Окт-17, (29) Да что вы говорите , ыы (?), 23:34 , 14-Окт-17, (30) Не, ну если какой-то альтернативно одаренный гений пихает в БД фильмы в виде бло, angra (ok), 00:11 , 15-Окт-17, (35) Обгадить то что не понимаешь так себе метод , ыы (?), 00:30 , 15-Окт-17, (37) –1 Ну так не томи, поделись уже примерами непримитивных данных, для которых формат , angra (ok), 01:48 , 15-Окт-17, (44) LOB, передача базы между СУБД , ыы (?), 10:00 , 15-Окт-17, (50) –1 Уточни, что из этого https en wikipedia org wiki LOB ты имел ввиду И каким об, angra (ok), 18:08 , 15-Окт-17, (60) –1 Уточняю Вы тролль в запущенной стадии LOB в контексте вопроса может быть толь, ыы (?), 18:27 , 15-Окт-17, (62) –1 Больше небылиц , Лис (?), 01:33 , 16-Окт-17, (66) –2 И что такого В тех же графовых субд максимальная скорость импорта из csv и реал, лютый жабист__ (?), 22:03 , 14-Окт-17, (26)   // я просто оставлю это здесь , , 3 , , пох (?), 00:08 , 15-Окт-17, (34) –1   // Регэкспом Это что за самоубийцы Вроде ж на абсолютно любых языках есть нормаль, Crazy Alex (ok), 00:38 , 15-Окт-17, (40) +2   нормальный парсер csv не использующий что-то похожее этот, если кому неочевид, пох (?), 00:59 , 15-Окт-17, (41) –2   Да легко https golang org src encoding csv reader goНикаких регексов, парсит C, angra (ok), 02:41 , 15-Окт-17, (46) +1   в отличие от regex - который я могу проверить просто внимательно на него глядя, , пох (?), 12:09 , 15-Окт-17, (53) –3   Парсящие регекспы согласно RFC, корректно обрабатывающие комментарии в csv, гене, Ordu (ok), 14:02 , 15-Окт-17, (55) +2   так тебе не надо согласно rfc , если ты надеюсь не писатель процитированного , пох (?), 15:14 , 15-Окт-17, (56) –3   И Чем регексп в такой ситуации будет лучше Если те, кто писал код генерящий cs, Ordu (ok), 17:11 , 15-Окт-17, (57)   там, кстати, дополнительно забавное - наше чудушко кетайское эти терабайтные csv, пох (?), 18:00 , 15-Окт-17, (58) –2   Вот Зришь в корень 100500 , . (?), 02:27 , 18-Окт-17, (82) –1   Оно судя по всему для хранения бэкапов , Аноним (-), 00:22 , 15-Окт-17, (36) –1 Только таблицы и вью База данных без логики на серверной стороне Серьезно Так, дядя (?), 11:36 , 15-Окт-17, (52) –3 // а в redis много логики Но дело не в этом вы сейчас совершаете ошибку такую же к, ыы (?), 20:35 , 15-Окт-17, (63) –1 Логика должна быть на Application Server , Вареник (?), 04:46 , 16-Окт-17, (69) +1 // Если вы посмотрите как устроена трехзвенная архитектура, например у Oracle- то о, Dr. Manhattan (?), 14:59 , 16-Окт-17, (76) // Главным образом, это правильно для Оракла, потому что вся система получается нам, gaga (ok), 18:25 , 16-Окт-17, (77) Трехзвенную архитектуру можно реализовать на любой платформе Причем тут именно , ыы (?), 18:58 , 16-Окт-17, (78) –1 Ещё к Тому Кайту в бложик asktom сходите поучиться проектировать большие системы, лютый жабист__ (?), 07:27 , 17-Окт-17, (79) –2 Если бы ты писал нормальное ПО, то знал бы, что логика на стороне БД зло Нетест, Castbreeder (?), 02:16 , 20-Янв-18, (84) 4,5,15,36,52

Сообщения

[Сортировка по времени | RSS]

	26. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	+/–
	Сообщение от лютый жабист__ (?), 14-Окт-17, 22:03
	И что такого? В тех же графовых субд максимальная скорость импорта из csv и реально лютая (у нео4ж 250млн зап за 5 минут)
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	34. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–1 +/–
	Сообщение от пох (?), 15-Окт-17, 00:08
	> И что такого? В тех же графовых субд максимальная скорость импорта из > csv и реально лютая (у нео4ж 250млн зап за 5 минут) я просто оставлю это здесь: /(?:(?:[^,"]*(?:"[^"]*")*)*,){3}((?:[^,"]*(?:"[^"]*")*)*),/ (c) не мое, подсмотрел sqlite, кстати, такое не может, тоже предлагают использовать херню на php(sic!) парсящую xml(ooops...) https://sqlite.org/cvstrac/wiki?p=ImportingFiles
	Ответить | Правка | Наверх | Cообщить модератору

	40. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	+2 +/–
	Сообщение от Crazy Alex (ok), 15-Окт-17, 00:38
	Регэкспом? Это что за самоубийцы? Вроде ж на абсолютно любых языках есть нормальные парсеры...
	Ответить | Правка | Наверх | Cообщить модератору

	41. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–2 +/–
	Сообщение от пох (?), 15-Окт-17, 00:59
	> Вроде ж на абсолютно любых языках есть нормальные парсеры... "нормальный парсер" csv не использующий что-то похожее (этот, если кому неочевидно, выковыривает четвертое (вроде ;) поле из несферического в вакууме csv - где могут быть кавычки в тексте, и двойные тоже, пробелы без кавычек, запятые внутри поля и прочие радости жизни) - ну-ка, покажите-ка? А то вот "нормальный парсер" той же sqlite часто не может прочитать ее собственный экспорт - откуда и берутся идиотические идеи использовать php и xml.
	Ответить | Правка | Наверх | Cообщить модератору

	46. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	+1 +/–
	Сообщение от angra (ok), 15-Окт-17, 02:41
	>ну-ка, покажите-ка? Да легко https://golang.org/src/encoding/csv/reader.go Никаких регексов, парсит CSV соответствующий RFC 4180, то бишь "могут быть кавычки в тексте, и двойные тоже, пробелы без кавычек, запятые внутри поля и прочие радости жизни" А если почитаешь сам RFC 4180, то найдешь там BNF грамматику для этого формата, используя которую, можно генерировать парсеры для нужного ЯП при помощи соответствующего софта.
	Ответить | Правка | Наверх | Cообщить модератору

	53. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–3 +/–
	Сообщение от пох (?), 15-Окт-17, 12:09
	> Да легко > https://golang.org/src/encoding/csv/reader.go в отличие от regex - который я могу проверить просто внимательно на него глядя, здесь триста (ну ладно, полтораста за вычетом комментариев) строк кода (использующих полмиллиона из других модулей), который проверифицировать я не осилил, не настолько хорошо понимаю go, соответственно - давайте еще ваши восемсот строк тестов, подтверждающих, что этот код таки справится с несферическим в вакууме csv. Я надеюсь, в "нормальном языке" принято их писать? ;-) то что они знали про excel, конечно, хороший признак. так что я рад, конечно, за go-писателей, что у них есть подобная хренотень в библиотеке, но самому вручную реализовывать конечный автомат по одному символу, а потом еще спотыкаться о битые файлы отдельно - очень не хотелось бы. Надеюсь, оно хотя бы быстрее сишного pcre? > А если почитаешь сам RFC 4180, это отдельная тема - например, пункт 6 там в принципе не нужен и не всеми выполняется. Насколько несферический в вакууме csv будет ему соответствовать, я не берусь угадать.
	Ответить | Правка | Наверх | Cообщить модератору

	55. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	+2 +/–
	Сообщение от Ordu (ok), 15-Окт-17, 14:02
	> триста (ну ладно, полтораста за вычетом комментариев) строк кода Парсящие регекспы согласно RFC, корректно обрабатывающие комментарии в csv, генерирующие гораздо более осмысленные и информативные ошибки, в случае некорректности CSV. Сопровождённые комментариями, то есть отладка кода или привнесение в него новых возможностей возможны без переписывания всего кода заново. > использующих полмиллиона из других модулей Регекспы используют libpcre или, иногда, какую-нибудь альтернативу. Сколько там строк в libpcre если посчитать с зависимостями? Ты _их_ проверифицировал? > самому вручную реализовывать конечный автомат по одному символу, а потом еще спотыкаться о битые файлы отдельно - очень не хотелось бы Регекспы, спотыкаясь о битые файлы, ведут себя гораздо более непредсказуемо. Отлаживать регекспы, с тем чтобы они корректно вели себя на некорректно сформированных данных -- это просто самоубийство. А ведь ещё хочется, чтобы парсер указывал на ошибку и пояснял, в чём она состоит -- если он не делает этого, то выходит очень весело, когда я выдрал откуда-то данные, засунул в парсер, а парсер сфейлился сказав лишь "Incorrectly formed data". Как я могу отладить после этого свой код, генерящий csv? Просматривать полмиллиона строк csv глазами в поисках ошибки? Разбивать этот кусок данных на отдельные строки, и смотреть на какой из них сфейлится парсер? А если в этой строке несколько сотен отдельных записей? Я на своём опыте знаю, чем заканчиваются подобные истории с парсерами на регекспах -- мне приходится отлаживать сразу и регексп, и csv, и исходные данные из которых csv генерируется, и генератор csv. Отлаживать только для того, чтобы понять в каком месте возникает ошибка. > самому вручную реализовывать конечный автомат по одному символу Зачем самому? Есть готовый код на github'е. Если тебе неинтересно реализовывать конечные автоматы, то есть люди, которым это интересно. Я, например, всегда с удовольствием. Я всегда выискиваю причины, по которым тот или иной регексп следовало бы заменить на самостоятельную реализацию, потому что если причины есть, то можно наслаждаться написанием конечного автомата, с осознанием того, что я не бесцельной мастурбацией занимаюсь, а делаю полезное дело.
	Ответить | Правка | Наверх | Cообщить модератору

	56. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–3 +/–
	Сообщение от пох (?), 15-Окт-17, 15:14
	> Парсящие регекспы согласно RFC, корректно обрабатывающие комментарии в csv так тебе не надо "согласно rfc", если ты (надеюсь) не писатель процитированного кода, призванного осчастливить всех. Тебе надо согласно тому бреду, который породил очередной cvs export. Комментарии? А как их корректно обрабатывать? Я вот вырезаю нафиг - что еще с ними делать, если файл не глазами смотришь? > Регекспы используют libpcre или, иногда, какую-нибудь альтернативу. Сколько там строк в > libpcre если посчитать с зависимостями? ее тестируют, да ;-) Мне вот и интересно, у писателей либ для "нормальных языков" есть такая практика, или "у них все работает"? Ну и я вовсе не призываю пользоваться regex вместо посимвольного конечного автомата (конкретно этот вообще для другого был придуман) - я привел его просто чтобы в одной строчке сразу показать, что разбор csv - на самом деле довольно непростая и не очень-то быстрая процедура. (если что, этот пример - конечный автомат, записанный, постфактум, в виде regexp'а - хрен иначе такое придумаешь) Впрочем, sql dump, нормальный, не extended insert какой, и с правильными кавычками, парсить ничуть не лучше. А размер у него изрядно больше за счет ненужных sql'ных конструкций.
	Ответить | Правка | Наверх | Cообщить модератору

	57. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	+/–
	Сообщение от Ordu (ok), 15-Окт-17, 17:11
	>> Парсящие регекспы согласно RFC, корректно обрабатывающие комментарии в csv > так тебе не надо "согласно rfc", если ты (надеюсь) не писатель процитированного > кода, призванного осчастливить всех. > Тебе надо согласно тому бреду, который породил очередной cvs export. И? Чем регексп в такой ситуации будет лучше? Если те, кто писал код генерящий csv не ориентировались на rfc, то ещё менее вероятно, что они ориентировались на наш наколенный регексп. И что делать в такой ситуации -- вообще нет никакого единого решения. Иногда в интерактивном режиме в текстовом редакторе приходится приводить csv во вменяемый вид. Понятно, используя при этом регекспы и прочую автоматизацию, но проверяя каждое изменение глазами. Ну, конкретно с csv мне не приходилось таким заниматься, но вообще бывало. В excel'е, например, когда я будучи молодым дураком, по доброте душевной написал скрипт для автоматизации секретуткам. Скрипт который брал данные из таблички и складывал в другую табличку. Эти тупые женщины, так и не смогли освоить простые правила внесения исходных данных, и довольно долго донимали потом меня, чтобы я своим скриптом сделал бы их работу. (Совсем некстати, но чёт мне вспомнилась весёлая история, с ещё более весёлым обсуждением: https://workplace.stackexchange.com/questions/93696/is-it-un... ) > Комментарии? А как их корректно обрабатывать? Я вот вырезаю нафиг - что > еще с ними делать, если файл не глазами смотришь? Что с ними делать -- вырезать естественно. Но это дополнительные сложности парсящего кода, которые не включены в регексп. >> Регекспы используют libpcre или, иногда, какую-нибудь альтернативу. Сколько там строк в >> libpcre если посчитать с зависимостями? > ее тестируют, да ;-) Мне вот и интересно, у писателей либ для > "нормальных языков" есть такая практика, или "у них все работает"? Если тестирование библиотек входит в список необходимых практик для того, что в твоём понимании "нормальный язык", то конечно тестируют. В тех языках в которых я сталкивался с библиотеками для парсинга всяких разных форматов представления данных, типа csv, yaml, toml, и пр, они просто работали. То есть ни разу не было проблем, которые бы порождались кривизной библиотечного кода. > Ну и я вовсе не призываю пользоваться regex вместо посимвольного конечного автомата > (конкретно этот вообще для другого был придуман) - я привел его > просто чтобы в одной строчке сразу показать, что разбор csv - > на самом деле довольно непростая и не очень-то быстрая процедура. (если > что, этот пример - конечный автомат, записанный, постфактум, в виде regexp'а > - хрен иначе такое придумаешь) А... Ну, с данным утверждением сложно не согласиться. Очевидно, я не понял контекста, прежде чем врываться в обсуждение.
	Ответить | Правка | Наверх | Cообщить модератору

	58. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–2 +/–
	Сообщение от пох (?), 15-Окт-17, 18:00
	там, кстати, дополнительно забавное - наше чудушко кетайское эти терабайтные csv _кусками_ жрет! Пожалуй, на досуге, гляну в код - сам я как-то даже без пол-банки и не соображу, можно ли вообще в взятом с середины csv-файле неведомого характера вообще надежно понять, где у него начало следующей записи. приведенный кусок стандартной библиотеки таким интеллектом не обременен.
	Ответить | Правка | Наверх | Cообщить модератору

	82. "Доступна отказоустойчивая СУБД CockroachDB 1.1"	–1 +/–
	Сообщение от . (?), 18-Окт-17, 02:27
	>Отлаживать регекспы, с тем чтобы они корректно вели себя на некорректно сформированных данных -- это просто самоубийство. Вот! Зришь в корень! 100500%!!!
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема