forum.opennet.ru - "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" (44)

"Выпуск Python-библиотеки для научных вычислений NumPy 1.18"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
Сообщение от opennews (?), 23-Дек-19, 12:23
Состоялся релиз Python-библиотеки для научных вычислений NumPy 1.18, ориентированной на работу с многомерными массивами и матрицами, а также предоставляющей большую коллекцию функций с реализацией различных алгоритмов, связанных с использованием матриц. NumPy является одной из наиболее востребованных библиотек, применяемых для научных расчётов. Код проекта написан на языке Python с применением оптимизаций на языке Си и распространяется под лицензией BSD... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52082
Ответить \| Правка \| Cообщить модератору

Оглавление

Скрыто модератором, сжв (?), 12:23 , 23-Дек-19, (1) +19

Скрыто модератором, Аноним (2), 12:42 , 23-Дек-19, (2) –1

Скрыто модератором, Аноним (3), 12:44 , 23-Дек-19, (3) +2
Скрыто модератором, Аноним (6), 13:20 , 23-Дек-19, (6) +2

Вот от чистого сердца огромный респект разрабам Я уже не представляю, как жил бы, corvuscor (ok), 12:56 , 23-Дек-19, (4) +5

А если писал до этого на матлабе - то бросишь это занятие, kravich (ok), 19:35 , 23-Дек-19, (14) –2

Если писал на Matlab e, то переписать на NymPy - проще простого потратив относит, Анончик9999 (?), 21:42 , 23-Дек-19, (18) +1

Но зачем, если есть Julia Не пора ли прекратить грызть кактусы , Аноним (-), 22:23 , 23-Дек-19, (20) +2

Ваша Юлия - это и есть кактус Матлаб и его клоны, включаю Юлию - это питон кури, Аноним (22), 23:07 , 23-Дек-19, (22) +1

Кроме hello world, доводилось что-нибудь писать И хоть на чём-нибудь кроме , Аноним (23), 23:12 , 23-Дек-19, (23)

Вообще рекомендую Pandas а ещё лучше - Sage С ним ты, как с гранатомёта, стреля, Анончик9999 (?), 21:45 , 23-Дек-19, (19) –1

В реальной работе с данными - 95 методов закрывает Pandas надстройка над NumPy, economist (?), 13:54 , 23-Дек-19, (7) +3

В DS у нас уже есть Julia Всякие надстройки над надстройками - это пусть школьн, Аноним (-), 16:54 , 23-Дек-19, (8) +1

Для этого есть гораздо более академичный R , Аноним (10), 17:21 , 23-Дек-19, (10) +1

Тяжеловат он для молодёжи Впрочем, если разобраться, то концепты R, таки, проще, Аноним (23), 17:34 , 23-Дек-19, (11)

ну да, LAPACK в юлии конечно быстрее будет типа как красная машина едет быстре, psv (??), 18:04 , 23-Дек-19, (12)

DS - это не только LAPACK К тому же, да, надо смотреть по бенчмаркам Даже в LA, Аноним (23), 18:22 , 23-Дек-19, (13)

Юлька хорошо, но под Python кратно больше всего готового в DS Готов поспорить на, economist (?), 09:38 , 24-Дек-19, (25)

Вашим мечтам сбыться не суждено Питон, как технология, умирает И сказки про пр, Аноним (-), 17:28 , 24-Дек-19, (28)

Анонимусы понимают за науку, не то что этот ваш Нобелевский комитет , myhand (ok), 20:30 , 24-Дек-19, (29)
Если вы про мечты о выигрыше ящика коньяка - то сбудутся А можно доказательства, Аноним (30), 21:10 , 24-Дек-19, (30) –1

Без шансовhttps www reddit com r Julia comments dyf0c6 julia_ranks_1_in_module, Аноним (-), 21:26 , 24-Дек-19, (31) –1

Работаем в производстве, сишников не держим Потому что эти сишники не знают пит, economist (?), 10:53 , 25-Дек-19, (32) –1

Мы такое 20 лет назад на чистом sql за минуту на древних машинках делали А вам ц, Я (??), 11:14 , 25-Дек-19, (33) +1
И на SQL это можно, но запрос будет выполняться в 50-100 раз дольше, должен быть, economist (?), 12:48 , 25-Дек-19, (34) –1
Посмотрите продукты типа https www metabase com , https www spagobi org Воз, Аноним (-), 14:30 , 25-Дек-19, (36)
Starts at 10,000 year Не вижу никаких преимуществ перед PowerBI или, скажем, economist (?), 15:46 , 25-Дек-19, (37) –1
Чистые питонисты никого не выгонят Они ни алгоритмику не знают, ни современное , Аноним (-), 16:05 , 25-Дек-19, (38)
Сравнивать поддержку Python и Julia как-то рано Ящик коньяка - в силе Я прис, economist (?), 16:27 , 25-Дек-19, (40)
В Вашем use case напрочь отсутствует и Science, и Data Это типовые операции на , Аноним (-), 14:07 , 25-Дек-19, (35)
Ставите диагноз по фото Я за конструктив Кейс две Pandas-таблицы, df1 4М 50, , economist (?), 16:11 , 25-Дек-19, (39)
Numpy будет быстр только на тех операциях, которые внутри него реализовны И на , Аноним (-), 16:33 , 25-Дек-19, (41)
Склейка по нечеткому 0,97 с помощью https pypi org project fuzzywuzzy - 4 мин, economist (?), 17:14 , 25-Дек-19, (42) –1

Julia рухнула в TIOBE на -11 позиций Ящик коньяка стал чуть ближе https tiob, economist (?), 14:10 , 24-Янв-20, (45)

Одно из немногих нужно, про которые написали на том сайте , Аноним (10), 17:19 , 23-Дек-19, (9)
Что же сразу и целиком не на C , Аноним (15), 20:32 , 23-Дек-19, (15)

В библиотеке всё классами реализовано , Аноним (2), 20:45 , 23-Дек-19, (16)
За что же Вы так жестоко троллите пользователей NumPy , Аноним (17), 20:50 , 23-Дек-19, (17) +2

Fortran - наше всё , Грусть (?), 22:44 , 23-Дек-19, (21)

Да, но с ним больше возни Иногда все-таки проще SciPy-NumPy, чем копаться в дре, Scriptor (ok), 13:17 , 24-Дек-19, (27) –1

Делетанский вопрос - нумпай это питоновская обертка для BLAS LAPACK Если да то , Аноним (24), 02:37 , 24-Дек-19, (24)

Нет SciPy -- это питоновская обертка довольно толковая над BLAS LAPACK и еще к, Scriptor (ok), 13:14 , 24-Дек-19, (26) –1

А понятно, те в любом случае там интрефейс к сишным либам Да я собственно почем, Аноним (24), 06:30 , 27-Дек-19, (43)

Фортран велик тем, что за десятилетия его существования решения многих мыслимых , Scriptor (ok), 12:34 , 27-Дек-19, (44)

Сообщения [Сортировка по времени | RSS]

1. Скрыто модератором +19 +/–

Сообщение от сжв (?), 23-Дек-19, 12:23

Эта библиотека оскорбляет меня, потому что я не умею ей пользоваться.

Ответить | Правка | Наверх | Cообщить модератору

2. Скрыто модератором –1 +/–

Сообщение от Аноним (2), 23-Дек-19, 12:42

А что такое матрица знаешь? Алебра тебя не оскорбляет?

Ответить | Правка | Наверх | Cообщить модератору

3. Скрыто модератором +2 +/–

Сообщение от Аноним (3), 23-Дек-19, 12:44

Кто такая Алебра и почему она должна его оскорблять?

Ответить | Правка | Наверх | Cообщить модератору

6. Скрыто модератором +2 +/–

Сообщение от Аноним (6), 23-Дек-19, 13:20

>что такое матрица знаешь?
Знаю, там Нео таблетки глотал

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

4. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +5 +/–

Сообщение от corvuscor (ok), 23-Дек-19, 12:56

Вот от чистого сердца огромный респект разрабам!
Я уже не представляю, как жил бы без этой либы.
Один раз попробуешь - и уже не захочешь без него писать.

Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –2 +/–

Сообщение от kravich (ok), 23-Дек-19, 19:35

>Один раз попробуешь - и уже не захочешь без него писать.
А если писал до этого на матлабе - то бросишь это занятие

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +1 +/–

Сообщение от Анончик9999 (?), 23-Дек-19, 21:42

Если писал на Matlab'e, то переписать на NymPy - проще простого потратив относительно небольшое время, но права на код - твои, как и на Runtime - клепай свои пирожки з научным содержанием, да будет тебе счастье и вознаграждение за труд!

Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +2 +/–

Сообщение от Аноним (-), 23-Дек-19, 22:23

> то переписать на NymPy - проще простого
Но зачем, если есть Julia?..... Не пора ли прекратить грызть кактусы?....

Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +1 +/–

Сообщение от Аноним (22), 23-Дек-19, 23:07

Ваша Юлия - это и есть кактус. Матлаб и его клоны, включаю Юлию - это питон курильщика.

Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (23), 23-Дек-19, 23:12

> это питон курильщика
Кроме hello world, доводилось что-нибудь писать?.... И хоть на чём-нибудь кроме питона?

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от Анончик9999 (?), 23-Дек-19, 21:45

Вообще рекомендую Pandas а ещё лучше - Sage. С ним ты, как с гранатомёта, стреляешь по мат-фез. сложностями.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

7. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +3 +/–

Сообщение от economist (?), 23-Дек-19, 13:54

В реальной работе с данными - 95% методов закрывает Pandas (надстройка над NumPy). Но 5% все-таки остается. Хорошо что продукт который уже стал повсеместным в DS - развивается.

Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +1 +/–

Сообщение от Аноним (-), 23-Дек-19, 16:54

В DS у нас уже есть Julia. Всякие надстройки над надстройками - это пусть школьники тренируются.

Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +1 +/–

Сообщение от Аноним (10), 23-Дек-19, 17:21

Для этого есть гораздо более академичный R.

Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (23), 23-Дек-19, 17:34

Тяжеловат он для молодёжи. Впрочем, если разобраться, то концепты R, таки, проще, чем то, что намешано в питоне. Ну и, производительность по современным меркам низкая.

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от psv (??), 23-Дек-19, 18:04

ну да, LAPACK в юлии конечно быстрее будет (типа как "красная машина едет быстрее")

Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (23), 23-Дек-19, 18:22

DS - это не только LAPACK. К тому же, да, надо смотреть по бенчмаркам. Даже в LAPACK разница в скорости есть.

Ответить | Правка | Наверх | Cообщить модератору

25. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от economist (?), 24-Дек-19, 09:38

Юлька хорошо, но под Python кратно больше всего готового в DS.
Готов поспорить на ящик коньяка что Julia за 5 лет не догонит Python (и в DS, и вообще). На питоне пишется проще. А если не выключать голову - то и работает так же быстро. Вещей, подобных Anaconda - под Julia не появится, скорее всего, никогда.

Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (-), 24-Дек-19, 17:28

Вашим мечтам сбыться не суждено. Питон, как технология, умирает. И сказки про производительность рассказывать не надо. Нигде его в прод не ставят. В том же, что касается science, если речь идёт о реальной науке и разработке новых методов, то питону там точно не место. Питону место там, где нужно что-то больше, чем калькулятор или Excel, но пользователь ничего больше не знает. В остальных местах питон - просто нашлёпка, реально тормозящая как сам процесс разработки, так и разработанную систему.

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от myhand (ok), 24-Дек-19, 20:30

> если речь идёт о реальной науке и разработке новых методов, то питону там точно не место
Анонимусы понимают за науку, не то что этот ваш Нобелевский комитет.

Ответить | Правка | Наверх | Cообщить модератору

30. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от Аноним (30), 24-Дек-19, 21:10

Если вы про мечты о выигрыше ящика коньяка - то сбудутся.
А можно доказательства хоть какого-то признака умирания Python как технологии? Только за науку, новые методы и прод - пожалуйста, не надо. Я сам прод, и вижу что в (вузовской) науке. Там еще не Julia, и давно уже не Matlab/R. Подрастет Юлька до уровня Питона по библам и комьюнити - перейдем на нее. Всего-то делов.
Про "торможение процесса разработки" - это неправда. Даже лютые противники Питона - признают высокую скорость разработки под ним.
А про скорость работы ванильного Питона я в курсе, она равна 0,1-0,15 от сишной, но в сабже она нормальная. Кроме того, сейчас никто не запрещает pypy/Cython. Но вот в чем загвоздка:
- каждый 1-й кодер (я тож) страдает преждевременной оптимизацией и нытьем что питон/джава... медленный, а ассемблер быстрый, поэтому он будет писать на чем-то третьем;
- мне как работодателю едва ли не проще докупить памяти на сервак или заменить камень на нем, чем ждать пока кодер не-на-питоне на чем то своем что-то напишет. Да и дешевле upgrade+питонер чем любой другой кодер со старым железом;
- все байки про "правильность" улетучиваются, когда усадишь команду 3-5 чел в JupyterHub и с мультикурсорами на Python накидываешь прототип DS-приложения за один вечер. И со мной это было так же - усадили и я уверовал.

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

31. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от Аноним (-), 24-Дек-19, 21:26

> Если вы про мечты о выигрыше ящика коньяка - то сбудутся.
Без шансов
> А можно доказательства хоть какого-то признака умирания Python как технологии? Только за науку, новые методы и прод - пожалуйста, не надо. Я сам прод, и вижу что в (вузовской) науке. Там еще не Julia, и давно уже не Matlab/R. Подрастет Юлька до уровня Питона по библам и комьюнити - перейдем на нее. Всего-то делов.
https://www.reddit.com/r/Julia/comments/dyf0c6/julia_ranks_1.../
(так просто, из свежего)
> А про скорость работы ванильного Питона я в курсе, она равна 0,1-0,15 от сишной, но в сабже она нормальная. Кроме того, сейчас никто не запрещает pypy/Cython.
Ещё можно Numba добавить, но делу не поможет. Фрагментация, головная боль при сборке и пр.
> мне как работодателю едва ли не проще докупить памяти на сервак или заменить камень на нем, чем ждать пока кодер не-на-питоне на чем то своем что-то напишет. Да и дешевле upgrade+питонер чем любой другой кодер со старым железом;
Исследователи не бывают дешевыми. Если речь про дата-инженер-макак, то ок. Но только пока речь идёт о типовых операциях по методичке. И да, они и за еду будут работать. Но только дальше методички выйти не могут.
> все байки про "правильность" улетучиваются, когда усадишь команду 3-5 чел в JupyterHub и с мультикурсорами на Python накидываешь прототип DS-приложения за один вечер. И со мной это было так же - усадили и я уверовал.
Ну не бывает в DS цикла разработки за вечер. Разработка нового алгоритма - от 3 до 6 месяцев. За вечер можно только по шаблону что-то сделать. К науке это никакого отношения не имеет. Впрочем, и на Julia можно за вечер по шаблону что угодно набросать. В том же Jupiter. А на следующий день собрать бинарник и закинуть в прод.
> - каждый 1-й кодер (я тож) страдает преждевременной оптимизацией и нытьем что питон/джава... медленный, а ассемблер быстрый, поэтому он будет писать на чем-то третьем;
Если вы в mail.ru/yandex работаете, то ок. Собрать весь код на питоне и сдать сишникам на полное переписывание. Хороший подход. Денег много. Можно и так работать...

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от economist (?), 25-Дек-19, 10:53

Работаем в производстве, сишников не держим. Потому что эти сишники не знают питона, потребуют ТЗ, будут возиться месяц и добьются работы скрипта ну максимум "в ~2 раза быстрее". А мне не надо быстрее, мне нужно сразу, вот прямо сейчас. Весь DS в производстве, аудите, бухучете - это анализ в реальном времени. Если кто-то это еще не осознал, показываю кейс из жизни:
Ответ по ЛЮБОЙ разумный вопрос по хоздеятельности - должен появляться за 60 секунд. Скажем, вопрос звучит так: "Показать список 10 самых сильно подорожавших материалов, индекс удорожания, ИНН и имя поставщика и уровень кредиторки по ним до/после - за всё время работы тов. Петрова начальником отдела снабжения". Тут три вопроса в одном.
Я укладываюсь в эти 3 минуты, используя Python+Pandas+NumPy+JupyterLab, сидя рядом с тов. Петровым бок о бок прямо на планерке, со своим же ноутбуком и RDP-сеансом по wifi к своему десктопу.
После минутного рассматривания таблички и графика - тов. Петрова увольняют, он пишет заявление по собственному, поскольку сам видел что его поставки подорожали на +88% за полгода, а по остальным снабженцам +16%. И никаких "надо посчитать, запросить, проверить" - всё сразу!
Любой другой стек технологий не даст и близко такой скорости, и никакой С/Go/Julia тут не нужен. Запрос по 4 млн строк проводок за 20 лет выполняется за 1 секунду в Python/Pandas. Для человека это такой же миг, как и 0,1 сек.

Ответить | Правка | Наверх | Cообщить модератору

33. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +1 +/–

Сообщение от Я (??), 25-Дек-19, 11:14

Мы такое 20 лет назад на чистом sql за минуту на древних машинках делали.
А вам целый зоопарк нужен да, небось, еще и железо из верхнего ценового диапазона...

Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от economist (?), 25-Дек-19, 12:48

И на SQL это можно, но запрос будет выполняться в 50-100 раз дольше, должен быть толстый коннект к БД (а его в проде не выбьешь), а сам запрос должен выполнятся на сервере. Вот примерная метрика одинакового запроса 500/5000к х 50 полей:
0,1 сек Pandas (RAM)
0,5 сек на SQLite IN-MEMORY (RAM)
2 сек на локальной SQLite (file)
5 сек на "сетевой" SQLite (share file)
8 сек прямой доступ к PostgreSQL
10 сек на сетевой PostgreSQL (1C)
За 1 сек Pandas выдает таблицу со стилями, график по двум осям Y c усреднением по D/W/M/Q. Никакой SQL тут не поможет, а графики в Excel будут рисовать полчаса.
Из требований - только RAM. 8ГБ хватает на всё. Я вот на праздниках соберу на китайматери двухпроцовый сервак с ECC REG на 256 Гб (50 ГБ/сек на 1,8 ГГц), введу в домен и забуду эту 1С, Эксели и "далбички" как страшный сон. Ни разу не пожалел что перестал запросить в SQL в пользу Pandas.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (-), 25-Дек-19, 14:30

> За 1 сек Pandas выдает таблицу со стилями, график по двум осям Y c усреднением по D/W/M/Q. Никакой SQL тут не поможет, а графики в Excel будут рисовать полчаса.
Посмотрите продукты типа https://www.metabase.com/ , https://www.spagobi.org/
Возможно, питонистов после этого просто поувольняете за ненадобностью.

Ответить | Правка | К родителю #34 | Наверх | Cообщить модератору

37. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от economist (?), 25-Дек-19, 15:46

Starts at $10,000 /year... Не вижу никаких преимуществ перед PowerBI или, скажем, Dash (Flask+Plotly+Numpy)
Знаете сколько я перевидал тех, кто говорил что программа заменит человека? Есть хорошая аналогия из истории: с приходом компьютеров в 1990-2000 прогнозировали снижение потребление бумаги во всем мире. На деле оно выросло в 5 раз.
Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

38. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (-), 25-Дек-19, 16:05

> Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов.
Чистые питонисты никого не выгонят. Они ни алгоритмику не знают, ни современное железо. И как программисты в целом - довольно убоги. Проблема в том, что сейчас растёт молодёжь, которая реально верует в питон. И опять же, не путайте конкретные прикладные задачки с научной деятельностью. Чем хороша Julia - она синтаксически простая, но гибкая. Но при этом на ней можно писать программы, а не только связывать готовые куски, как на питоне. Сейчас реально непонятно, зачем использовать питон, хотя в обработке данных прекрасно ложится Julia, причём с теми же инструементами, на которых питонисты пальцы гнут. Включая кучу библиотек визуализации, как своих, так и переиспользованных с питона.
Также не забывайте, что у питона как у движка, уже нет поддержки. И сообщество разработчиков CPython разваливается. Numba работает, но частично. Nim - несовместим. Вы ни к кому не пойдёте, если что-то не работает. В случае Julia - можете дать денег Julia Computing. Они поправят что угодно от конкретных библиотек до компилятора. Лишь бы были деньги.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

40. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от economist (?), 25-Дек-19, 16:27

Сравнивать "поддержку" Python и Julia как-то рано. Ящик коньяка - в силе.
Я присматриваюсь к Julia, но пока кроме питонхейта - ничего от её комьюнити не вижу. Негоже с этого начинать "расчистку территории". И вам не советую в подобном участвовать - навредите любимому ЯП.
Питон - да, не идеален, но хорош. В DS он "по залету", но лишь потому, что не-программисты (тысячи их - предметники, экономисты всякие, маркетологи, лаб. крысы) - устали ждать "правильных программистов", пока те напишут по ТЗ в кошерном ЯП. Они стали кодить сами. И Питон дал им самый простой старт и курву. 3/4 кода для всего - готово и лежит на pypi. 1/4 - это SO. Да, это клей, и он уже намазан на обе поверхности. Остается прижать.

Чистых питонистов, слава богу, нет. Алгоритмику преподают на Python же, и про "современное железо" - толсто.

Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

35. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (-), 25-Дек-19, 14:07

> Работаем в производстве, сишников не держим. Потому что эти сишники не знают
> питона, потребуют ТЗ, будут возиться месяц и добьются работы скрипта ну
> максимум "в ~2 раза быстрее". А мне не надо быстрее, мне
> нужно сразу, вот прямо сейчас. Весь DS в производстве, аудите, бухучете
> - это анализ в реальном времени. Если кто-то это еще не
> осознал, показываю кейс из жизни:
В Вашем use case напрочь отсутствует и Science, и Data. Это типовые операции на ограниченном объеме и не более того. Их и на Excel с подключенным внешним источником, наверняка, можно вообще без программирования сделать. Если же потребуется какой-нибудь нечёткий поиск и связывание строк на объемах в более, чем в 10^6, никакой питон не поможет. Будете либо на Julia переходить, либо сишников нанимать.

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

39. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от economist (?), 25-Дек-19, 16:11

Ставите диагноз по фото? Я за конструктив.
Кейс: две Pandas-таблицы, df1 4М*50, df2 1,6М*20. В одной - есть ИНН контрагентов, в другой есть ИНН и юрадреса, которые нам и нужны. Нужен LEFT OUTER JOIN по терминологии SQL (или =ВПР() без #Н/Д по Excel-ному). Вот как это в Pandas
df_merged = pd.merge(df1, df2, how='left', on='инн') # wall 1.2 s
Excel мало того что заткнется на 50k+ строк с ВПР (да-да, даже если это самый устойчивый формат XLSB и чтение было из TXT через простейший и быстрейший ISAM с schema.ini). Так еще и сделать вы в нем больше не сможете ничего.
Можно, конечно, прочесть силами VBA через ADO и RecordSet. Но позвольте - 1 секунда и 1 строчка кода, который можно скопипастить из тысячи мест - против кодинга на 30-50 строк и 2 часа работы?
А как вы график нарисуете по миллиону строк в Excel? А работа со временными рядами? PowerPivot - да, можно: еще один ЯП "M", еще один vendorlock, еще и -15 тыс. руб. за Excel.
Про нечеткий поиск и "большой" Excel у меня много кейсов (в нем я с 1995 г.), так что если интересно - продолжим.
Но на всякий напомню - Numpy написан на С и потому быстр. Pandas - обертка над numpy и скорости его не замедляет. Julia не быстрее С и сам С не быстрее С. Скорость всего - итак мгновенная. Ускорять - нечего.

Ответить | Правка | Наверх | Cообщить модератору

41. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (-), 25-Дек-19, 16:33

> Но на всякий напомню - Numpy написан на С и потому быстр. Pandas - обертка над numpy и скорости его не замедляет. Julia не быстрее С и сам С не быстрее С. Скорость всего - итак мгновенная. Ускорять - нечего.
Numpy будет быстр только на тех операциях, которые внутри него реализовны. И на них нет разницы, питон это или другой вариант обёртки. Возвращаясь к нечёткому поиску, сделайте склейку, например, по критерию Jaro-Winkler > 0.98, чтобы убрать опечатки. На указанных объемах, на питоне, можете его на год оставить работать... Так и о чём спорить? Код написанный на Julia - это гомогенный код, который полностью написан на Julia. А вот в numpy - любая пользовательская функция сравнения поставит его на колени.
> А как вы график нарисуете по миллиону строк в Excel? А работа со временными рядами? PowerPivot - да, можно: еще один ЯП "M", еще один vendorlock, еще и -15 тыс. руб. за Excel.
Ok. См. BI-продукты, коих море, включая opensource. Это к вопросу, как обойтись вообще без программирования.

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

42. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от economist (?), 25-Дек-19, 17:14

Склейка по нечеткому 0,97 с помощью https://pypi.org/project/fuzzywuzzy/ - 4 минуты на 1 млн строк склеено, всего 4 млн.
Насчет польз. функций, полагаю это про df.col.apply(lambda x: ... - оказались вполне шустрыми. Если нет - выносите в Cython, всего-то делов.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

45. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от economist (?), 24-Янв-20, 14:10

Julia рухнула в TIOBE на -11 позиций. Ящик коньяка стал чуть ближе:
https://tiobe.com/tiobe-index/

Ответить | Правка | К родителю #28 | Наверх | Cообщить модератору

9. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (10), 23-Дек-19, 17:19

Одно из немногих нужно, про которые написали на том сайте.

Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (15), 23-Дек-19, 20:32

> а языке Python с применением оптимизаций на языке Си
Что же сразу и целиком не на C?

Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (2), 23-Дек-19, 20:45

В библиотеке всё классами реализовано.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +2 +/–

Сообщение от Аноним (17), 23-Дек-19, 20:50

За что же Вы так жестоко троллите пользователей NumPy?

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

21. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Грусть (?), 23-Дек-19, 22:44

Fortran - наше всё.

Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от Scriptor (ok), 24-Дек-19, 13:17

Да, но с ним больше возни. Иногда все-таки проще SciPy-NumPy, чем копаться в древних интерфейсах какого-нибудь LAPACK из времен, когда Fortran не умел не то, что в allocate(), а даже в рекурсию.

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (24), 24-Дек-19, 02:37

Делетанский вопрос - нумпай это питоновская обертка для BLAS/LAPACK ?
Если да то мой второй вопрос не имеет смысла, если нет - сколько гигафлопов в пересчете на ядро на гигагерц ?

Ответить | Правка | Наверх | Cообщить модератору

26. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" –1 +/–

Сообщение от Scriptor (ok), 24-Дек-19, 13:14

Нет.
SciPy -- это питоновская обертка (довольно толковая) над BLAS/LAPACK и еще кучей либ, включая FFT, алгоритмы оптимизации и т.д. NumPy -- это ее движок (определяющий структуры данных и операции, позволяющие с этим всем работать эффективно, а не как через обычные массивы Python) -- если совсем безобразно упрощать, то питоновская обертка к реализации нормальных числовых массивов на C/Fortran .

Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Аноним (24), 27-Дек-19, 06:30

А понятно, те в любом случае там интрефейс к сишным либам. Да я собственно почему спрашивал - на лиспе пишу, стараюсь все писать на нем, не обращаясь к С или Фотран. Надо сказать скорострельность очень даже и ничего получается.

Ответить | Правка | Наверх | Cообщить модератору

44. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18" +/–

Сообщение от Scriptor (ok), 27-Дек-19, 12:34

> А понятно, те в любом случае там интрефейс к сишным либам. Да
> я собственно почему спрашивал - на лиспе пишу, стараюсь все писать
> на нем, не обращаясь к С или Фотран. Надо сказать скорострельность
> очень даже и ничего получается.
Фортран велик тем, что за десятилетия его существования решения многих мыслимых математических задач уже написаны на нем и отшлифованы. Переписывать, например, LAPACK на Python -- можно, но это куча времени и усилий, сначала на реализацию, а потом гораздо больше на полировку. Собственно, авторы PyPy таки начинали реализовывать NumPy на чистом Python -- когда уткнулись в то, что обертка к C "infamously slow", но в итоге таки, похоже, забили.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Скрыто модератором	+19 +/–
Сообщение от сжв (?), 23-Дек-19, 12:23
Эта библиотека оскорбляет меня, потому что я не умею ей пользоваться.
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. Скрыто модератором	–1 +/–
	Сообщение от Аноним (2), 23-Дек-19, 12:42
	А что такое матрица знаешь? Алебра тебя не оскорбляет?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	3. Скрыто модератором	+2 +/–
	Сообщение от Аноним (3), 23-Дек-19, 12:44
	Кто такая Алебра и почему она должна его оскорблять?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. Скрыто модератором	+2 +/–
	Сообщение от Аноним (6), 23-Дек-19, 13:20
	>что такое матрица знаешь? Знаю, там Нео таблетки глотал
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору

4. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+5 +/–
Сообщение от corvuscor (ok), 23-Дек-19, 12:56
Вот от чистого сердца огромный респект разрабам! Я уже не представляю, как жил бы без этой либы. Один раз попробуешь - и уже не захочешь без него писать.
Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–2 +/–
	Сообщение от kravich (ok), 23-Дек-19, 19:35
	>Один раз попробуешь - и уже не захочешь без него писать. А если писал до этого на матлабе - то бросишь это занятие
	Ответить \| Правка \| Наверх \| Cообщить модератору


	18. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+1 +/–
	Сообщение от Анончик9999 (?), 23-Дек-19, 21:42
	Если писал на Matlab'e, то переписать на NymPy - проще простого потратив относительно небольшое время, но права на код - твои, как и на Runtime - клепай свои пирожки з научным содержанием, да будет тебе счастье и вознаграждение за труд!
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+2 +/–
	Сообщение от Аноним (-), 23-Дек-19, 22:23
	> то переписать на NymPy - проще простого Но зачем, если есть Julia?..... Не пора ли прекратить грызть кактусы?....
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+1 +/–
	Сообщение от Аноним (22), 23-Дек-19, 23:07
	Ваша Юлия - это и есть кактус. Матлаб и его клоны, включаю Юлию - это питон курильщика.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (23), 23-Дек-19, 23:12
	> это питон курильщика Кроме hello world, доводилось что-нибудь писать?.... И хоть на чём-нибудь кроме питона?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от Анончик9999 (?), 23-Дек-19, 21:45
	Вообще рекомендую Pandas а ещё лучше - Sage. С ним ты, как с гранатомёта, стреляешь по мат-фез. сложностями.
	Ответить \| Правка \| К родителю #14 \| Наверх \| Cообщить модератору

7. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+3 +/–
Сообщение от economist (?), 23-Дек-19, 13:54
В реальной работе с данными - 95% методов закрывает Pandas (надстройка над NumPy). Но 5% все-таки остается. Хорошо что продукт который уже стал повсеместным в DS - развивается.
Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+1 +/–
	Сообщение от Аноним (-), 23-Дек-19, 16:54
	В DS у нас уже есть Julia. Всякие надстройки над надстройками - это пусть школьники тренируются.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+1 +/–
	Сообщение от Аноним (10), 23-Дек-19, 17:21
	Для этого есть гораздо более академичный R.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	11. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (23), 23-Дек-19, 17:34
	Тяжеловат он для молодёжи. Впрочем, если разобраться, то концепты R, таки, проще, чем то, что намешано в питоне. Ну и, производительность по современным меркам низкая.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	12. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от psv (??), 23-Дек-19, 18:04
	ну да, LAPACK в юлии конечно быстрее будет (типа как "красная машина едет быстрее")
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (23), 23-Дек-19, 18:22
	DS - это не только LAPACK. К тому же, да, надо смотреть по бенчмаркам. Даже в LAPACK разница в скорости есть.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от economist (?), 24-Дек-19, 09:38
	Юлька хорошо, но под Python кратно больше всего готового в DS. Готов поспорить на ящик коньяка что Julia за 5 лет не догонит Python (и в DS, и вообще). На питоне пишется проще. А если не выключать голову - то и работает так же быстро. Вещей, подобных Anaconda - под Julia не появится, скорее всего, никогда.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (-), 24-Дек-19, 17:28
	Вашим мечтам сбыться не суждено. Питон, как технология, умирает. И сказки про производительность рассказывать не надо. Нигде его в прод не ставят. В том же, что касается science, если речь идёт о реальной науке и разработке новых методов, то питону там точно не место. Питону место там, где нужно что-то больше, чем калькулятор или Excel, но пользователь ничего больше не знает. В остальных местах питон - просто нашлёпка, реально тормозящая как сам процесс разработки, так и разработанную систему.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	29. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от myhand (ok), 24-Дек-19, 20:30
	> если речь идёт о реальной науке и разработке новых методов, то питону там точно не место Анонимусы понимают за науку, не то что этот ваш Нобелевский комитет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от Аноним (30), 24-Дек-19, 21:10
	Если вы про мечты о выигрыше ящика коньяка - то сбудутся. А можно доказательства хоть какого-то признака умирания Python как технологии? Только за науку, новые методы и прод - пожалуйста, не надо. Я сам прод, и вижу что в (вузовской) науке. Там еще не Julia, и давно уже не Matlab/R. Подрастет Юлька до уровня Питона по библам и комьюнити - перейдем на нее. Всего-то делов. Про "торможение процесса разработки" - это неправда. Даже лютые противники Питона - признают высокую скорость разработки под ним. А про скорость работы ванильного Питона я в курсе, она равна 0,1-0,15 от сишной, но в сабже она нормальная. Кроме того, сейчас никто не запрещает pypy/Cython. Но вот в чем загвоздка: - каждый 1-й кодер (я тож) страдает преждевременной оптимизацией и нытьем что питон/джава... медленный, а ассемблер быстрый, поэтому он будет писать на чем-то третьем; - мне как работодателю едва ли не проще докупить памяти на сервак или заменить камень на нем, чем ждать пока кодер не-на-питоне на чем то своем что-то напишет. Да и дешевле upgrade+питонер чем любой другой кодер со старым железом; - все байки про "правильность" улетучиваются, когда усадишь команду 3-5 чел в JupyterHub и с мультикурсорами на Python накидываешь прототип DS-приложения за один вечер. И со мной это было так же - усадили и я уверовал.
	Ответить \| Правка \| К родителю #28 \| Наверх \| Cообщить модератору


	31. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от Аноним (-), 24-Дек-19, 21:26
	> Если вы про мечты о выигрыше ящика коньяка - то сбудутся. Без шансов > А можно доказательства хоть какого-то признака умирания Python как технологии? Только за науку, новые методы и прод - пожалуйста, не надо. Я сам прод, и вижу что в (вузовской) науке. Там еще не Julia, и давно уже не Matlab/R. Подрастет Юлька до уровня Питона по библам и комьюнити - перейдем на нее. Всего-то делов. https://www.reddit.com/r/Julia/comments/dyf0c6/julia_ranks_1.../ (так просто, из свежего) > А про скорость работы ванильного Питона я в курсе, она равна 0,1-0,15 от сишной, но в сабже она нормальная. Кроме того, сейчас никто не запрещает pypy/Cython. Ещё можно Numba добавить, но делу не поможет. Фрагментация, головная боль при сборке и пр. > мне как работодателю едва ли не проще докупить памяти на сервак или заменить камень на нем, чем ждать пока кодер не-на-питоне на чем то своем что-то напишет. Да и дешевле upgrade+питонер чем любой другой кодер со старым железом; Исследователи не бывают дешевыми. Если речь про дата-инженер-макак, то ок. Но только пока речь идёт о типовых операциях по методичке. И да, они и за еду будут работать. Но только дальше методички выйти не могут. > все байки про "правильность" улетучиваются, когда усадишь команду 3-5 чел в JupyterHub и с мультикурсорами на Python накидываешь прототип DS-приложения за один вечер. И со мной это было так же - усадили и я уверовал. Ну не бывает в DS цикла разработки за вечер. Разработка нового алгоритма - от 3 до 6 месяцев. За вечер можно только по шаблону что-то сделать. К науке это никакого отношения не имеет. Впрочем, и на Julia можно за вечер по шаблону что угодно набросать. В том же Jupiter. А на следующий день собрать бинарник и закинуть в прод. > - каждый 1-й кодер (я тож) страдает преждевременной оптимизацией и нытьем что питон/джава... медленный, а ассемблер быстрый, поэтому он будет писать на чем-то третьем; Если вы в mail.ru/yandex работаете, то ок. Собрать весь код на питоне и сдать сишникам на полное переписывание. Хороший подход. Денег много. Можно и так работать...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от economist (?), 25-Дек-19, 10:53
	Работаем в производстве, сишников не держим. Потому что эти сишники не знают питона, потребуют ТЗ, будут возиться месяц и добьются работы скрипта ну максимум "в ~2 раза быстрее". А мне не надо быстрее, мне нужно сразу, вот прямо сейчас. Весь DS в производстве, аудите, бухучете - это анализ в реальном времени. Если кто-то это еще не осознал, показываю кейс из жизни: Ответ по ЛЮБОЙ разумный вопрос по хоздеятельности - должен появляться за 60 секунд. Скажем, вопрос звучит так: "Показать список 10 самых сильно подорожавших материалов, индекс удорожания, ИНН и имя поставщика и уровень кредиторки по ним до/после - за всё время работы тов. Петрова начальником отдела снабжения". Тут три вопроса в одном. Я укладываюсь в эти 3 минуты, используя Python+Pandas+NumPy+JupyterLab, сидя рядом с тов. Петровым бок о бок прямо на планерке, со своим же ноутбуком и RDP-сеансом по wifi к своему десктопу. После минутного рассматривания таблички и графика - тов. Петрова увольняют, он пишет заявление по собственному, поскольку сам видел что его поставки подорожали на +88% за полгода, а по остальным снабженцам +16%. И никаких "надо посчитать, запросить, проверить" - всё сразу! Любой другой стек технологий не даст и близко такой скорости, и никакой С/Go/Julia тут не нужен. Запрос по 4 млн строк проводок за 20 лет выполняется за 1 секунду в Python/Pandas. Для человека это такой же миг, как и 0,1 сек.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+1 +/–
	Сообщение от Я (??), 25-Дек-19, 11:14
	Мы такое 20 лет назад на чистом sql за минуту на древних машинках делали. А вам целый зоопарк нужен да, небось, еще и железо из верхнего ценового диапазона...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от economist (?), 25-Дек-19, 12:48
	И на SQL это можно, но запрос будет выполняться в 50-100 раз дольше, должен быть толстый коннект к БД (а его в проде не выбьешь), а сам запрос должен выполнятся на сервере. Вот примерная метрика одинакового запроса 500/5000к х 50 полей: 0,1 сек Pandas (RAM) 0,5 сек на SQLite IN-MEMORY (RAM) 2 сек на локальной SQLite (file) 5 сек на "сетевой" SQLite (share file) 8 сек прямой доступ к PostgreSQL 10 сек на сетевой PostgreSQL (1C) За 1 сек Pandas выдает таблицу со стилями, график по двум осям Y c усреднением по D/W/M/Q. Никакой SQL тут не поможет, а графики в Excel будут рисовать полчаса. Из требований - только RAM. 8ГБ хватает на всё. Я вот на праздниках соберу на китайматери двухпроцовый сервак с ECC REG на 256 Гб (50 ГБ/сек на 1,8 ГГц), введу в домен и забуду эту 1С, Эксели и "далбички" как страшный сон. Ни разу не пожалел что перестал запросить в SQL в пользу Pandas.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	36. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (-), 25-Дек-19, 14:30
	> За 1 сек Pandas выдает таблицу со стилями, график по двум осям Y c усреднением по D/W/M/Q. Никакой SQL тут не поможет, а графики в Excel будут рисовать полчаса. Посмотрите продукты типа https://www.metabase.com/ , https://www.spagobi.org/ Возможно, питонистов после этого просто поувольняете за ненадобностью.
	Ответить \| Правка \| К родителю #34 \| Наверх \| Cообщить модератору


	37. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	–1 +/–
	Сообщение от economist (?), 25-Дек-19, 15:46
	Starts at $10,000 /year... Не вижу никаких преимуществ перед PowerBI или, скажем, Dash (Flask+Plotly+Numpy) Знаете сколько я перевидал тех, кто говорил что программа заменит человека? Есть хорошая аналогия из истории: с приходом компьютеров в 1990-2000 прогнозировали снижение потребление бумаги во всем мире. На деле оно выросло в 5 раз. Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов.
	Ответить \| Правка \| К родителю #36 \| Наверх \| Cообщить модератору


	38. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (-), 25-Дек-19, 16:05
	> Так вот скорее питонисты "выгонят" тунеядцев или лизингжопингующих откатмэнов. Чистые питонисты никого не выгонят. Они ни алгоритмику не знают, ни современное железо. И как программисты в целом - довольно убоги. Проблема в том, что сейчас растёт молодёжь, которая реально верует в питон. И опять же, не путайте конкретные прикладные задачки с научной деятельностью. Чем хороша Julia - она синтаксически простая, но гибкая. Но при этом на ней можно писать программы, а не только связывать готовые куски, как на питоне. Сейчас реально непонятно, зачем использовать питон, хотя в обработке данных прекрасно ложится Julia, причём с теми же инструементами, на которых питонисты пальцы гнут. Включая кучу библиотек визуализации, как своих, так и переиспользованных с питона. Также не забывайте, что у питона как у движка, уже нет поддержки. И сообщество разработчиков CPython разваливается. Numba работает, но частично. Nim - несовместим. Вы ни к кому не пойдёте, если что-то не работает. В случае Julia - можете дать денег Julia Computing. Они поправят что угодно от конкретных библиотек до компилятора. Лишь бы были деньги.
	Ответить \| Правка \| К родителю #37 \| Наверх \| Cообщить модератору


	40. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от economist (?), 25-Дек-19, 16:27
	Сравнивать "поддержку" Python и Julia как-то рано. Ящик коньяка - в силе. Я присматриваюсь к Julia, но пока кроме питонхейта - ничего от её комьюнити не вижу. Негоже с этого начинать "расчистку территории". И вам не советую в подобном участвовать - навредите любимому ЯП. Питон - да, не идеален, но хорош. В DS он "по залету", но лишь потому, что не-программисты (тысячи их - предметники, экономисты всякие, маркетологи, лаб. крысы) - устали ждать "правильных программистов", пока те напишут по ТЗ в кошерном ЯП. Они стали кодить сами. И Питон дал им самый простой старт и курву. 3/4 кода для всего - готово и лежит на pypi. 1/4 - это SO. Да, это клей, и он уже намазан на обе поверхности. Остается прижать. Чистых питонистов, слава богу, нет. Алгоритмику преподают на Python же, и про "современное железо" - толсто.
	Ответить \| Правка \| К родителю #38 \| Наверх \| Cообщить модератору


	35. "Выпуск Python-библиотеки для научных вычислений NumPy 1.18"	+/–
	Сообщение от Аноним (-), 25-Дек-19, 14:07
	> Работаем в производстве, сишников не держим. Потому что эти сишники не знают > питона, потребуют ТЗ, будут возиться месяц и добьются работы скрипта ну > максимум "в ~2 раза быстрее". А мне не надо быстрее, мне > нужно сразу, вот прямо сейчас. Весь DS в производстве, аудите, бухучете > - это анализ в реальном времени. Если кто-то это еще не > осознал, показываю кейс из жизни: В Вашем use case напрочь отсутствует и Science, и Data. Это типовые операции на ограниченном объеме и не более того. Их и на Excel с подключенным внешним источником, наверняка, можно вообще без программирования сделать. Если же потребуется какой-нибудь нечёткий поиск и связывание строк на объемах в более, чем в 10^6, никакой питон не поможет. Будете либо на Julia переходить, либо сишников нанимать.
	Ответить \| Правка \| К родителю #32 \| Наверх \| Cообщить модератору