Spark получил статус первичного проекта Apache

27.02.2014 21:20

Фонд Apache утвердил придание движку для обработки больших объёмов данных Spark статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Отныне Apache Spark признан готовым для самостоятельного существования, не требующего дополнительного надзора.

Apache Spark является высокопроизводительным движком для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat).

Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации специфичных методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python. Из компаний использующих Spark отмечаются Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.

исправить +5 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/39208-spark

Ключевые слова: spark, hadoop, cluster, database

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (23)

1.1, Аноним (-), 21:58, 27/02/2014 [ответить] [﹢﹢﹢] [ · · · ]	–5 +/–
насколько ж они там помешаны на яве

2.2, Аноним (-), 22:14, 27/02/2014 [^] [^^] [^^^] [ответить]	–1 +/–
Ну не всё же можно на Ruby написать.

3.3, бедный буратино (ok), 22:17, 27/02/2014 [^] [^^] [^^^] [ответить]	–5 +/–
на ruby можно написать всё. даже небо. даже github.

4.4, Аноним (-), 22:28, 27/02/2014 [^] [^^] [^^^] [ответить]	+13 +/–
>на ruby можно написать всё. даже небо. даже github. Даже бедного буратино и бот-генератор случайных фраз. Благо отличий-то...

5.6, бедный буратино (ok), 23:09, 27/02/2014 [^] [^^] [^^^] [ответить]	–3 +/–
нее, это вотчина python

6.8, Aceler (ok), 23:26, 27/02/2014 [^] [^^] [^^^] [ответить]	+8 +/–
Генератором случайных фраз всю жизнь был perl. Его таким родили.

5.7, asavah (ok), 23:18, 27/02/2014 [^] [^^] [^^^] [ответить]	+2 +/–
папакарло буратину кодил на vb делаем выводы )

6.11, Аноним (-), 09:09, 28/02/2014 [^] [^^] [^^^] [ответить]	+1 +/–
Потом по быстрому модернизировал, перегнав автоматическим конвертором на питон.

7.13, бедный буратино (ok), 09:34, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
> Потом по быстрому модернизировал, перегнав автоматическим конвертором на питон. не гвидохульствуй!

8.24, Аноним (-), 10:50, 05/03/2014 [^] [^^] [^^^] [ответить]	+/–
Найти 10 отличий между кодом на vb и питоне не сможет даже папа карло ... текст свёрнут, показать

6.12, бедный буратино (ok), 09:33, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
самты виндузятник! исключительно бейсик спектрумовского разлива 10 LET b="word"

7.15, Аноним (-), 10:19, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
20 PRINT b 30 GO TO 10

7.17, arisu (ok), 13:56, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
> самты виндузятник! исключительно бейсик спектрумовского разлива > 10 LET b="word" эта фигня интерпретатором не прожуётся. твоё счастье, что бидон не проверяет синтаксис перед принятием строк, как zx basic: ты бы ни одной программы написать тогда не смог.

8.20, бедный буратино (ok), 10:57, 02/03/2014 [^] [^^] [^^^] [ответить]	+/–
Да, помню, как какой-то редкий-редкий кейворд из двух букв найти не мог, перепеч... текст свёрнут, показать

8.21, бедный буратино (ok), 11:00, 02/03/2014 [^] [^^] [^^^] [ответить]	+/–
да, конечно же b или, как говорили у нас в стране социализма, b символ пуза ... текст свёрнут, показать

9.22, arisu (ok), 19:17, 02/03/2014 [^] [^^] [^^^] [ответить]	+/–
я начинал на msx, там была 171 черепаха 187 ... текст свёрнут, показать

6.16, upyx (??), 11:24, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
Заменил одну ногу на колесо... и пошло-поехало.

1.5, facha (?), 23:05, 27/02/2014 [ответить] [﹢﹢﹢] [ · · · ]	+/–
Сколько же их появилось за последнее время. Spark, Presto, Impala, Tez... Глаза разбегаются

2.14, hummermania (ok), 10:17, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
И это только в достаточно узкой нише, а что творится в широко используемом ПО.... Может эта.... как её - информационная сингулярность? Частота смены событий доходит до такой величины, что уже чуть отстал в знании технологий, языков, библиотек или проектов - бесконечно опоздал.

3.18, arisu (ok), 13:58, 28/02/2014 [^] [^^] [^^^] [ответить]	+/–
> уже чуть отстал в знании технологий, языков, библиотек > или проектов — бесконечно опоздал. это у быдлокодеров, у них вообще жизнь очень печальная.

3.23, Аноним (-), 10:34, 05/03/2014 [^] [^^] [^^^] [ответить]	+/–
Как будто по MS рассказал. В этой области они переплюнули весь остальной мир, вместе взятый.

1.9, Аноним (-), 02:04, 28/02/2014 [ответить] [﹢﹢﹢] [ · · · ]	+1 +/–
> после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache Прохожих не пугать, лежать смирно, шабаш только в полнолуние в пятницу?

1.19, Аноним (-), 22:01, 28/02/2014 [ответить] [﹢﹢﹢] [ · · · ]	–1 +/–
Ждём наездов от Oracle за использование (TM).

игнорирование участников | лог модерирования

Добавить комментарий

Текст: