Новая версия curl 7.66.0 с начальной поддержкой HTTP/3

23.09.2019 08:39

Доступна новая версия утилиты для получения и отправки данных по сети - curl 7.66.0, предоставляющей возможность гибкого формирования запроса с заданием таких параметров, как cookie, user_agent, referer и любых других заголовков. cURL поддерживает HTTP, HTTPS, HTTP/2.0, SMTP, IMAP, POP3, Telnet, FTP, LDAP, RTSP, RTMP и другие сетевые протоколы. Одновременно вышло обновление параллельно развиваемой библиотеки libcurl, предоставляющей API для задействования всех функций curl в программах на таких языках, как Си, Perl, PHP, Python.

В новом выпуске исправлено 77 ошибок и реализовно несколько новшеств:

Добавлена начальная поддержка протокола HTTP/3, которая пока не доведена до полностью работоспособного вида и по умолчанию отключена (например, пока не готов обработчик завершения соединения, не работает распараллеливание и обработка больших запросов). Для включения HTTP/3 необходима пересборка с бэкендами quiche или ngtcp2+nghttp3. Для использования предложен параметр "--http3" и опция libcurl "CURLOPT_HTTP_VERSION";
Добавлены параметры "-Z список URL" ("--parallel") и "--parallel-max", позволяющие организовать одновременную загрузку списка URL в несколько потоков;
Добавлена возможность задания другого идентификатора для авторизации в SASL, указываемого с использованием параметра "--sasl-authzid" или опции CURLOPT_SASL_AUTHZID (идентификатор аутентификации передаётся через CURLOPT_USERPWD);
Реализована обработка HTTP-заголовка Retry-After и кода возврата 429 при использовании параметра "--retry" или опции CURLINFO_RETRY_AFTER. Заголовок Retry-After определяет задержку перед отправкой последующих запросов, в случае получения кодов ответа 429 (Too Many Requests), 503 (Service Unavailable) или 301 (Moved Permanently);
Добавлена функция curl_multi_poll(), идентичная curl_multi_wait(), за исключением случаев, когда нет файловых дескрипторов для ожидания (curl_multi_wait сразу завершает работу, а curl_multi_poll вводит небольшую задержку перед выходом для исключения ситуаций возникновения паразитной нагрузки из-за цикличного вызова);
Появилась возможность запуска в окружении Plan 9;
Устранены уязвимости: CVE-2019-5481 - двойное освобождение блока памяти в FTP-KRB (kerberos over FTP); CVE-2019-5482 - переполнение буфера в обработчике TFTP.

исправить +10 +/–

Автор новости: question4

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/51540-http3

Ключевые слова: http3, curl, quic

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (77)

1.1, имя (ok), 08:43, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+/–
> Добавлены параметры "-Z список URL" ("--parallel") и "--parallel-max", позволяющие организовать одновременную загрузку списка URL в несколько потоков; Какие поводы пользоваться aria2 остались?

2.2, Аноним (-), 08:49, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Закачка torrent?

3.79, Аномномномнимус (?), 22:35, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
не только лишь торрент, но и другие p2p

2.11, Аноним_t (?), 09:38, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
Качать один большой файл в несколько потоков.

3.47, Аноним (47), 16:39, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
За это прекратили банить? Серьёзно, я это уже лет 15 не пробовал.

4.50, пох. (?), 16:51, 23/09/2019 [^] [^^] [^^^] [ответить]

+1 +/–

большинство - прекратили, поскольку количество этих идиотов упало до околонулевого, они мешают уже только себе самим.

впрочем, в некоторых других местах банют теперь за попытки получения контента в обход прекрасного модного сайта, и неважно, сколько там потоков.

4.54, Аноним (54), 16:57, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
> За это прекратили банить? Серьёзно, я это уже лет 15 не пробовал. Просто обнуляют заголовок Range, через который реализуется параллельное скачивание. Переполнение с помощью этого заголовка находили и в apache, и в nginx. И, скорее всего, ещё не раз найдут.

5.60, пох. (?), 17:53, 23/09/2019 [^] [^^] [^^^] [ответить]

+1 +/–

д-лы, мля :-(

> Переполнение с помощью этого заголовка находили и в apache, и в nginx.

я бы на их месте зобанил себе апач и нхинх - в них еще много чего находили - и, уверен, еще найдут.

очень вредные и опастные программы. пользуйтесь netcat. А запросы принимайте почтой. Бумажной, конечно, какой еще email - в нем опастносте!

6.66, Аноним (54), 18:33, 23/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
> д-лы, мля :-( Прежде чем делать такие суждения, вы бы хотя бы задачей поинтересовались. Например, в абсолютном большинстве случаев для REST API Range нафиг не упал.

4.73, Аноним (73), 21:10, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
Нет, не банят. Я так на GitLab всякие дистрибутивы качаю. Если с сорсфорджа - то можно распараллелить ещё и по зеркалам. С Qt тоже работает.

4.78, Аномномномнимус (?), 22:35, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Качать в несколько потоков с разных источников же

5.87, пох. (?), 08:01, 24/09/2019 [^] [^^] [^^^] [ответить]

+/–

"в 2k19" это имеет хоть малейший смысл?

Источники того, что можно качать с разных - обычно не на сто мегабит к сети-то подключены. Так что все упрется в твой домашний линк, проданый тебе с оверсабскрайбом раз этак в 200.

Хотя насчет сорсфоржа и не уверен, может они там инфраструктуру и не обновляли двадцать лет. С другой стороны, а и что с них качать такого большого? Старинные исходники обычно невелики.

6.97, Аноним (97), 07:47, 25/09/2019 [^] [^^] [^^^] [ответить]	+/–
Образы дистрибутивов, например. Или очередную версию LibreOffice. Особенно, если есть metalink. Там и зеркала, и параллельность, и проверка хэша после загрузки.

1.3, Аноним (3), 08:55, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+4 +/–
Ну все, пора уже делать HTTP/2 deprecated. Оставлять только HTTP/1.1 и HTTP/3

2.5, nobody (??), 09:13, 23/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
Так и будет. Гугель сам понял, что получилась хня, а кроме него эта оверинжиниранная хрень вряд ли кому надо

3.12, Аноним (12), 09:47, 23/09/2019 [^] [^^] [^^^] [ответить]	+7 +/–
А http3 - не хня что ли?

4.21, DerRoteBaron (ok), 11:48, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
Нет конечно. Там же еще в 2 раза больше оверинжиниринга благодаря божественному QUIC. А новый комбайн отменяет старый, я ведь так говорю?

5.25, Аноним (54), 12:32, 23/09/2019 [^] [^^] [^^^] [ответить]	+7 +/–
Наверное, пещерному человеку с каменным топором вся современная цивилизация показалась бы одним сплошным и ненужным оверинжинирингом.

6.26, Аноним (26), 12:49, 23/09/2019 [^] [^^] [^^^] [ответить]	+5 +/–
> Наверное, пещерному человеку с каменным топором вся современная цивилизация показалась > бы одним сплошным и ненужным оверинжинирингом. с вашими сравнениями можно и до одноклеточных дойти;)

7.30, Аноним (54), 13:21, 23/09/2019 [^] [^^] [^^^] [ответить]	+5 +/–
Одноклеточным ничего не кажется, они не настолько оверинжинирены)

8.77, DerRoteBaron (ok), 21:42, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Они не только оверинжинирены, они еще и монолитный комбайн... текст свёрнут, показать

9.85, Аноним (85), 07:24, 24/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Стара песня от коженного мешка с раковыми клетками... текст свёрнут, показать

2.33, Аноним (33), 13:45, 23/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
Зачем мелочиться?

3.43, Аноним (54), 16:17, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Да, непонятно, зачем нужна поддержка HTTP/1.1)

3.53, пох. (?), 16:56, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
кастрюлькоголовых-то неонационалистов, я смотрю, вообще ничего не пугает - спешат обмазаться всем новеньким, невзирая на запах, когда бы тут успевать посмотреть, чем это "новенькое" замечательно и так ли уж - чего там, давай, намазывай гуще, пока тепленькое!

1.4, Аноним (4), 09:00, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+8 +/–
> Появилась возможность запуска в окружении Plan 9 Ну наконец то!

1.6, Аноним (6), 09:22, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+1 +/–
Когда nginx научится http/3 делать? Есть подозрения, правда, что не скоре, http/2 тоже не сразу появился там, а без веб-сервера какая разница, что умеют клиенты?

2.7, Ilya Indigo (ok), 09:27, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
https://www.opennet.ru/openforum/vsluhforumID3/118512.html#64 > HTTP/3 запланирован в 1.17.x и точно появится в течение ближайшего года, может быть даже быстрее, полгода. А вот в апаче это может вообще не появится, как и 0-RTT.

3.16, a3k (?), 10:59, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Значит в апаче будет через нжинкс. =)

4.17, Ilya Indigo (ok), 11:04, 23/09/2019 [^] [^^] [^^^] [ответить]	+4 +/–
> Значит в апаче будет через нжинкс. =) Только зачем тогда апач вообще будет нужен?

4.18, пох. (?), 11:32, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
или те, кто знают, зачем им апач - прекрасненько обойдутся без обоих ненужно

5.23, Аноним (54), 12:11, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Зачем нужен апач в 2к19 — ни для кого не секрет. Legacy типа шаредов, завязанные на .htaccess.

6.63, пох. (?), 18:02, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
для этого как раз - особо уже не нужен. .htaccess имеет смысл когда ему разрешено что-то менять в поведении сервера. А для shared это гарантированно ведет к катастрофе. Начиная прямо с банального rewrite.

7.64, Аноним (54), 18:30, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Лет 15 назад видел шареды, дающие клиентам менять htaccess. Valuehost, Majordomo навскидку. Естественно, с ограниченным AllowOverride. И ничего, жили как-то.

8.89, пох. (?), 08:17, 24/09/2019 [^] [^^] [^^^] [ответить]	+/–
ну а сейчас поживут вообще без htaccess ов впрочем, какое там сейчас - те тв... большой текст свёрнут, показать

4.76, suffix (ok), 21:13, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Завтра 1.17.4 выходит но пока без http/3 (просто исправление бага в http/2 редкого) :(

3.20, Аноним (20), 11:45, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
И будет очень правильно. Место QUIC - на фронтендах.

4.31, Аноним (31), 13:27, 23/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
Чё ты несёшь?

5.32, Аноним (54), 13:41, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Он не несёт, он капитанит.

3.22, Аноним (54), 12:10, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
> А вот в апаче это может вообще не появится, как и 0-RTT. А сейчас им кто-то пользуется, кроме shared-хостингов, оставшихся с 90-х годов?

4.86, suffix (ok), 07:31, 24/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
Отдельно стоящим мало кто, а вот в связке с nginx сотни тысяч. (Связка nginx + Apache уступает nginx php-fpm только тем что больше памяти потребляет, но если в сервере памяти хоть попой ешь то связка nginx + apache очень даже осмыслена - быстродействие не хуже и есть свои плюсы).

5.98, Аноним (54), 12:55, 25/09/2019 [^] [^^] [^^^] [ответить]	+/–
> быстродействие не хуже Ссылки на бенчмарк?

2.9, Аноним (9), 09:36, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Анонс был, в ближайшие год-два

2.24, Аноним (54), 12:15, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
> Когда nginx научится http/3 делать? Есть подозрения, правда, что не скоре, http/2 тоже не сразу появился там, а без веб-сервера какая разница, что умеют клиенты? HAProxy и Traefik до сих нормально в HTTP/2 не научились. https://github.com/haproxy/haproxy/issues/172 https://github.com/haproxy/haproxy/issues/139 https://github.com/containous/traefik/issues/906

3.37, Аноним (47), 14:57, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
А насколько это нужно, если они умеют проксить TCP и UDP?

4.39, Аноним (54), 16:03, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Тот же gRPC (наверное, основной юзкейс для HTTP/2) проксировать как TCP — крайне паршивая идея, ведущая к разбалансу нагрузки на бэк, особенно если клиентов немного. Я пробовал это делать через IPVS (фактически легковесный аналог L4 proxy) и через Envoy (полноценный L7 прокси, который агрегирует запросы из всех потоков и всех соединений, и раскидывает их по бэкам в соответствии с правилами привязки). IPVS ожидаемо слился. HAProxy и Traefik по вышеописанным причинам до теста не дошли, а nginx нужные нам правила привязки умеет только в платной версии, которая нифига не три копейки стоит.

2.36, Аноним (36), 14:17, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Можно попробовать мозилловский neqo — там клиент и сервер. На расте :)

3.44, Аноним (54), 16:21, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Пока они firefox полностью на расте не переписали — отношусь к нему с недоверием. Если сапожник не носит изготовленные им сапоги — это намекает.

4.75, Аноним (73), 21:13, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Firefox не будет полностью на расте никогда. Firefox выкинут.

4.80, Аномномномнимус (?), 22:39, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Откровенно говоря это боль. Особенно их geckodriver - редкая глючная помойка которая то сама закрэшит, то браузер потеряет

4.82, Аноним (82), 03:18, 24/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Хорошая мысль Каковы объёмы файлов на разных языках в 1800M исходников ночных ... большой текст свёрнут, показать

5.95, Аноним84701 (ok), 12:32, 24/09/2019 [^] [^^] [^^^] [ответить]	+/–
Хм code echo a 105M binjs 33M c 101M 124 awk ... большой текст свёрнут, показать

6.96, Аноним (36), 13:24, 24/09/2019 [^] [^^] [^^^] [ответить]	+/–
> В сумме получаем ~2742МБ или ~146% – это так и задуманно было? > ;) Видимо, du округлял размер вверх до кратного размеру кластеров.

1.8, Аноним (8), 09:29, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+2 +/–
никто не в курсе, когда опубликуют спеки HTTP/4? Третья версия хороша, но надо двигаться дальше, в этом и состоит развитие

2.10, Аноним (9), 09:37, 23/09/2019 [^] [^^] [^^^] [ответить]	+5 +/–
Http4 будет без tcp/udp

3.27, Аноним (26), 12:55, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
> Http4 будет без tcp/udp а http5 будет без ip, поверх какого-нибудь gp (думаю что значит буква g сами догадаетесь)

4.28, Аноним (8), 12:59, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
GNU?

5.34, Аноним (34), 14:02, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Думаешь, с уходом Столмана дела пойдут НАСТОЛЬКО лучше?

6.41, Аноним (54), 16:09, 23/09/2019 [^] [^^] [^^^] [ответить]	+3 +/–
В смысле, Google поглотит GNU?

2.35, Аноним (35), 14:15, 23/09/2019 [^] [^^] [^^^] [ответить]	+3 +/–
Я думаю, гугл расширит практику нумераций версий, опробованную на хроме, и уже в следующем году будет внедряться http/50.

3.42, Аноним (54), 16:12, 23/09/2019 [^] [^^] [^^^] [ответить]	+2 +/–
QUIC transport proto сейчас уже 23-й версии https://datatracker.ietf.org/doc/draft-ietf-quic-transport/ В среднем выпускают по одной версии в два месяца. Именно поэтому полноценная ядерная поддержка в любой ОС (Linux, Windows, Mac, iOS etc) вряд ли когда-нибудь появится. Как говорят ребята из Google "да, мы знаем, что юзерспейсная реализация тормозит, но нам постоянно нужно менять протокол, а вычислительные мощности — не проблема (для нас)".

4.69, Аноним (35), 19:24, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Надеюсь, им с таким же энтузиазмом будут добавлять дрова под котел в Аду.

5.92, аццкий сотона (?), 10:12, 24/09/2019 [^] [^^] [^^^] [ответить]

+/–

мне кажется, они на это и надеются - а там то "новый сорт дров несовместим и не помещается под котлом", то "отличная концепция, дрова из дерьма Левиафана, его тут завались, но пока не придумали как поджечь, оно ж жидкое", то котел с дыркой снизу и донышком сверху...

но хрен им там - будут сидя на раскаленных кольях (я не люблю ломать людям старые привычки к чему-то там в заднице) кодить мою меганавороченную систему сбора бигдаты о взаимодействии различных грехов - непосредственно в процессе их совершения.

2.38, Аноним (47), 15:01, 23/09/2019 [^] [^^] [^^^] [ответить]	+/–
Надеюсь, одновременно с X12.

3.40, Аноним (54), 16:08, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
X12 — это комплексная переменная, состоящая из действительной (wayland) и мнимой ("ideal" X11-like X12). Действительную часть пилят, мнимую — мнят.

4.45, Аноним (47), 16:37, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Вот про эту идеальную и речь.

4.70, Аноним (35), 19:28, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Когда там уже эту "действительную" часть допилят? Пока оно застряло в состоянии почти вот уже скоро чуть-чуть и может быть однажды полной готовности, превращаясь при этом в такой набор костылей, что иксы нервно курят в сторонке.

5.99, Аноним (54), 12:58, 25/09/2019 [^] [^^] [^^^] [ответить]

+/–

> такой набор костылей, что иксы нервно курят в сторонке.

Нет, иксы — это идеальное и непревзойдённое ведро спагетти-кода. Даже ребятам из 1С его не уделать.

> Nobody wants to say how this works. Maybe nobody knows ...

3.56, Аноним (54), 17:07, 23/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Не, гугл умеет делать хорошие вещи, спору нет. k8s, grpc, вот это всё. Но QUIC — это явная попытка упростить жизнь гугловым бэкендщикам за счёт порчи жизни простым пользователям, особенно на мобилках. Тяжёлая и тормозная юзерспейсная махина (поддержка на уровне ядра нереальна, это rolling proto), к тому чувствительная к порядку получения пакетов (что не гарантируется в беспроводных сетях).

4.83, Аноним (82), 04:30, 24/09/2019 [^] [^^] [^^^] [ответить]	+/–
> rolling proto Разве её не заморозило принятие стандарта HTTP/3?

5.94, Аноним (54), 11:54, 24/09/2019 [^] [^^] [^^^] [ответить]	+/–
А когда его приняли? Новая версия QUIC (23) вышла в этом месяце.

1.13, анонимчик (?), 10:18, 23/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+1 +/–
этот мужик сам на повросы в мэйллистах отвечает. респектище ему. сама либа конечно старовата и тянет архитектурные неудобства, но а что поделать. альтернативы нет.

2.14, Gemorroj (ok), 10:43, 23/09/2019 [^] [^^] [^^^] [ответить]	+4 +/–
честно говоря да, вроде умеет много всего. но такая неудобная, что поверх этой либы еще либу писать надо.

3.81, Аноним (81), 00:34, 24/09/2019 [^] [^^] [^^^] [ответить]	+1 +/–
Не вижу особой проблемы. Нормальная либа на конечном автомате, максимально быстрая и универсальная. Отличный и понятный апи, хорошая документация и примеры. Когда мне нужно что-то, выполняющее типовые запросы с некоторыми параметрами в больших количествах, я пишу простенькую обёртку-хелпер, совершающую определённые действия в зависимости от ответа, и не имею проблем. Удачно тебе рассосаться, дружище!

1.84, нонима (?), 06:05, 24/09/2019 [ответить] [﹢﹢﹢] [ · · · ]	+/–
>> FTP-KRB (kerberos over FTP) кто-либо юзал этого зверюгу?

2.91, В (?), 09:26, 24/09/2019 [^] [^^] [^^^] [ответить]	–1 +/–
Почему тогда сразу не HTTP over Ethernet?

2.93, пох. (?), 10:20, 24/09/2019 [^] [^^] [^^^] [ответить]

+/–

ты всегда можешь присвинячить pam-модуль к любому ftpd, который вообще поддерживает pam (то есть - к любому кроме виндовых ;-) - но зачем?

Тебе помимо особенностей самого ftp потребуется постоянный доступ разом клиента и сервера еще и к kerberos серверу, это все обычно выполнимо только в корпоративных сетях, где есть файлопомойки попроще и поудобнее ftp...

игнорирование участников | лог модерирования

Добавить комментарий

Текст: