> Kubernetes не может из коробки предложить мультитеннантность

Да и зачем ему это, если проще каждому тенанту дать свой кластер или даже пятьдесят? Что так, что эдак, тенанта будут в итоге биллить за ресурсы, и если кластер не декоративный, то расходы на control plane просто не будут видны. Как решение для провайдеров — кластер с красивым UI — сабж вполне подходит. GKE/EKS/AKS по сути то же самое (если прищуриться как следует). Паковать тенантов в один кластер по неймспейсам не пробовал, наверное, только ленивый, но результат тот же самый, что когда-то с шаредными хостингами: проще каждому дать VPS и хоть убейся там, чем перманентно разруливать пожар в дурдоме. Гордые наследники юниксов в итоге оказались однопользовательскими системами, и эти уши торчат изо всех мест.

> Kubernetes и ccNUMA

Боль, страдания, ноды на Windows, снова боль и страдания, но уже другие. К счастью нужно не везде и не всегда, а иным микросервисам и вовсе без разницы — всё в один поток и пусть у HPA голова болит.

> Kubernetes и сетевой стек

Тоже нужно не везде и не всегда, но DPDK решает проблему. Ребята из China Telecom экспериментальную 5G сеть на к8с с DPDK ещё в 2019 показывали. Работало на удивление хорошо, но там к8с чисто декоративный, для запуска подов с hostNetwork.

> Kubernetes и хранилище

Ох, не начинай. Уж лучше NFS provisioner и пусть у админа СХД голова болит. Для остального есть объектные хранилища.

> Kubernetes, резервное копирование и восстановление после сбоев

Кластеры одноразовые, быстрее новый сделать, чем поломанный чинить. Как по мне это фича. Ну или сменить etcd  на PostgreSQL и пусть у DBA голова болит ;)

>  Вы же, я надеюсь, тут все понимаете, что нельзя создать один большой и толстый Kubernetes-кластер на 3000 серверов с сотней тысяч виртуалок и контейнеров.

Как нельзя? Мне айбиэмовцы рассказывали, что kube-proxy до первых ~10к сервисов под нагрузкой норм, но если больше, то начинает заметно тормозить из-за тупенького iptables. Они это правда всё на своём big iron запускали. А так, официальные ограничения 5к нод и что-то там типа 150к подов и 300к контейнеров или около того (точно не помню, давно сертификат получал) и по словам тех же айбиэмовцем «about right».