>там код ядра (GPU) и обычный (CPU) находятся в одном файле и компилируется он сразу, а не как шейдеры в OpenCL.

Работать удобнее не из-за этого, а из-за того, что код для по компиляции кода и настройки рантайма создаёт сам компилятор, а в opencl это вручную.

Но опять же дело не в этом. Дело в
* более высокой производительности карт nvidia на куде чем AMD на OpenCL, поэтому те, кто хочет получить максимум производительности, брали нвидию+куду;
* нвидия написала проприетарные библиотеки для нейросетей и обработки сигнальв, хардкорно оптимизированные специалистами нвидии под архитектуру их карт.

В результате качество/цена гораздо выше у их карт. А дроп старых карт проприетарными драйверами - это мелочь, исследователи нейросетей (за свёт работодателя) и майнеры эти карты меняют гораздо быстрее, чем нвидия их дропает.