> только у меня он всегда сильно гадит титры в конце на 500Кбит, так что глаза вытекают

Т.е. вы даже не зная о том, что такое ratecontrol (и о том, что он не имеет напрямую отношения к кодеку) рассуждаете о качестве? В простых утилитах типа x264 никто нормальный ratecontrol и не прикручивал, он там на фиг не сдался. Кодируйте через ffmpeg с его ratecontrol'ом и будут нормальные титры.

Вообще пример для оценки h.265 плохой, на таком разрешении выигрыш от него небольшой (хотя и то есть). В другой раз сравнивайте h.264 и h.265 на примерах высокого разрешения, как это делают на https://x265.com/hevc-video-files/ например.

На 4K видео (напр. crowd run - https://media.xiph.org/video/derf/y4m/crowd_run_2160p50.y4m - осторожно, почти 6 гигов) h.265 даст качество намного выше, чем VP9 на половине его битрейта. Готовые кодирования h.265 и h.264 можно скачать например на http://forum.videohelp.com/threads/360069-x265-HEVC-Encoder/...
Прошлогодние, правда. С тех пор качество x265 ощутимо подросло. Это вообще очень молодой кодек, в отличие от старенького VP9 - нормальные реализации только начинают появляться. Даже стандартные профили HEVC еще только в draft'ах, финальные версии будут в этом году. Но тем не менее.

Пример кодирования x264 (битрейт я взял 450, а не 500, т.к. такой получился у этого VP9 файла - чтобы честнее было):
http://rghost.ru/8KcF9MzrP (пресет veryslow, который был вполне себе быстрым даже на моем Core i5-2500 - порядка 250 к/с первый проход и 65 к/с второй - одна и 4 минуты соответственно)

Пример кодирования x265 (битрейт аналогичный). Кодирование в самом банальном профиле, 8 бит, никаких фич не включено (см. http://en.wikipedia.org/wiki/High_Efficiency_Video_Coding#Pr... - в данном случае профиль "main")
http://rghost.ru/8VQbdTXfj (пресет тот же, первый проход 47 к/с, 5 минут, второй 4 к/с, порядка часа)

Как легко заметить, даже у x264 результат на всех кадрах содержит больше деталей, чем VP9, а с x265 даже сравнивать смысла нет. Можете внимательно сравнить заинтересовавшие вас титры в VP9 и x256. На первом - куча артефактов, на втором - практически неотличим от оригинала.