Может, в последних драйверах какие то проблемы с CUDA и DXVA?
Поставь какие-нибудь совсем старые. Всё равно в новых вряд ли найдешь что-то полезное для своей карточки.
В Daum PotPlayer можешь выставить DXVA или CUDA и посмотреть. Это где-то тут:
Если отключить DXVA, то использоваться будет то, что в меню Декодер. Там можно выставить Cuda.
В разных версиях PotPlayer меню может отличаться.
Потом должно показывать в "Информация о файле" - "Видеокодек" должен стоять не FFMPEG софтовый, а DXVA или CUDA. Пробуй оба, это не одно и то же.
От Cuda вряд ли такие баги могут быть, а вот от DXVA вполне. Кстати, у меня такое было не раз и на разных карточках. В основном, когда пытаешься запустить жутко побитый файл и его пытается декодировать через DxVA и происходит такой зависон. Этим особенно грешил Radeon HD 2600XT, но ему это простительно, так как там впервые появилось аппаратное ускорение нормальное и пилили его в драйверах долго.
На GeForce 8500GT тоже пару раз ловил. На 9600GT уже не припоминаю, но не исключаю (уже Cuda использовал на ней, вместо DxVA). На GTX 650Ti ниразу не встречал ещё.
Cuda еще в Sony Vegas можешь проверить, там можно включить рендер через это (на такой карте будет медленнее, чем проц).
Попробуй на другом браузере, где нет аппаратного ускорения видео. Это ускорение под виндами всегда было костыльным и вряд ли такие старые карточки ещё тестируют а нвидии.