Вряд ли полезный совет, но для справки: использую xvidcap — изображение захватывается такое, как в самом pcsx2, то есть, если там картинка гладкая, то и на видео гладкая. Арч, pcsx из аура, xvidcap последний. Под винду стоит наверное просто перепробовать другие аналогичные программы.