То есть можно полученную запись с низким разрешением перекодировать в высокое качество?
Конечно, но если запись уже с артефактами сжатия, то они останутся, нужно несжатый поток использовать. Для ютюба нужно увеличивать разрешение всегда, ниже 720p выглядит плохо и замылено из-за сжатия youtube. Главное увеличивать разрешение методом Nearest-neighbor чтобы не было сглаживания.
Всё умеет ffmpeg и программы использующие его либо любые платные редакторы. Вы же будете потом монтировать, значит какой-то программой пользоваться будете. С ffmpeg я бы сделал так:
ffmpeg.exe -i input.mp4 -vf "scale=1920x1080:flags=neighbor:force_original_aspect_ratio=decrease,pad=1920:1080:(ow-iw)/2:(oh-ih)/2" -c:a copy output.mp4
Увеличивает без фильтров, сохраняет соотношение сторон, добавляет чёрные полосы по бокам, но здесь отсутствуют другие настройки, которые можно задать.
Можно сразу записывать в полный экран, тогда артефакты будут менее заметны. В Fusion выбрать в Video: Full Screen Resolution -> 1920x1080 (максимальное), Fixed Aspect (Fit), Nearest Multiple, Render Plugin -> DoubleRaw (либо QuadRaw) и убрать Filtered.
Есть Fraps, но пробная с ограничением записи в 30 сек.
Я же говорил, скачайте с торрентов взломанную версию, если не хотите мучиться (bandicam обновляется, он наверно лучше). Если вы против пиратства, то придётся пробовать бесплатные. Например,
https://ru.msi.com/page/afterburner у меня хорошо записывает без тормозов, но чтобы скрыть курсор придётся в настройках мыши выбрать пустой курсор (прозрачную PNG картинку сконвертировать онлайн) и выставить подсказку курсора по нажатию Ctrl, чтобы можно было вернуться.
Из программ захвата экрана у меня есть OBS
Ещё у вас встроенная в драйвера видеокарты программа для записи у AMD называется ReLive, у NVIDIA тоже какая-то. Пробуйте ими. У меня не получается с ReLive, может получится с фиксами. Лучше просто использовать нормальный эмулятор.