1. Fraps самый простой и самый лучший. У него свой прекрасно соптимизенный кодек - лучше ничем не снимешь, проверено. На других кодеках тормоза будут еще больше. Единственный выход - снижай разрешение экрана. После съема видео элементарно пережимается, например, в DiVX. А гиг за минуту - это перебор, Фрапс при 30 фпс в 640х512 (1280х1024 пополам) жрет 15Гб в час. И это немного.
2. С МАМЕ снимать вообще очень сложно - синхронизация нарушается моментально, чтобы этого не происходило, смотри в МАМЕ ФПС реальной игры и выставляй его во Фрапсе до съемки, с точностью до последнего знака.
3. Скрины сохраняй в Jpeg, а не BMP. Вот, собсно, и все.