Пресет это заранее выбранный набор настроек кодека. У x264 чем "быстрее" пресет, тем ниже качество, но меньше времени тратится на кодирование.
В зависимости от видео контента качество может как сильно падать или расти, при выборе более "быстрого" или более "медленого" пресета, так и не существенно. Сложно на пальцах объяснить для какого видеопотока будет сильно или слабо меняться качество, надо сначала объяснять как работает кодек, типы фреймов, JPEG сжатие, предсказание движения, лучше почитать соответсвующие статьи.
Лучше кодеки есть, например, h265, но он только только появился, реализаций почти нет. H.264/CoreAVC получше будет, чем x264, но он проприетарный, а так в некоторых случаях и MPEG2 может уделать x264.