Такс если не ошибся с расчетами то должно хватить 1,5 гб даже на 4х при условии что будет стоять 32 слоя. Тут основные требования на память это кол-во слоев 640*480*32*число слоев*скалинг - есть еще несколько буферов дополнительных суммарно весят не так много, при 4х влезуть в 200-400 мб дополнительной врамы. Число слоев далеко не обязателен 32 зачастую 16 и даже 8 хватает, 64 это уже для эстетов но игр где столько нужно мне не встречалось, но исключаю что они есть. Но при 4х нужно кол-во текстурных блоков должно быть как можно больше (и скорость доступа к враме как можно выше), вычислительная мощность шейдеров тоже важно, но не так как кол-во текстурников, основное торможение сейчас в заполнение буферов, а не в самой сортировке.
Впрочем у меня давно зреет мысль попробывать теселяцию, возможно она решит проблему скалинг, ибо он будет уже не так важен, но тут нужно экспериментировать, возможно вся идея и провалится.
Добавлено позже:
Да кстати владельцам AMD крайне не рекомендуется использовать последние драйвера, они заточены под "томб брайдер" который использует тот же механизм, что и мы и по всей видимости как мы предположили к Demul'у применяются заточки сделанные для этой игры, результат этих заточек весьма плачевный.