В общем ковырялся-ковырялся - такие вот результаты:
значит радуга собственно мало относится к тому что ее собирает воедино, по крайней мере такой зависимости не замечено
радуга скорее всего обусловлена самим DAC и переходом с яркого на темный сигнал, т.е. там возникают гармоники походу и это дает радугу, поэтому в общем нужен качественный DAC с какимито сглаживающими фильтрами или еще чем там, может сам DAC не должен быть ступенчатым, а както плавнее быть
зато как оказалось можно увеличивать четкость сигнала что приводит либо к разноцветности всего что есть и даже белого, а в обратную сторону уменьшается четкость изображения, зато эффект радуги также уменьшается
я выбал золотую серидину, эффект радуги уменьшился в 2 раза гдето, изображение стало немного размытее, но это я считаю тоже неплохо, т.к. разрешение не такое уж и высокое, всеравно квадратики видно, а так типа получилось как Interpolation в эмуляторе - тоже включал чтобы смазывало изображение
в общем результат есть, как в сатурне не знаю, как поковыряю то скажу, но в принципе если там такая же микруха то эффект тоже можно уменьшить, на крайняк тоже размыть изображение немного
собственно для текстур это пойдет на пользу в любом случае

В принципе такого же эффекта размывания можно и в мегадрайве можно сделать - если кому интересно могу объяснить как
но собственно там все дело в фильтре