В случае RNC очень просто - заголовок сжатых файлов "RNC\x01" присутствует в каждом сжатом куске в роме (т.е. это по сути архивы, сжатые RNC и внесённые в ром). Я ведь как проверял: нашёл такой кусок в Аладдине, скопировал некое число байт (где конец архива, неважно), разжал его этой прогой - получилось нечто, похожее на сеговскую графику. Потом сжал полученный файл и сравнил с вытащенным куском - они оказались совпадающими до конца нового архива, заодно и его размер можно узнать.
В других случаях в каждой игре какой-то свой алгоритм, чтобы узнать, как он работает, надо раскапывать его код.