Проигрывание семплов в YM2612 и сеге сделано через одно место. Специальных средств для нормального проигрывания семплов там нет, в чипе есть отдельный 8-битный регистр, назовём его DAC: какое у него значение выставлено, такое и подаётся на выход, преобразуясь в 9 бит, т.к. ЦАП 9-битный. Ну т.е. качества семплов 8-битное. Частота дискретизации каналов у чипа 53 кГц, частоту семплов, похоже, подбирали делением на целое число. Если мы хотим выдавать какой-то звук через DAC, надо постоянно менять его значения, ну, как это видно на осциллограмме в звуковом редакторе: каждую точку осциллограммы надо посылать вручную, синхронизируясь с таймером, что усложняет звуковой движок.
Почему-то сам чип ещё портит звук проигрываемого PCM, это видно в любой демке с PCM-музыкой.
Касательно исходного качества семплов и занимаеого ими места ничего не могу сказать, но вот один эксперимент. Берём vgm файл для игры Streets of Rage 2, "04 - Never Return Alive.vgm", там семплы ударных сохранены в отдельном блоке. Открываем его как pcm, частота 8800 (похоже, это 53000 / 6), 8-bit unsigned, в начале файла идут 4 семпла ударных, первый - бочка. (Только они занимали бы 12 кб в игре, а есть ещё разные вопли и прочие звуки.) Включаем vgm в проигрывателе и сравниваем с бочкой в начале трека. Длительность одинаковая (т.е. частота 8800 правильная), но вот в проигрывателе звук заметно лучше. Не могу пока понять, с чем связано, неужели движок "улучшает" семплы?. Открыв ром игры как pcm, я ничего такого не нашёл, похоже, семпл пожат.
Итого, на пути к хорошему звуку мы имеем как минимум 2 проблемы: изначально плохие семплы (сжатые или ещё какие), плохо сделанный под это дело движок, финальное ухудшение звука самим чипом.