Unity3D по умолчанию рендерит всё что есть на сцене и активно. Даже если объект находится "за спиной" у камеры, или вне Frustum.
У таких объектов, которые никак не повлияют на картинку в ДАННЫЙ момент, лучше всего временно отрубать Renderer.
Есть бесплатные решения которые это делают.
Кроме того есть так называемый Occlusion Culling. Он занимается в этом направлении. Не использовал, так что не могу сказать точно, что он умеет, а что нет.
И как и в любой игре, чем меньше полигонов видно на экране, тем лучше ^^, так что во многих играх часто не дают далеко отдалятся, или прочие вещи. Или на открытых пространствах больших, начинает лагать ^^.
Добавлено позже:
Мог где-то наврать на счёт юнити, лучше всего всё перепроверить. Но как ни крути, зачем тогда используют эти пакеты / встроенный Occlusion Culling....