これは原因ではないと思いますが、
scene を @Published で保持する必要ないですね。 SKScene はクラスで、そのインスタンスを差し替えるような場合にしか @Published は意味がないです。なので、普通に let で保持すれば良いと思います。 @StateObject にしたのはライフサイクルのためなので。