ためしに swift build -Xswiftc -Xfrontend -Xswiftc -sil-serialize-all でビルドしてみたら

これ、シングルモジュールのパッケージならビルド出来ますね。