どうしてもデバッガ使いたいときだけ -R --debug-swift でビルドして、頑張りますが、普段からビルドしてないと当然時間かかりまくるので、最終手段ですね。