互換性のあるバージョン間でバイナリ差し替えができなそう。

なるほど。それは言い換えると、今は Package.swift に書くリポジトリ変わってもモジュール名同じなら互換性持たせられるけど、パスを焼き込んじゃったらそれもできなくなる？