各リポジトリ間の依存が問題なければ、swiftだけ最新にして、テストもswiftだけにして、他のリポジトリのテストもスキップとかすれば良いのかも。