恐らくですが、その構築だとクリーンビルドでライブラリ側が再ビルドになるのは防げないんじゃ無いかなと思います Package.swiftを使って依存を追加する方法がありますので、そちらを参考に構成を変えてみたら改善するかも？(ちょっと試してないので半信半疑ですが)