Swift 5.6 でビルドしてもそれ以前の Swift からそのバイナリを利用することはできる

こっちは使う側の話だと思いますが、バイナリをライブラリ提供者側で提供しなければ使う側はわかってやってることなのでこれはしょうがないと思います。 (edited)