あと、pkgconfigを使っているのであればSwiftPM側にpkgconfigサポートがあるので、 .systemLibrary(...) をPackage.swiftに記述すれば swift build のオプション群は必要なくなると思います https://github.com/apple/swift-package-manager/blob/main/Documentation/PackageDescription.md#methods-5

The Package Manager for the Swift Programming Language - apple/swift-package-manager