ちょうどいいスレッドがあったから、投稿しておいた。 https://forums.swift.org/t/use-spm-to-build-ios-target/25436/12

xcodebuild can build Swift Package without .xcodeproj with passing product name to -scheme option and also recognizes -destination option. e.g.