無理そうですね。Swift Packageと本体アプリが同じアーキテクチャでビルドされたらいいのですが、どうやってもSwift Packageはarm64でビルドされてしまいますね。 解決法はたぶんXcodeをロゼッタを使って起動する、じゃないでしょうか。
xcodebuild -project SwiftUIQuestionSample.xcodeproj -scheme SwiftUIQuestionSample -destination 'platform=iOS Simulator,name=iPhone 13 Pro' VALID_ARCHS=x86_64 build のようにするとビルドできます。