Swift 4以上の言語機能を使っている場合はSwift 3はサポート不可なので、指定しないわけにはいかない気がしますが、どうでしょうか？Xcode 10でユーザーのアプリがSWIFT_VERSION=3だとPodのターゲットもSwift 3になってしまうと思うので。