pod_specのswift_versionはあったらそのバージョンの固定、っていう動作だからむしろ書かないほうが良いと思うんですよね。書いてなければビルド環境に応じて4.2になるけど4.1って書いてしまったら4.1になる、はず。