手元でうまくいったクロスコンパイルのDockerfileはこんな感じ https://github.com/norio-nomura/docker-swiftlint/blob/81879cdad1ed5c13e07c740c120f106e62bd11b4/cross-builder/Dockerfile