で、Ubuntu入れるならSwiftはビルドする必要はなくて依存関係だけaptで入れてビルド済みのバイナリをダウンロードか、そもそもDocker使えばいいと思う。Docker使うならOSはLinuxならなんでもいいからUbuntu入れる必要もないかも。