私の環境 (swiftly でインストール) だとそれはなかったので，単に ~/.swiftpm/swift-sdks/ にファイルが残っていただけなんじゃないかという気がします．