これ面倒ですよね。僕も Library/org.swift.swiftpm の存在知らなくてよくハマってました