今のケースに近いような [Int: Set<Int>] に変えて insert するようにしたら、 Set の N が大きくなると激遅に・・・。

 func testDictionary_10_000_000() { let count = 10_000_000 var dictionary: [Int: Set<Int>] = .init(uniqueKeysWithValues: (0..<100).map { ($0, Set(0..<count)) }) XCTAssertEqual(dictionary.count, 100) XCTAssertEqual(dictionary[0]!.count, count) measure { for i in 0..<n { let key = i % 100 dictionary[key]?.insert(i) XCTAssertTrue(dictionary[key]!.contains(i)) } } }