急激に増加するのはおそらくDictionaryのrehashが発生するからだと思います

set の async を sync にすると一瞬で終わるようになるんですが，rehash が原因だとしたら sync でも同様に遅くなりそう…？