Arrayは内部的に持てる要素数が決まっていてappendで場所が足りなくなったら場所を確保しなおすようになってます。この場所を確保しなおすのが重い処理なので単純にappendして行くだけだと遅くなります。予めArray#reserveCapacity(_:)で場所を確保しておけば問題ないです。