現在ある情報から推測すると、速度が遅くなるのはビューの大きさのせいだと思います。せっかくなので問題の切り分けをはっきりされると良いと思いますが、UITextViewの isScrollable = falseでビューの大きさが200x200とかで確かめてみるといいと思います。

8:35 AM

^ これは遅くならないはず。