（ UITextView ではなく自力実装するなら）原理的には、スクロールの可否に関係なく表示されている領域のみ再描画すれば良いはずだと思うので、スクロールしなくても遅くならないようにできそうな気がします。ただ、長文の途中に文字を挿入すると高さを計算するのにその後の全文字列の大きさを計算しないといけないので重いですかね？