ScrollView（UITableViewやUITextView）は表示されている部分以外を計算しないことによってパフォーマンスを稼いでいます。UITextViewの入力文字が多くなると遅くなるのであれば、何らかの理由により、表示されていない部分も含めた全体の大きさに対して計算が起こっているのだと思います。