何らかの理由により、表示されていない部分も含めた全体の大きさに対して計算が起こっている

なるほど、、、これはTextViewのスクロールを禁止しているために、本来のTextViewのパフォーマンスが発揮できていない気がしますね。今のViewの組み方だとできなさそうですね。。。