一部のセルが動画というだけならセルの再利用をやめて（セルは再利用してもいいけどその上のVideoViewの再利用はしない）みたらどうなります？

3:43 PM

全部のセルが動画ならしょうがないけど一部ならそれで状態の復帰とかしなくて良くなるし、普通に途中から再生されるんじゃないですかね。