手元で試してみたんですが frame は触らず、 AutoLayout と UIView.transform で操作すると大丈夫そうです。