勝手にcontentInsets入れたりしますからねただその辺はUIRefreshControlも適当な作りになっているっぽい↓ https://zenn.dev/ueeek/articles/20230408pull_to_refresh_top_inset

[Swift]CollectionViewで、PullToRefresh中にTopInsetを変更した時の挙動