https://github.com/wxxsw/VideoPlayer こういう既存のライブラリを利用してみてソースコードを参考にしたらどうでしょう。

A video player for SwiftUI, support for caching, preload and custom control view. SwiftUI 视频播放器，支持边下边播、预加载、自定义控制层 - GitHub - wxxsw/VideoPlayer:

A video player for SwiftUI, support for caching, ...