Obj-C のコードですが↓のような感じです。

output = [[AVCaptureVideoDataOutput alloc] init]; ... output.videoSettings = @{(id)kCVPixelBufferPixelFormatTypeKey:@(kCVPixelFormatType_32BGRA)};