そこまで強い意見があるわけではないんですが、
private extension Foo { func f() { ... } } と extension Foo { fileprivate func f() { ... } } が同じになるのは、前者では字面上の private に引きづられて fileprivate ではなく private と勘違いしそうだなという感じです。僕が慣れてないだけかもしれませんが。