それともコンパイラが何かやってる？

こっちが正しいです。 SwiftのGenericsは原則としてInvariantですが、Standard Libraryの一部はCovariantになります。自分で定義した型は今のところどうやってもInvariantにしかなりません。