教えて頂いた方法で自分の方でも対応してみました。 https://github.com/taketo1024/SwiftyAlgebra/commit/7543dfc0d0e667a7f2babe937419422c07452f58 subscript を @_inlineable にして、従来通り／命令型に書き換え／ポインタ版 で速度を比較して見ましたが、
original : 5.456 sec. imperative : 1.812 sec. pointer : 186.214 msec. となって、やはりポインタ版が圧倒的に速いようです。何かやりたりていないことがあるのかな…？