例えば典型的な処理だと "\r\n" は 1つの改行トークン (もともと \r\nだったことも補助的に記憶したい ) にしたいわけですが、そういう場合は？

3:44 PM

仮に常にcharacter１つに対応するTokenをappendするという意味であれば、let chars: [Character] = source.map { $0 } を作っているのとあまり意味的に変わらないと思います。