ソースコードをParseするなら、スペースとクオート、各種カッコ、改行、スラッシュ、とそれ以外くらいにまず分けるのが最初の
[Token] を作る処理で、どうせもう一度読むので [Character] より多少マシ、くらい。そういう意味だと [Character] でもいいけどどうせ一回 String を全部読むなら多少は情報を追加しといたほうがいいかな、という感じですね。