^ みたいにして先読みもバックトラックもせずに一気にループで一回 String を [Token] にして、その後 [Token] をもう一度頭からループして今度は先読みしたり戻ったりをしながら意味のある構造に区切っていくのがシンプルじゃないかな。