вопрос, а зачем токены вообще?
А как еще в статическом ЯП в одном массиве держать числа, операторы +-*/, функции и скобочки? Ну я и сделал общий тип им. За одно, туда всякие фокусы запихал, типа приоритета математических операторов, перегрузки операторов ЯП