Tokenizer

Методы (15)

• static createFromString() Разбивает текст на токены, создаёт новый объект Tokenizer и возвращает его.
• static createFromTokens() Создаёт новые объекты Tokenizer и устанавливает их токены в заданный.
• endOfInput() Проверяет, достигнут ли конец токенов.
• getCurrentToken() Возвращает текущий токен.
• getPrevToken() Возвращает предыдущий токен.
• getTokens() Возвращает все токены.
• nextNotWhiteSpaceToken() Пропускает все пробелы и комментарии.
• nextToken() Возвращает следующий токен.
• putBack() Перемещает текущую позицию на один шаг назад.
• resetState() Сбрасывает внутреннее состояние.
• restoreBookmark() Восстанавливает ранее запомненную позицию.
• setBookmark() Запоминает текущую позицию.
• skipWhiteSpace() Пропускает все пробелы и комментарии.
• testText() Проверяет, равен ли текст текущего токена $text.
• testUpperText() Проверяет, равен ли текст текущего токена $text.