# Tokenizer

URL: https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/
Проверено на 1С-Битрикс 25.x, обновлено 03.08.2026.
Источник: независимый русскоязычный справочник chugunov.pro. Не является официальной документацией 1С-Битрикс.

Класс `\Bitrix\Perfmon\Sql\Tokenizer`
Модуль: Perfmon.

Исходный файл: `source/perfmon/lib/sql/tokenizer.php:65`

## Методы (15)

- [`static createFromString()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/createfromstring/) — Разбивает текст на токены, создаёт новый объект Tokenizer и возвращает его.
- [`static createFromTokens()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/createfromtokens/) — Создаёт новые объекты Tokenizer и устанавливает их токены в заданный.
- [`endOfInput()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/endofinput/) — Проверяет, достигнут ли конец токенов.
- [`getCurrentToken()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/getcurrenttoken/) — Возвращает текущий токен.
- [`getPrevToken()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/getprevtoken/) — Возвращает предыдущий токен.
- [`getTokens()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/gettokens/) — Возвращает все токены.
- [`nextNotWhiteSpaceToken()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/nextnotwhitespacetoken/) — Пропускает все пробелы и комментарии.
- [`nextToken()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/nexttoken/) — Возвращает следующий токен.
- [`putBack()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/putback/) — Перемещает текущую позицию на один шаг назад.
- [`resetState()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/resetstate/) — Сбрасывает внутреннее состояние.
- [`restoreBookmark()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/restorebookmark/) — Восстанавливает ранее запомненную позицию.
- [`setBookmark()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/setbookmark/) — Запоминает текущую позицию.
- [`skipWhiteSpace()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/skipwhitespace/) — Пропускает все пробелы и комментарии.
- [`testText()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/testtext/) — Проверяет, равен ли текст текущего токена $text.
- [`testUpperText()`](https://chugunov.pro/api-bitrix/perfmon/sql/tokenizer/testuppertext/) — Проверяет, равен ли текст текущего токена $text.

Оригинал в официальной документации: https://docs.1c-bitrix.ru/api/classes/Bitrix-Perfmon-Sql-Tokenizer.html