Последовательностная модель

Обычная модель классификации смотрит на объект целиком и не замечает порядка признаков. Для текста так нельзя: «собака укусила человека» и «человек укусил собаку» состоят из одинаковых слов. Последовательностная модель обрабатывает элементы с учётом их места и контекста — предыдущих, а иногда и последующих. Такие модели лежат в основе машинного перевода, распознавания речи, прогноза продаж по дням, подсказок при наборе текста.

Как развивались архитектуры

• Рекуррентные сети (RNN) читают последовательность по одному элементу и передают дальше скрытое состояние — своего рода память о прочитанном. Слабое место: на длинных текстах информация из начала «выветривается».
• LSTM и GRU — рекуррентные сети с механизмом «вентилей», который решает, что запомнить, а что забыть. LSTM предложена в 1997 году и долго была стандартом для текста и речи.
• Модели «последовательность в последовательность» (seq2seq, 2014): кодировщик сжимает вход, декодировщик порождает выход другой длины. Так устроен перевод.
• Трансформеры (2017) отказались от пошагового чтения: механизм внимания сразу смотрит на все элементы и взвешивает их связи. Это позволило обучать модели параллельно на огромных объёмах текста; на трансформерах построены современные языковые модели.

Все эти варианты — разновидности нейронных сетей и относятся к глубокому обучению.

Пример: типы задач по форме входа и выхода

• Последовательность → одно значение: определить тональность отзыва, класс обращения в поддержку.
• Последовательность → последовательность той же длины: разметить в тексте имена, адреса, телефоны.
• Последовательность → последовательность другой длины: перевод, краткий пересказ, ответ на вопрос.
• Ряд значений → продолжение ряда: прогноз нагрузки на сервер или спроса на товар.

Что важно при практическом применении

Для большинства задач сайта или CRM собственную модель с нуля не обучают: берут готовую языковую модель через API или дообучают открытую. Решающими оказываются данные и проверка качества: модель уверенно ошибается, если вход не похож на то, на чём её учили. Встраивание таких моделей в рабочие процессы — отдельная задача, ей посвящена услуга интеграции нейросетей в сайт и CRM.