Что такое «Шум в данных»

В технике «шумом» называют помехи, мешающие расслышать сигнал. В анализе данных метафора та же: полезная закономерность — сигнал, а всё, что накладывается на неё случайно, — шум. Чистых данных почти не бывает, поэтому задача аналитика — не убрать шум полностью, а не принять его за открытие.

Откуда берётся

  • Ошибки ввода: опечатки в адресах, телефон в поле имени, цена с лишним нулём.
  • Погрешности измерений: датчики, округление, сбои при передаче.
  • Ошибки разметки: при подготовке обучающей выборки часть примеров получила неправильные метки.
  • Посторонний трафик: боты, проверки мониторинга и визиты самих сотрудников в статистике сайта.
  • Дубли и обрывы: одна заявка, записанная дважды, или выгрузка, прерванная на середине.

Как с ним работают

Сначала данные очищают: убирают дубли, проверяют форматы, отсекают явно невозможные значения. Затем выбирают устойчивые методы. Медиана меньше реагирует на случайные выбросы, чем среднее. Скользящее среднее сглаживает дневные колебания и показывает тренд. В машинном обучении шум особенно опасен: модель, которая слишком точно подстроилась под обучающие данные, заучивает и шум, а на новых данных ошибается. Это называется переобучением, и против него используют регуляризацию, проверку на отложенной выборке и больше данных. Если правильная разметка дорога, помогает активное обучение: человек проверяет только самые спорные примеры.

Пример: сглаживание дневной статистики

Число заявок с сайта скачет от дня к дню, и по отдельным дням трудно понять, помогли ли изменения. Недельное сглаживание на Python с библиотекой pandas:

import pandas as pd

df = pd.read_csv("leads.csv", parse_dates=["date"]).set_index("date")
df["trend"] = df["leads"].rolling(7).median()
print(df.tail(10))

Скользящая медиана за семь дней убирает влияние выходных и одиночных всплесков, например от спам-заявок. Главное — не сгладить вместе с шумом и настоящий сигнал: резкое падение после обновления сайта стоит разобрать по сырым данным. Для сложных моделей вроде тех, что строит глубокое обучение, качество очистки часто важнее выбора архитектуры.

Связанные термины

Обновлено: 10 октября 2026

Все термины раздела «Backend» ↗