Что такое «Шум в данных»
В технике «шумом» называют помехи, мешающие расслышать сигнал. В анализе данных метафора та же: полезная закономерность — сигнал, а всё, что накладывается на неё случайно, — шум. Чистых данных почти не бывает, поэтому задача аналитика — не убрать шум полностью, а не принять его за открытие.
Откуда берётся
- Ошибки ввода: опечатки в адресах, телефон в поле имени, цена с лишним нулём.
- Погрешности измерений: датчики, округление, сбои при передаче.
- Ошибки разметки: при подготовке обучающей выборки часть примеров получила неправильные метки.
- Посторонний трафик: боты, проверки мониторинга и визиты самих сотрудников в статистике сайта.
- Дубли и обрывы: одна заявка, записанная дважды, или выгрузка, прерванная на середине.
Как с ним работают
Сначала данные очищают: убирают дубли, проверяют форматы, отсекают явно невозможные значения. Затем выбирают устойчивые методы. Медиана меньше реагирует на случайные выбросы, чем среднее. Скользящее среднее сглаживает дневные колебания и показывает тренд. В машинном обучении шум особенно опасен: модель, которая слишком точно подстроилась под обучающие данные, заучивает и шум, а на новых данных ошибается. Это называется переобучением, и против него используют регуляризацию, проверку на отложенной выборке и больше данных. Если правильная разметка дорога, помогает активное обучение: человек проверяет только самые спорные примеры.
Пример: сглаживание дневной статистики
Число заявок с сайта скачет от дня к дню, и по отдельным дням трудно понять, помогли ли изменения. Недельное сглаживание на Python с библиотекой pandas:
import pandas as pd
df = pd.read_csv("leads.csv", parse_dates=["date"]).set_index("date")
df["trend"] = df["leads"].rolling(7).median()
print(df.tail(10))
Скользящая медиана за семь дней убирает влияние выходных и одиночных всплесков, например от спам-заявок. Главное — не сгладить вместе с шумом и настоящий сигнал: резкое падение после обновления сайта стоит разобрать по сырым данным. Для сложных моделей вроде тех, что строит глубокое обучение, качество очистки часто важнее выбора архитектуры.
Связанные термины
Обновлено: 10 октября 2026

