Что такое «Озеро данных»
Термин придумал Джеймс Диксон, технический директор компании Pentaho, около 2010 года. Он сравнил обычную витрину данных с бутилированной водой — очищенной и упакованной для одного употребления, а новое хранилище — с озером, куда вода стекает в естественном виде и откуда её можно брать по-разному. Идея в том, что заранее невозможно знать все будущие вопросы к данным, поэтому выбрасывать «лишние» поля при загрузке — значит лишать себя будущих ответов.
Чем отличается от хранилища данных
Классическое хранилище данных работает по принципу «схема при записи». Перед загрузкой данные очищают и приводят к строгим таблицам, зато отчёты по ним быстрые и надёжные. Озеро работает по принципу «схема при чтении»: файлы лежат в исходном виде, а структуру им задаёт тот, кто анализирует. Хранилище хорошо отвечает на известные вопросы бизнеса, озеро — на новые вопросы аналитиков и задачи машинного обучения. Гибридный подход, где поверх озера добавляют транзакции и таблицы, называют lakehouse.
Пример структуры озера
Озеро обычно строят на объектном хранилище в облаке и делят на зоны по степени обработки:
s3://company-lake/raw/metrika/visits/date=2026-10-09/part-0001.parquet
s3://company-lake/raw/1c/orders/date=2026-10-09/orders.json
s3://company-lake/raw/site/nginx/date=2026-10-09/access.log.gz
s3://company-lake/clean/orders/date=2026-10-09/orders.parquet
s3://company-lake/marts/sales_by_channel/2026-10.parquet
В зону raw данные попадают без изменений, в clean — очищенными и приведёнными к единому формату, в marts — в виде готовых витрин для отчётов. Разбиение по датам в путях позволяет читать только нужный период. Формат Parquet хранит данные по колонкам и хорошо сжимается, поэтому для аналитики он удобнее, чем CSV.
Как не получить болото
Самый частый провал — свалка файлов, про которые никто не знает, откуда они, насколько свежие и можно ли им верить. Её называют «болотом данных». Чтобы этого избежать, ведут каталог: источник, владелец, описание полей, частота обновления. Доступы разграничивают, персональные данные маскируют или хранят отдельно, а старые и ненужные наборы удаляют по правилам. Для небольшой компании озеро часто избыточно: выгрузок из Метрики, CRM и 1С в одну базу с отчётами обычно достаточно.
Связанные термины
Обновлено: 10 октября 2026

