Озеро данных

Оригинальное название: data lake

Коротко

Общее хранилище, куда данные из разных источников складывают как есть — логи, выгрузки, документы, события — чтобы структурировать и анализировать позже, под конкретную задачу.

Что такое «Озеро данных»

Термин придумал Джеймс Диксон, технический директор компании Pentaho, около 2010 года. Он сравнил обычную витрину данных с бутилированной водой — очищенной и упакованной для одного употребления, а новое хранилище — с озером, куда вода стекает в естественном виде и откуда её можно брать по-разному. Идея в том, что заранее невозможно знать все будущие вопросы к данным, поэтому выбрасывать «лишние» поля при загрузке — значит лишать себя будущих ответов.

Чем отличается от хранилища данных

Классическое хранилище данных работает по принципу «схема при записи». Перед загрузкой данные очищают и приводят к строгим таблицам, зато отчёты по ним быстрые и надёжные. Озеро работает по принципу «схема при чтении»: файлы лежат в исходном виде, а структуру им задаёт тот, кто анализирует. Хранилище хорошо отвечает на известные вопросы бизнеса, озеро — на новые вопросы аналитиков и задачи машинного обучения. Гибридный подход, где поверх озера добавляют транзакции и таблицы, называют lakehouse.

Пример структуры озера

Озеро обычно строят на объектном хранилище в облаке и делят на зоны по степени обработки:

s3://company-lake/raw/metrika/visits/date=2026-10-09/part-0001.parquet
s3://company-lake/raw/1c/orders/date=2026-10-09/orders.json
s3://company-lake/raw/site/nginx/date=2026-10-09/access.log.gz
s3://company-lake/clean/orders/date=2026-10-09/orders.parquet
s3://company-lake/marts/sales_by_channel/2026-10.parquet

В зону raw данные попадают без изменений, в clean — очищенными и приведёнными к единому формату, в marts — в виде готовых витрин для отчётов. Разбиение по датам в путях позволяет читать только нужный период. Формат Parquet хранит данные по колонкам и хорошо сжимается, поэтому для аналитики он удобнее, чем CSV.

Как не получить болото

Самый частый провал — свалка файлов, про которые никто не знает, откуда они, насколько свежие и можно ли им верить. Её называют «болотом данных». Чтобы этого избежать, ведут каталог: источник, владелец, описание полей, частота обновления. Доступы разграничивают, персональные данные маскируют или хранят отдельно, а старые и ненужные наборы удаляют по правилам. Для небольшой компании озеро часто избыточно: выгрузок из Метрики, CRM и 1С в одну базу с отчётами обычно достаточно.

Обновлено:

Все термины раздела «Backend»

Что будем искать? Например,Продвижение