Перейти к содержимому
TelegramGitHub

Analytics Engineering with SQL and dbt, глава 1: Что такое analytics engineering

Главная мысль: Облачные хранилища и подход ELT изменили работу с данными. Сырые данные теперь сразу попадают в хранилище, и кто-то должен превратить их в чистые, проверенные и понятные модели. Этим занимается analytics engineer, а его главный инструмент — dbt.

Это первая глава книги, поэтому она отвечает на базовый вопрос: что такое analytics engineering и откуда взялась эта роль. Авторы проходят путь от первых хранилищ данных до облака и dbt. По дороге они вводят понятия, на которые опираются следующие главы. Темы главы:

  • история аналитики: от Inmon и Kimball до modern data stack;
  • зачем аналитике базы данных и почему BI нельзя подключать прямо к рабочей базе;
  • облако: выгоды и риски;
  • жизненный цикл аналитики (data analytics lifecycle);
  • роль и обязанности analytics engineer;
  • data mesh, data product и место dbt в них;
  • ETL и ELT, хранимые процедуры, Airflow и dbt.

Три роли вдоль потока данных: дата-инженер платформы передаёт сырые данные analytics engineer, тот передаёт чистые модели аналитику данных; ниже — что делает каждая роль и аналогия со стройкой

Схему читаем слева направо: данные идут от платформы через analytics engineer к аналитику. Нижний ряд — аналогия авторов со стройкой, о ней рассказано в разделе о новой роли.

Авторы начинают с короткой истории. В 1980-х появились хранилища данных (data warehouse), и Bill Inmon дал им первую прочную теорию. В 1996 году Ralph Kimball выпустил книгу The Data Warehouse Toolkit и заложил основы dimensional modeling (наш конспект: The Data Warehouse Toolkit).

В 2000-х Google и Amazon столкнулись с огромными объёмами данных. Так появились Google File System и Apache Hadoop, а вместе с ними эпоха Big Data Engineering. Затем пришли публичные облака. В 2012 году AWS выпустил Amazon Redshift, который сочетал OLAP и привычную реляционную базу. Сначала Redshift требовал от администраторов ручной работы: очистки (vacuum) и масштабирования. Позже Redshift, Google BigQuery и Snowflake взяли эту работу на себя.

Следующий шаг — modern data stack: Airflow, dbt, Looker. Профессия «Big Data engineer» ушла, и её место заняла более широкая роль дата-инженера. Этот сдвиг описал Maxime Beauchemin, создатель Airflow и Superset, в статье «The Rise of the Data Engineer».

Сегодня дата-инженер отвечает за моделирование, качество, безопасность, архитектуру и оркестрацию и берёт практики из разработки ПО. Главные языки — Python и SQL, но встречаются Java, Scala и Go.

Компании переходят к децентрализованным командам и self-service платформам, поэтому дата-инженеры расходятся в две стороны. Одни уходят в техническую платформу, другие работают ближе к бизнесу и превращают сырые данные в ценную информацию. Из второй группы и выросло analytics engineering.

Мир данных сегодня трудно охватить целиком. Инструментов стало слишком много. Agile и кросс-функциональные команды ускорили проекты, но работу разных команд и ролей стало труднее согласовать. А data science и BI добавили свои сложные методы. Данных стало больше, и приходят они быстрее, например от IoT-устройств. Поэтому без командной работы и постоянного обучения не обойтись.

Так было не всегда. Десятилетиями данные хранили и анализировали в электронных таблицах. Когда бизнес усложнился, пришла первая революция — базы данных. База данных — это упорядоченный набор структурированной информации в компьютере. Правила хранения задаёт схема (schema), и по ней данные легко найти и прочитать.

Для аналитики базы важны по двум причинам. Во-первых, они хранят и быстро отдают большие объёмы данных. Во-вторых, они следят за целостностью (data integrity), поэтому анализ получается точным. Авторы выделяют два главных применения:

  • Хранилище данных. Это большое централизованное хранилище для удобного анализа. Данные из рабочих систем и других баз очищают и сводят в единую модель, обычно star schema или Data Vault.
  • Data mining. Статистика и машинное обучение ищут в больших наборах данных закономерности и делают прогнозы.

Базы данных помогли появиться data science: data scientists получили удобный доступ к большим наборам данных. А Tableau и Power BI легко подключаются к базам и показывают результаты наглядно.

Но здесь и прячется проблема, ради которой нужна новая роль. Часто BI-инструмент подключают прямо к рабочей базе, точнее к её реплике (OLTP — база для транзакций приложения). На маленьких данных и простых запросах это работает. Когда данных и сложных запросов становится больше, отчёты начинают тормозить.

Сравнение: вверху BI-инструмент читает OLTP-реплику и тормозит на больших данных; внизу исходные системы отдают данные через pipeline в хранилище, и BI отвечает быстро

Верхний ряд схемы показывает старый путь, нижний — путь с analytics engineering. Analytics engineer строит pipeline, который забирает данные из исходных систем, очищает и агрегирует их и кладёт в хранилище данных или data lake. После этого BI работает с готовыми данными быстро. Иначе говоря, analytics engineering соединяет сырые данные и полезные выводы.

Последние десятилетия принесли много кризисов: экономических, геополитических, медицинских, климатических. Бизнес всё равно ищет прибыль и рост, но время людей стало дороже. Поэтому компании выбирают управляемые и serverless-сервисы, которым не нужен штат администраторов баз данных.

Создание, визуализацию и анализ бизнес-данных называют аналитикой данных (data analytics), а раньше называли business intelligence (BI). Авторы разводят термины: BI — часть аналитики, нацеленная на бизнес-решения, а аналитика данных включает ещё продуктовую, операционную и другие виды.

Аналитика дорога: нужны серверы, лицензии и специалисты. В кризис решения on-premises (на своих серверах) теряют привлекательность: они требуют больших вложений, хуже масштабируются и менее гибки. Облачные решения закрывают те же задачи, но запускаются быстрее и дешевле на старте. Поэтому Microsoft, Google и Amazon делают облачные инструменты, например Microsoft Fabric.

dbt от dbt Labs авторы называют гибридным продуктом. Как и Hadoop, это open source, поэтому его можно развернуть и в облаке, и на своих серверах. Облачная версия работает с Azure, GCP и AWS.

У облака есть риски, и авторы перечисляют их:

РискВ чём суть
Приватность данныхТрудно проверить, что поставщик соблюдает законы
Потеря контроляДанные зависят от чужой инфраструктуры
Неполное удалениеУдалённые данные могут остаться у поставщика
Внутренний доступСотрудники поставщика могут увидеть данные
ДоступностьСбой у поставщика останавливает аналитику
Сложные ценыТрудно предсказать счёт
Зависимость от поставщикаУйти к другому поставщику дорого

Данные в облаке собраны в одном месте, поэтому они привлекают атаки. Тем не менее авторы считают, что переход в облако скоро станет не выбором, а необходимостью. Риски снижают стандартами безопасности, контролем затрат и стратегией данных (data strategy): планом, как компания управляет облаком, технологиями, процессами, людьми и правилами. Компания с такой стратегией получает заметное преимущество перед компаниями без неё. К тому же облачная платформа ускоряет внедрение AI, потому что все нужные данные лежат в одном месте.

Жизненный цикл аналитики (data analytics lifecycle) — это шаги, которые превращают сырые данные в удобные data product: наборы данных, дашборды, отчёты, API или веб-приложения. Он нужен потому, что одни и те же данные используют разные люди с разными целями. Директору хватит нескольких ключевых метрик, а менеджеру среднего звена нужен подробный ежедневный отчёт. Значит, продукты должны строиться на общей основе по единым правилам.

Жизненный цикл аналитики: шесть этапов по кругу — постановка задачи, моделирование, загрузка и трансформация, хранение, визуализация, качество и документация

Этапы идут по кругу, и после шестого цикл начинается снова:

  1. Постановка задачи. Понять бизнес-цель, доступные данные и нужные ресурсы.
  2. Моделирование данных. Выбрать технику моделирования под задачу: star schema, Data Vault, полностью денормализованную модель или «diamond strategy». Подробно — в главе 2.
  3. Загрузка и трансформация. Привести данные исходных систем к моделям. При подходе schema-on-write данные сразу преобразуют в модели при записи. При подходе schema-on-read данные кладут почти как есть, а тяжёлые преобразования делают в следующих слоях платформы.
  4. Хранение и структура. Выбрать формат файлов (Parquet, Delta Lake, Iceberg), партиционирование и место хранения: объектное хранилище вроде S3 или хранилище данных вроде Redshift, BigQuery, Snowflake.
  5. Визуализация и анализ. Исследовать данные и строить дашборды для решений. Этот этап делают вместе с бизнесом.
  6. Качество, тесты и документация. На схеме это последний шаг, но качество — забота всего пути. Нужны проверки, тесты в pipeline и описание всех преобразований, чтобы бизнес доверял моделям.

В dbt документация и тесты делаются параллельно с моделями, а не в конце (подробнее — в главе 4). Цикл нужен, чтобы компания решала нужную задачу на нужных данных и получала точные и надёжные результаты.

Analytics engineer — новая ветвь дата-инженеров. Он строит и поддерживает модели данных и pipeline, чтобы аналитики и data scientists занимались сложным анализом.

Роль появилась из-за перехода от ETL к ELT. В старой схеме ETL данные преобразовывали до загрузки (schema-on-write). В ELT данные сначала попадают в хранилище и только потом преобразуются (schema-on-read). Так появилось место для очень технического аналитика, который знает бизнес и умеет превращать сырые данные в чистые модели. В мире ETL для этой работы нужен был человек с навыками и разработчика, и аналитика, а таких найти гораздо труднее.

Analytics engineer стоит между дата-инженерами платформы и аналитиками данных. Его задача — давать компании проверенные, свежие и описанные наборы данных, чтобы люди сами отвечали на свои вопросы. Он применяет практики разработки (контроль версий, CI/CD) и при этом умеет говорить с бизнесом.

Авторы предлагают аналогию со стройкой, которую показывает нижний ряд главной схемы:

  • Дата-инженер платформы — фундамент: надёжная инфраструктура, «трубы» и «электрика».
  • Analytics engineer — архитектор. Он берёт фундамент и проектирует здание под бизнес-модель: от моделей данных до дашбордов.
  • Аналитик данных — дизайнер интерьеров. Он делает здание удобным для тех, кто в нём живёт, то есть для потребителей данных.

Главных обязанностей две. Первая — проектировать модели и структуры в базах и хранилищах, которые выдерживают большие и сложные наборы данных. Вторая — строить и поддерживать pipeline в центральное хранилище.

Реже встречается работа с машинным обучением. Analytics engineer выясняет требования data scientists, помогает выбрать алгоритмы и следит, чтобы модель обучалась на правильных данных. Если он не строит модели сам, то делает pipeline со свежими обучающими и тестовыми данными. Он также готовит офлайн-оценку моделей и сочетает их метрики с бизнес-метриками в мониторинге.

Кроме того, в списке обязанностей у авторов есть такие пункты:

  • проверять качество данных, отслеживать потоки и защищать данные;
  • разворачивать решения в AWS, GCP или Azure и следить за затратами;
  • ускорять хранилища, pipeline и ML-модели;
  • писать на Python, R, SQL и Spark;
  • следить за новыми технологиями и улучшать платформу.

Итак, роль требует технических навыков, умения решать задачи и понимания бизнеса. Analytics engineer должен понимать и техническую, и бизнес-сторону data science и помогать data scientists и IT понимать друг друга.

Data mesh — это подход к стратегии данных, при котором доменные команды бизнеса сами владеют своими данными и сервисами доступа к ним. Они не зависят только от центральной команды данных. Монолитная архитектура данных распадается на независимые сервисы, и каждый можно разрабатывать, разворачивать и масштабировать отдельно.

Авторы видят в этом несколько плюсов. Инфраструктура масштабируется по частям, а изолированных копий данных становится меньше. Каждая команда выбирает свои инструменты, но пользуется общими центральными сервисами, поэтому двигается быстрее. Кроме того, монолит делится на сервисы данных с понятными границами, и data governance становится проще.

Analytics engineer в data mesh строит общие модели данных для многих команд: описанные, защищённые и легко находимые. Он также внедряет правила data governance и вместе с владельцами данных выполняет требования регуляторов. Главное — сменить мышление: данные больше не центральный ресурс, а набор распределённых сервисов.

Data product — это приложение, которое даёт доступ к выводам из данных. Оно помогает принимать бизнес-решения или даже принимает их автоматически. Важно, чтобы его данные могли использовать другие приложения, внутренние и внешние. Примеры от авторов:

  • REST API для запросов к бизнес-модели данных;
  • pipeline, который собирает и обрабатывает данные из разных систем;
  • data lake со структурированными и неструктурированными данными;
  • инструмент визуализации, который помогает понять данные.

Data product можно собрать из микросервисов: маленьких независимых сервисов с API, которые переиспользуют по всей компании.

dbt — это open source инструмент, которым команды создают, тестируют и поддерживают сервисы данных. У каждой модели появляется понятный интерфейс, и другие команды могут её использовать. Для data mesh важны такие возможности dbt:

ВозможностьЧто даёт
МоделированиеМодели пишут на знакомом SQL, поэтому дата-инженеры и аналитики работают вместе
ТестыОшибки находят рано, и сервисы данных остаются надёжными
ДокументацияДругие команды понимают модели и используют их
lineageВидно, откуда пришли данные модели и где они используются
data governanceМожно ввести правила доступа, lineage и проверки качества

Авторы предупреждают, что главное в analytics engineering — модели данных, а data mesh подходит не всем. Многие успешные проекты на dbt начинают с одной star schema и приходят к data mesh позже, когда данных и потребностей становится больше.

Трансформация данных — это перевод данных из одного формата или структуры в другую, чтобы ими было удобно пользоваться. Данные очищают, агрегируют или обогащают. Это ключевой шаг жизненного цикла, и dbt здесь популярен: он быстро делает сложные преобразования и работает вместе с Airflow.

Авторы называют dbt «гембой» для аналитиков. Гемба по-японски значит «настоящее место», то есть место, где создаётся ценность: ценность появляется, когда данные преобразованы и отданы в удобном виде.

ETL и ELT: в ETL данные преобразуются в ETL-инструменте до загрузки в хранилище; в ELT сырые данные загружаются в хранилище и преобразуются там dbt, а Airflow запускает dbt по расписанию

Схема сравнивает два порядка шагов. В ETL данные извлекают, преобразуют под структуру цели и только потом загружают в хранилище данных или data lake. В ELT данные сначала загружают в хранилище и преобразуют уже там. Этот подход новее и гибче: он поддерживает больше задач, вплоть до аналитики почти в реальном времени.

Минус ELT в том, что хранить и загружать сырые данные дороже. Многие компании принимают эти затраты ради гибкости, поэтому ELT стал популярен вместе с облачными хранилищами. При любом подходе без очистки и стандартизации данные будут неточными или неполными, а решения — плохими.

Старые (legacy) процессы ETL были сложными и долгими. Их писали вручную, поэтому они часто ломались и плохо масштабировались. Они не успевали за новыми системами и требованиями бизнеса. С ростом объёма, разнообразия и скорости данных их вытесняет ELT.

Раньше ETL делали двумя способами: своими скриптами или визуальными ETL-инструментами. Например, SQL-скрипты вместе с Java или C# читали реляционную базу, преобразовывали данные в коде и загружали в хранилище. Другой вариант — Oracle Data Integrator или IBM InfoSphere DataStage. Оба способа трудно поддерживать, и обычно для них держат отдельную команду разработчиков.

Многие платформы делали ETL на хранимых процедурах в SQL Server или Oracle. Хранимая процедура — это готовый SQL-код, который хранится в базе и запускается много раз. Смотря по направлению потока данных, её запускают в исходной или в целевой базе.

В книге процедура копирует таблицу во временную, меняет значения через UPDATE и вставляет результат в целевую таблицу. В DuckDB хранимых процедур нет, поэтому покажем те же три шага обычным SQL:

-- Источник и цель
CREATE TABLE source_orders AS
SELECT * FROM (VALUES
(1, ' anna ', 120.00),
(2, 'Boris', NULL),
(3, 'vera', 210.00)
) AS t(order_id, customer, amount);
CREATE TABLE target_orders AS SELECT * FROM source_orders WHERE false;
-- Extract: копируем сырые строки во временную таблицу
CREATE TEMP TABLE tmp_orders AS SELECT * FROM source_orders;
-- Transform: меняем данные на месте
UPDATE tmp_orders
SET customer = upper(trim(customer)),
amount = coalesce(amount, 0);
-- Load: переносим результат в целевую таблицу
INSERT INTO target_orders SELECT * FROM tmp_orders;
SELECT * FROM target_orders ORDER BY order_id;
┌──────────┬──────────┬──────────────┐
│ order_id │ customer │ amount │
│ int32 │ varchar │ decimal(5,2) │
├──────────┼──────────┼──────────────┤
│ 1 │ ANNA │ 120.00 │
│ 2 │ BORIS │ 0.00 │
│ 3 │ VERA │ 210.00 │
└──────────┴──────────┴──────────────┘

Это учебный пример. Настоящий процесс ещё проверяет данные, обрабатывает NULL и ошибки и пишет лог. Основы SQL разобраны в главе 3. Авторы предупреждают о минусах процедур: нужны узкие знания, решение плохо масштабируется, его трудно связать с другими системами и трудно отлаживать.

ETL-инструмент — это программа, которая ускоряет создание pipeline. Она даёт визуальный интерфейс, SDK или библиотеку с готовым кодом для извлечения, преобразования и загрузки данных. Компании используют такие инструменты, чтобы автоматически переносить данные из многих систем в центральное хранилище.

Airflow — популярная open source платформа для запуска pipeline по расписанию. Её создали в Airbnb, и она ценится за гибкость и масштаб. Pipeline в Airflow описывают на Python в виде DAG. DAG (directed acyclic graph) — это граф задач со стрелками, в котором нет циклов. Наш вариант примера из книги: две задачи, запуск раз в час, вторая ждёт первую.

from datetime import datetime, timedelta
from airflow.providers.standard.operators.bash import BashOperator
from airflow.sdk import DAG
default_args = {
"owner": "analytics",
"depends_on_past": False, # запуск не ждёт успеха прошлого запуска
"retries": 1, # одна повторная попытка при сбое
"retry_delay": timedelta(minutes=5),
}
with DAG(
dag_id="hourly_demo",
start_date=datetime(2026, 1, 1),
schedule=timedelta(hours=1), # раз в час
catchup=False,
default_args=default_args,
) as dag:
print_date = BashOperator(task_id="print_date", bash_command="date")
pause = BashOperator(task_id="pause", bash_command="sleep 5", retries=3)
print_date >> pause # pause стартует только после успеха print_date

Проверка без сервера Airflow (ch01_check_dag.py разбирает файл через DagBag):

ошибки импорта: нет
tasks: print_date >> pause
расписание: 1:00:00
retries: {'print_date': 1, 'pause': 3}

Первая задача печатает дату. Вторая ждёт пять секунд, и у неё три повторные попытки вместо одной из общих настроек.

Пояснение: в книге DAG написан для Airflow 2 (airflow.operators.bash_operator, schedule_interval). В Airflow 3 этих имён нет, поэтому код обновлён под Airflow 3.1. Файлы: scripts/analytics-engineering-code/ch01_simple_dag.py и ch01_check_dag.py.

У Airflow два ограничения, пишут авторы. Его сложно настроить и поддерживать на больших pipeline. Кроме того, он не создан для трансформации данных, и для неё нужен дополнительный код или инструменты. Эту задачу решает dbt: он даёт простой интерфейс и правила для трансформаций, а вместе с Airflow получается полное решение ETL/ELT.

dbt — это open source инструмент командной строки, который упрощает трансформацию и моделирование данных. Airflow создаёт, запускает и отслеживает потоки задач. Вместе они делят работу: Airflow запускает dbt по расписанию, а dbt выполняет трансформации. Так команда управляет всем pipeline от извлечения до загрузки, а данные остаются свежими.

Пример авторов — модель, которая считает общую выручку как сумму по всем заказам. Model в dbt — это файл с SELECT-запросом и шаблонами Jinja. Наша версия считает ещё и число заказов:

{{ config(materialized='table') }}
-- общая выручка: сумма по всем заказам
select
sum(orders.revenue) as total_revenue,
count(*) as orders_cnt
from {{ ref('orders') }} as orders

config(materialized='table') просит dbt сохранить результат как таблицу. ref('orders') ссылается на другую модель или seed: dbt сам подставит имя таблицы и запомнит зависимость. Результат dbt seed и dbt run на DuckDB (пять заказов из seeds/orders.csv, скрипт scripts/analytics-engineering-code/ch01_dbt_run.sh):

┌───────────────┬────────────┐
│ total_revenue │ orders_cnt │
│ double │ int64 │
├───────────────┼────────────┤
│ 500.0 │ 5 │
└───────────────┴────────────┘

Авторы называют главные плюсы dbt. Код трансформаций можно переиспользовать, поддерживать и тестировать, поэтому команде проще работать вместе и ошибок меньше. Кроме того, dbt работает с оркестраторами: Airflow, Dagster, Prefect и dbt Cloud. Оркестратор вместе с ним обновляет данные и выкатывает новую логику трансформаций так же, как CI/CD выкатывает код в разработке ПО. Подробно dbt разобран в главе 4.

  • Работа с данными прошла путь от электронных таблиц и хранимых процедур к облаку, Airflow и dbt.
  • BI, подключённый прямо к рабочей базе, тормозит на больших данных, поэтому нужны pipeline и хранилище данных.
  • Облако дешевле на старте и гибче, но несёт риски: приватность, зависимость от поставщика, сложные цены.
  • Жизненный цикл аналитики состоит из шести этапов, а качество данных нужно на каждом из них.
  • Analytics engineer появился благодаря ELT: сырые данные уже в хранилище, и их нужно превратить в модели.
  • Эта роль соединяет дата-инженеров платформы и аналитиков данных и применяет практики разработки.
  • В data mesh analytics engineer строит общие модели как сервисы и следит за data governance.
  • dbt делает SQL-трансформации переиспользуемыми, тестируемыми и описанными, а Airflow запускает их по расписанию.
  • Инструменты меняются, но главные задачи остаются: получить данные, сохранить качество, хранить их эффективно и отдать бизнесу вовремя.
  • В центре всей цепочки стоит моделирование данных, ему посвящена следующая глава.
ТерминЗначение
analytics engineeringДисциплина между дата-инженерией и анализом: превращать сырые данные в чистые модели
analytics engineerСпециалист, который строит, тестирует и описывает модели данных в хранилище
Хранилище данных (data warehouse)Централизованное хранилище, созданное для анализа
OLTPРабочая база приложения, рассчитанная на транзакции, а не на аналитику
ETLИзвлечь, преобразовать, загрузить: трансформация до хранилища
ELTИзвлечь, загрузить, преобразовать: трансформация внутри хранилища
Schema-on-write / schema-on-readСтруктура задаётся при записи данных / при чтении
Жизненный цикл аналитики (data analytics lifecycle)Шесть этапов от постановки задачи до контроля качества
data meshПодход, в котором данными владеют доменные команды
data productДанные или сервис, который отдаёт выводы другим людям и системам
DAGГраф задач без циклов, так Airflow описывает pipeline
modelSELECT-запрос в файле, который dbt превращает в таблицу или view
  • Если отчёты в BI тормозят, проверьте, не смотрят ли они прямо в реплику рабочей базы. Вынесите расчёты в модели в хранилище.
  • В ELT сохраняйте сырые данные как есть, а очистку делайте моделями. Так любую ошибку можно исправить и пересчитать.
  • Пишите тесты и документацию вместе с моделью, а не «потом»: так советует жизненный цикл аналитики.
  • Не начинайте с data mesh. Одна хорошая star schema на dbt часто даёт больше пользы.
  • Делите работу: Airflow (или другой оркестратор) запускает, dbt преобразует.
  • Храните модели в Git и проверяйте изменения через pull request и CI/CD.

Запустите duckdb в терминале или откройте shell.duckdb.org. Блоки идут по порядку. Мы повторим подход ELT: сырые данные уже в базе, а очистку делает одна модель-запрос.

CREATE TABLE raw_orders AS
SELECT * FROM (VALUES
(101, ' anna ', 'paid', 120.00, DATE '2026-03-01'),
(102, 'Boris', 'paid', 75.50, DATE '2026-03-01'),
(103, 'anna', 'cancelled', 40.00, DATE '2026-03-02'),
(104, 'vera ', 'paid', 210.00, DATE '2026-03-02'),
(105, 'boris', 'paid', NULL, DATE '2026-03-03'),
(106, 'Vera', 'paid', 54.50, DATE '2026-03-03')
) AS t(order_id, customer, status, amount, ordered_at);
SELECT count(*) AS rows_total,
count(*) FILTER (amount IS NULL) AS amount_null,
count(*) FILTER (status = 'cancelled') AS cancelled,
count(DISTINCT customer) AS customer_spellings
FROM raw_orders;
┌────────────┬─────────────┬───────────┬────────────────────┐
│ rows_total │ amount_null │ cancelled │ customer_spellings │
│ int64 │ int64 │ int64 │ int64 │
├────────────┼─────────────┼───────────┼────────────────────┤
│ 6 │ 1 │ 1 │ 6 │
└────────────┴─────────────┴───────────┴────────────────────┘

Шесть строк, но шесть разных написаний имён для трёх клиентов. Одна сумма пустая, один заказ отменён.

1. Сделайте view stg_orders: имена без пробелов и в верхнем регистре, пустая сумма равна 0, отменённые заказы убраны. Сравните с процедурой выше: что проще перезапустить?

Решение
CREATE VIEW stg_orders AS
SELECT order_id,
upper(trim(customer)) AS customer,
coalesce(amount, 0) AS amount,
ordered_at
FROM raw_orders
WHERE status <> 'cancelled';
SELECT * FROM stg_orders ORDER BY order_id;
┌──────────┬──────────┬───────────────┬────────────┐
│ order_id │ customer │ amount │ ordered_at │
│ int32 │ varchar │ decimal(12,2) │ date │
├──────────┼──────────┼───────────────┼────────────┤
│ 101 │ ANNA │ 120.00 │ 2026-03-01 │
│ 102 │ BORIS │ 75.50 │ 2026-03-01 │
│ 104 │ VERA │ 210.00 │ 2026-03-02 │
│ 105 │ BORIS │ 0.00 │ 2026-03-03 │
│ 106 │ VERA │ 54.50 │ 2026-03-03 │
└──────────┴──────────┴───────────────┴────────────┘

Один SELECT не меняет сырые данные, поэтому его можно запускать сколько угодно раз. Так работает модель в dbt.

2. Посчитайте выручку и число заказов по клиентам поверх stg_orders, как модель total_revenue выше, но с разбивкой.

Решение
SELECT customer,
count(*) AS orders_cnt,
sum(amount) AS revenue
FROM stg_orders
GROUP BY customer
ORDER BY revenue DESC;
┌──────────┬────────────┬───────────────┐
│ customer │ orders_cnt │ revenue │
│ varchar │ int64 │ decimal(38,2) │
├──────────┼────────────┼───────────────┤
│ VERA │ 2 │ 264.50 │
│ ANNA │ 1 │ 120.00 │
│ BORIS │ 2 │ 75.50 │
└──────────┴────────────┴───────────────┘

После очистки осталось три клиента. Модель читает другую модель, а не сырую таблицу: в dbt это была бы ссылка ref('stg_orders').

3. Напишите проверку в духе dbt: запрос должен вернуть 0 строк, если order_id в stg_orders уникален и не пуст.

Решение
SELECT order_id, count(*) AS cnt
FROM stg_orders
GROUP BY order_id
HAVING count(*) > 1 OR order_id IS NULL;
┌──────────┬───────┐
│ order_id │ cnt │
│ int32 │ int64 │
├──────────┴───────┤
│ 0 rows │
└──────────────────┘

Пустой результат значит, что проверка прошла. Так устроены generic test unique и not_null в dbt.

  1. Почему BI-инструмент, подключённый к реплике рабочей базы, начинает тормозить при росте данных?
  2. Как переход от ETL к ELT создал роль analytics engineer?
  3. Почему качество данных — забота всех этапов жизненного цикла, а не только последнего?
  4. Когда облако выгоднее своих серверов, а когда его риски перевешивают?
  5. Когда компании стоит переходить к data mesh, а когда хватит одной star schema?
  6. Зачем запускать dbt из Airflow, если dbt умеет сам выполнять модели?

Предыдущая: Обзор книги. Следующая: Моделирование данных для аналитики.