Fundamentals of Data Engineering — конспект книги
Fundamentals of Data Engineering — книга Joe Reis и Matt Housley (O’Reilly, 2022). Она объясняет профессию data engineer через единую рамку: жизненный цикл данных. В книге 11 глав и 2 приложения в трёх частях. Это конспект на русском с разбором по главам и схемами.
Это собственный пересказ, а не перевод. За полным текстом и примерами идите в оригинал. Схемы нарисованы заново по содержанию глав.
Зачем нужна эта книга
Заголовок раздела «Зачем нужна эта книга»Книга не учит одному инструменту. Авторы прямо пишут, что такие книги быстро устаревают. Они описывают то, что остаётся стабильным.
- Единый взгляд на профессию. Работа data engineer описана целиком: от источника данных до потребителя.
- Вне привязки к инструментам. Технологии меняются, этапы жизненного цикла остаются.
- Жизненный цикл. Генерация, хранение, приём, трансформация, выдача. Плюс сквозные темы (
undercurrents): безопасность, управление данными,DataOps, архитектура, оркестрация. - Архитектура. Книга объясняет, как собрать компоненты в рабочую систему. Архитектура и выбор технологий разделены.
- Как выбирать технологии. Рамка помогает отличать пользу от маркетинга.
- Язык для разговора с бизнесом. Вы лучше объясните, что делаете, и поймёте, что нужно потребителям данных.
Для кого
Заголовок раздела «Для кого»| Роль | Что получит |
|---|---|
| Software engineer, data scientist, аналитик, который идёт в data engineering | Полную картину профессии и порядок изучения |
| Data engineer, который знает отдельные технологии | Широкий взгляд и общий язык |
| Тимлид, руководитель данных | Понимание, из чего состоит работа команды и на что смотреть |
Авторы ожидают знакомства с SQL, Python и облачными сервисами. Подход в книге cloud-first, но большинство идей работает и без облака.
Как устроена книга
Заголовок раздела «Как устроена книга»| Часть | О чём | Главы |
|---|---|---|
| I. Foundation and Building Blocks | Определение профессии, жизненный цикл, архитектура, выбор технологий | 1–4 |
| II. The Data Engineering Lifecycle in Depth | Каждый этап цикла в отдельной главе. Ядро книги | 5–9 |
| III. Security, Privacy, and the Future | Безопасность, приватность, взгляд в будущее | 10–11 |
| Приложения | Сериализация и сжатие, сети в облаке | A, B |
Как читать
Заголовок раздела «Как читать»- Новичок. Читайте на уровне идей. Незнакомые термины выписывайте и ищите отдельно. Потом перечитайте. Практикуйте SQL и Python на малых данных в облаке и следите за стоимостью.
- Опытный инженер. Начните с глав 2–4, затем берите этапы, где у вас пробелы. Главы 10 и 11 и приложения читайте по нужде.
- Менеджер. Главы 1–4 и 10. Они дают рамку, архитектуру, выбор технологий и риски.
Разбор по главам
Заголовок раздела «Разбор по главам»| Глава | Тема |
|---|---|
| 1. Что такое data engineering | Определение профессии, зрелость, роли, связь с data science |
| 2. Жизненный цикл | Пять этапов и сквозные темы |
| 3. Хорошая архитектура данных | Принципы, виды архитектур |
| 4. Выбор технологий | Критерии выбора, стоимость, build или buy |
| 5. Источники данных | Откуда берутся данные, как с ними работать |
| 6. Хранение | Системы и абстракции хранения |
| 7. Приём данных | Batch и streaming, способы загрузки |
| 8. Запросы, моделирование, трансформация | Как работают запросы, моделирование данных |
| 9. Выдача данных | Analytics, ML, reverse ETL |
| 10. Безопасность и приватность | Защита данных и соблюдение правил |
| 11. Будущее профессии | Тенденции и прогнозы авторов |
| 12. Приложения | Сериализация, сжатие, сети в облаке |