DuckDB: Up and Running — конспект книги
DuckDB: Up and Running. Fast Data Analytics and Reporting — книга Wei-Meng Lee (O’Reilly, 2025). Она учит работать с DuckDB: встроенной аналитической базой, которая запускается без сервера. В книге 9 глав. Они идут от установки и импорта файлов до Polars, JupySQL, удалённых данных и облака MotherDuck.
Это собственный пересказ, а не перевод. За полным текстом идите в оригинал. Данные для SQL придуманы заново.
Зачем читать
Заголовок раздела «Зачем читать»- DuckDB читает CSV, Parquet и JSON прямо из файлов. Загрузка в базу не нужна.
- Это быстрый способ изучить SQL и проверить идею на локальной машине.
- DuckDB работает в одном процессе с Python. Он понимает
pandasи Polars DataFrame. - Те же запросы идут по файлам в S3, на GitHub и в Hugging Face через
httpfs. - Книга короткая и практичная. Хорошая точка входа для analytics engineer и data engineer.
Как устроена книга
Заголовок раздела «Как устроена книга»| Часть | Главы | О чём |
|---|---|---|
| Основы | 1–3 | Что такое DuckDB, импорт данных, CLI и SQL |
| Python и анализ | 4–5 | Polars, EDA, геоанализ с расширением spatial |
| Форматы и среда | 6–7 | JSON, JupySQL и графики |
| Данные вне ноутбука | 8–9 | Удалённые файлы, Hugging Face, MotherDuck |
Как читать
Заголовок раздела «Как читать»- Новичок. Главы 1–3. Потом глава 5 как пример анализа.
- Analytics engineer. Главы 2, 3, 6 и 8. Это работа с файлами и форматами.
- Data engineer. Главы 2, 4, 8 и 9. Они про интеграции и облако.
- Руководитель. Глава 1: когда DuckDB подходит, а когда нужен сервер.
Как работать с практикой
Заголовок раздела «Как работать с практикой»- Установите DuckDB:
brew install duckdbили откройте shell.duckdb.org. - Данные создаются SQL-кодом. Большие файлы скачивать не нужно.
- Блоки идут по порядку. Выполняйте их сверху вниз в одной сессии.
- Блоки для сети и облака (
https://,hf://,md:) помечены. Их нельзя выполнить без доступа или аккаунта.
Разбор по главам
Заголовок раздела «Разбор по главам»| Глава | Тема |
|---|---|
| 1. Старт с DuckDB | Что такое DuckDB, первые запросы, почему он быстрый |
| 2. Импорт данных | CSV, Parquet, Excel, MySQL |
| 3. Основы SQL | CLI, dot commands, таблицы, join, агрегаты |
| 4. DuckDB и Polars | DataFrame, lazy evaluation, SQL по DataFrame |
| 5. EDA и геоанализ | Анализ задержек рейсов, расширение spatial |
| 6. JSON | Загрузка и экспорт JSON, вложенные данные |
| 7. JupySQL | SQL в Jupyter, графики |
| 8. Удалённые данные | httpfs, GitHub, Hugging Face |
| 9. MotherDuck | DuckDB в облаке, общий доступ, hybrid queries |