Lean Analytics, глава 4: Data-driven и data-informed

Главная мысль: данные нужны, но слепо им следовать опасно. Лучше быть data-informed: данные плюс человеческое суждение.

Два подхода

	Data-driven	Data-informed
Решение	Принимает алгоритм или число	Принимает человек, данные — один из входов
Сильная сторона	Отлично улучшает известную систему	Учитывает контекст и видение
Риск	Слепые пятна, лишняя оптимизация	Решение может быть субъективным

Кейс: Orbitz

• Данные показали, что пользователи Mac бронируют более дорогие отели.
• Это совпало с интуицией, и сервис стал показывать им более дорогие варианты.
• Урок: данные подтвердили догадку, но нужен контекст. Без него можно получить нежелательные последствия.
• Алгоритмам нужен человеческий надзор.

Локальный максимум

• Локальный максимум — лучший результат в пределах текущей идеи.
• Оптимизация доводит вас до вершины «своего холма». Но рядом может быть холм выше.
• Данные хорошо улучшают то, что есть. Новое они находят плохо.
• Для нового нужно выйти за рамки, часто по интуиции или видению.

Девять советов Моники Рогати

1. Чистота данных. Проверяйте точность. Чистка часто сама открывает находки.
2. Нормализация. Смотрите на данные в контексте.
3. Выбросы. Решайте, включать их или нет, по смыслу.
4. Сезонность. Учитывайте колебания по времени.
5. Рост в контексте. Не сообщайте рост без базы сравнения.
6. Дашборды. Не заваливайте пользователя лишним.
7. Алерты. Ставьте реалистичные пороги, иначе наступит усталость от алертов.
8. Смешивание источников. Объединяйте данные для полной картины.
9. Шум. Отличайте закономерность от случайности.

Lean и видение

• Lean Startup учит итерациям. Видение задаёт направление.
• Без видения команда ходит по кругу, оптимизируя мелочи.
• Основатель должен строить устойчивую модель и при этом оставаться гибким.
• Полезно «копнуть глубже» в рынок: это расширяет видение и даёт новые стратегии.

Для дата-инженера

• Советы Рогати — это чек-лист качества данных. Чистка, нормализация, сезонность и шум — ваша работа тоже.
• Алерты на качество данных тоже надо настраивать осторожно.
• Если решение принимает модель или правило, оставьте способ проверить его человеком.

Вопросы для самопроверки

• Где вы оптимизируете мелочи вместо того, чтобы проверить новую идею?
• Какие из ваших алертов игнорируют из-за шума?

Предыдущая: 3. Чем заняться. Следующая: 5. Аналитические фреймворки.