#postprocat
Здесь собраны посты про метрику в цифровых проектах: от первого растерянного взгляда на отчет до споров о прибыли, поведении пользователей и цене красивых показателей. Ракурсы различаются позицией автора: новичок ищет опору, аналитик проверяет данные, маркетолог защищает бюджет, а руководитель решает, чему вообще стоит доверять.
Глазами человека, который только разбирается
Первый отчет без притворного понимания
Для честного разговора о знакомстве с показателями.
* Начните с конкретного недоумения и оставьте читателю понятную точку опоры.
№1. Самая страшная кнопка в первом отчете – не "Удалить". Это "Объяснить руководителю".
Сами цифры обычно выглядят дружелюбно. Трудности начинаются, когда нужно сказать, что за ними произошло и почему это важно.
№2. В отчете три тысячи посетителей. Хорошо это или плохо?
Раньше мне хотелось немедленно найти правильный ответ. Теперь больше хочется задать нормальные вопросы: за какой срок, после каких действий, на каком сайте, с какой задачей?
Для небольшого сервиса и крупного магазина одна и та же цифра означает совершенно разные вещи. А если счетчик установлен только на половине страниц, обсуждение масштаба вообще стоит отложить.
Знакомство с метрикой начинается не с умения восхищаться большими числами. Оно начинается с разрешения себе сказать: "Мне пока не хватает контекста".
№3. Открываешь панель аналитики, а там двадцать карточек, семь графиков и ощущение, что пропустил важный семестр собственной жизни.
Я бы не начинал знакомство со всем сразу. Выбрал бы один реальный вопрос: люди вообще доходят до отправки заявки? Потом нашел бы нужное событие, проверил его и посмотрел путь до него.
Так у отчета появляется назначение. Не продемонстрировать, сколько всего можно измерить, а помочь разобраться в конкретном месте.
Остальные карточки никуда не убегут. Даже та, которая выглядит особенно умной.
№4. "Посетитель" и "визит" похожи ровно до момента, когда один человек заходит на сайт утром, днем и вечером.
Мне нравится разбирать аналитику на таком бытовом примере. Не потому, что читатель не способен освоить термины. Просто за словами сразу появляется действие: человек вернулся, продолжил выбирать, вспомнил про корзину.
И тогда вопрос "Почему визитов больше?" перестает звучать как техническая неисправность.
Сложнее становится дальше: один человек может пользоваться разными устройствами, а способы распознавания зависят от настроек системы. Но это уже полезная сложность. Она появляется после понимания, а не вместо него.
№5. Хочу официально признать право новичка не понимать, почему две соседние цифры не складываются в третью.
Возможно, у них разные фильтры. Возможно, разные единицы подсчета. Возможно, отчет действительно настроен неправильно. Вежливый кивок не проверяет ни одну из этих версий.
№6. Представьте первую встречу с отчетом: коллега быстро переключает вкладки, курсор летает, на экране все время что-то растет.
– Здесь все понятно?
– Да.
Вот в этом коротком "да" иногда прячется будущая неделя путаницы. Потом человек копирует показатель в презентацию, сравнивает его с другой системой и обнаруживает, что не знает даже того, кого именно считали.
Мне гораздо ближе другая реплика: "Остановимся на этой строке. Что входит в число и что не входит?" Она не тормозит обучение. Она экономит время всем следующим обсуждениям.
Умение читать метрику не проверяется скоростью переключения вкладок. Можно уверенно пользоваться интерфейсом и ошибаться в смысле. Можно долго смотреть на одну таблицу и наконец заметить главное.
Первый хороший вопрос часто звучит очень просто. Именно поэтому его бывает так неловко задать.
№7. Мой любимый начальный уровень аналитики – когда человек перестает спрашивать "Где тут красивый график?" и спрашивает "Какое решение мы собираемся принять?".
После этого даже обычная таблица внезапно становится интересной.
Маленькие открытия, меняющие взгляд
Для постов об узнаваемых моментах понимания.
* Покажите, как одна деталь перестраивает привычное чтение цифр.
№8. Сравнить понедельник с воскресеньем – быстрый способ придумать кризис там, где просто закончились выходные.
У многих проектов спрос живет по недельному ритму. В одном случае активность растет в рабочие часы, в другом – вечером субботы. Поэтому соседние столбики еще не обязаны быть честными соперниками.
Мне нравится момент, когда новичок впервые замечает этот ритм. График перестает быть набором случайных подъемов и провалов. За ним обнаруживается расписание чужой жизни.
Правда, похожие дни тоже требуют контекста: праздник, рассылка или технические работы легко меняют обычную картину.
№9. Конверсия выросла вдвое. Был один заказ на сто визитов, стало два.
Фраза звучит как начало победной презентации. Числа – как приглашение немного подождать.
Я не против радоваться второму заказу. Для маленького проекта это может быть настоящее событие. Но радость и уверенность в устойчивом росте – разные состояния.
На небольшом объеме один покупатель способен нарисовать резкий поворот графика. Поэтому рядом с процентом мне хочется видеть абсолютные значения. Они возвращают истории человеческий масштаб: не абстрактное "плюс сто процентов", а еще один человек, который купил.
№10. "Ничего не произошло" – тоже результат наблюдения.
Особенно если до этого все были уверены, что новая кнопка немедленно изменит поведение посетителей. Иногда метрика приносит не сенсацию, а освобождение от красивой догадки.
№11. Есть странное удовольствие в первой самостоятельно проверенной цели.
Открываешь сайт, заполняешь форму тестовыми данными, отправляешь, ждешь появления события. В этот момент аналитика перестает быть чужим черным ящиком. Между действием и строкой в отчете появляется понятная связь.
Потом выясняется, что отправка могла не дойти до сервера, а событие уже записалось. Или что повторное нажатие учитывается еще раз. И проверка становится интереснее.
Именно поэтому я люблю тестировать не только счастливый путь. Ошибка, повтор, обновление страницы, возвращение назад – у посетителей нет обязанности вести себя по нашему аккуратному сценарию.
№12. Проценты научили меня смотреть вниз.
Не на падающий график, а на знаменатель. За эффектным показателем почти всегда стоит менее эффектный вопрос: относительно какого количества мы это посчитали?
№13. Допустим, на сайте стало меньше посещений, а заказов осталось столько же. Первая реакция – тревога: трафик падает. Вторая – любопытство: кто именно перестал приходить?
Возможно, исчезли случайные переходы из нерелевантного источника. Возможно, закончилась рекламная кампания, которая приводила любопытных, но не покупателей. А возможно, часть посещений перестала фиксироваться из-за технического изменения.
Эти версии ведут к разным действиям. В одном случае ничего спасать не нужно. В другом стоит проверить рекламу. В третьем – сбор данных.
Так один отчет учит довольно взрослому навыку: не назначать событию значение раньше, чем разберешься в его составе.
Мне кажется, именно здесь проходит граница между просмотром цифр и работой с ними. Цифра уже есть. Смысл еще предстоит установить.
№14. Когда впервые находишь нужный сегмент, хочется сегментировать вообще все: по устройству, источнику, городу, часу, фазе собственного любопытства.
Потом обнаруживаешь таблицу, где в каждой строке по два человека. Аналитический азарт прекрасен. Но ему полезно иногда смотреть на размер группы.
Вопросы, которые не стыдно задавать
Для спокойного вовлечения без проверки читателя на компетентность.
* Задайте вопрос через реальную рабочую неопределенность, а не через экзамен.
№15. Какую цифру вы раньше понимали совсем не так?
Не "не знали формулу", а именно приписывали ей лишний смысл. Например, считали время на странице прямым доказательством интереса, а потом увидели человека, который просто оставил вкладку открытой.
У меня к таким открытиям большое уважение. Они редко выглядят эффектно, зато делают дальнейшие решения заметно аккуратнее. После них в разговоре появляются слова "возможно", "зависит от настройки", "нужно проверить".
Со стороны это может звучать менее уверенно. По сути – гораздо профессиональнее.
№16. Если вам показывают конверсию без названия действия, вы вправе уточнить, во что именно конвертировались люди.
В покупку, нажатие, регистрацию или случайное открытие окна? Процент одинаково уверенно выглядит во всех четырех случаях.
№17. "Сколько должно быть отказов?" – вопрос, на который хочется ответить встречным: "А зачем человек пришел?"
На странице с номером телефона посетитель может быстро найти нужное и уйти звонить. В длинном процессе оформления столь же короткий визит может означать совсем другое. Еще важно, как конкретная система считает этот показатель.
Универсальная норма удобна: один порог, красная зона, зеленая зона. Но сайт не обязан соответствовать удобству нашей таблицы.
Мне интереснее разбирать конкретный путь. Что человек хотел сделать? Что успел? Есть ли другие признаки успеха или затруднения? Иногда после этих вопросов страшный процент становится просто особенностью сценария.
№18. На первом разборе отчета я бы разрешил только три вопроса:
• Что именно мы считаем?
• Насколько полно это попадает в отчет?
• Что сделаем, если число изменится?
Не потому, что остальные вопросы не нужны. Эти три быстро показывают, перед нами рабочий инструмент или экран для впечатления гостей.
Если на третий вопрос нет ответа, показатель можно оставить для наблюдения. Но не обязательно выдавать ему место в центре всей работы.
№19. Меня настораживает фраза "Тут все очевидно", произнесенная до проверки фильтров.
Очевидность в аналитике иногда заканчивается одним незаметным переключателем: вместо всех посетителей выбраны только новые, вместо месяца – последние семь дней.
№20. Представьте, что вы получили готовую панель показателей от человека, который завтра уходит из команды.
Красивые диаграммы на месте. Доступ открыт. Данные обновляются. Кажется, передача состоялась.
Но затем выясняется, что одна цель устарела, из выручки вручную исключали определенные заказы, а резкий скачок весной связан не со спросом, а с заменой счетчика. Ничего из этого не видно по цвету линий.
Поэтому мне нравится просьба новичка: "Расскажите историю этого отчета". Не устройство интерфейса, а историю решений, исключений и странностей.
Почему выбрали такие показатели? Какие события им не видны? С какого момента сравнение стало корректным? Где команда уже обжигалась?
Хорошая передача аналитики оставляет не только доступ к цифрам. Она оставляет возможность не наступать на старые технические и смысловые ловушки в одиночку.
Глазами аналитика, который проверяет основу
Эти посты про метрику подходят для разговора о невидимой работе: проверках, расхождениях и восстановлении контекста.
Когда сначала проверяют измерение
Для объяснения, почему поиск причины начинается не с поведения аудитории.
* Сопоставьте тревожный график с конкретной технической версией.
№21. Продажи не выросли вдвое. Событие покупки отправилось два раза.
Неприятная развязка для праздничного сообщения, зато полезная для бюджета. Прежде чем масштабировать успех, стоит убедиться, что успех не продублирован в коде.
№22. Нулевая конверсия после обновления сайта выглядит драматично. Особенно если менеджеры продолжают получать заявки.
В такой ситуации меня интересует не новая психология покупателя, а старый вопрос: работает ли измерение? Не изменился ли адрес страницы подтверждения, не переименовали ли кнопку, не исчез ли обработчик события?
Падение настоящего спроса и поломка учета могут нарисовать похожий график. Но действия потребуются противоположные.
Поэтому в моем идеальном рабочем чате рядом с сообщением о выпуске новой версии есть короткая строка: "Ключевые события проверены". Без фанфар. С подтвержденным тестом.
№23. Аналитик смотрит на всплеск посещений и вместо "Ура!" спрашивает: "А кто пришел?"
Это не профессиональная неспособность радоваться. Просто у резкого роста бывает несколько авторов: удачная публикация, автоматический обход, внутренняя проверка, ошибочно размеченная ссылка.
Я бы начал с распределения по источникам, страницам входа и характеру действий. Не ради поиска подвоха любой ценой, а чтобы понять, с чем мы имеем дело.
Настоящий успех от проверки не становится меньше. Зато у него появляется объяснение, которое можно использовать дальше.
№24. В тестовом заказе фамилия "Проверка", товар за рубль и доставка в офис. В отчете – еще один счастливый покупатель.
Если команда регулярно тестирует рабочий сайт, внутренние действия могут незаметно попадать в бизнес-показатели. Особенно заметно это там, где реальных заказов пока немного.
Мне нравится, когда тестирование не превращают в секретную деятельность. У него есть понятные метки, согласованный способ исключения и границы применения. Просто убрать всех сотрудников по одному признаку тоже не всегда получится: устройства, сети и сценарии бывают разными.
Чистота данных начинается с бытовой договоренности. Кто проверяет, как обозначает тест и кто потом убеждается, что он не украшает отчет о спросе.
№25. Иногда самое полезное движение в аналитике – не построить новый график, а открыть один конкретный заказ и пройти его след по системам.
У общей суммы редко бывает лицо. У расхождения почти всегда есть адрес.
№26. Допустим, форма показывает сообщение "Заявка отправлена", а событие уже давно настроено на нажатие кнопки. Посетитель нажал, получил ошибку обязательного поля, исправил, нажал снова.
В интерфейсе это один человек, который наконец справился. В неудачно настроенном отчете – несколько целевых действий. А в бизнесе может быть всего одна заявка или вообще ни одной, если передача на сервер не завершилась.
Именно такие мелочи заставляют меня спорить о названиях событий. "Нажал отправить" и "Заявка принята" нельзя считать стилистическими вариантами одной фразы. Это разные этапы с разной надежностью.
Проверять нужно не только наличие сигнала, но и момент его появления. Что уже произошло к этой секунде? Что еще может сорваться?
Чем ближе показатель к деньгам и обещаниям перед клиентом, тем дороже обходится эта разница. Здесь точность формулировки – не занудство редактора. Это часть корректного измерения.
№27. Хорошая новость: счетчик установлен.
Плохая: только на главной.
Очень хочется, чтобы фраза "Аналитика подключена" означала проверенный охват нужных страниц и сценариев, а не один зеленый значок в настройках.
Расхождения без поиска виноватого
Для постов о несовпадающих отчетах и спокойном расследовании.
* Разведите разные способы подсчета до обсуждения ошибок людей.
№28. Две системы показывают разное число заказов, и обе могут считать последовательно.
Одна берет дату оформления, другая – дату оплаты. Одна включает отмененные заказы, другая исключает. Где-то отчет построен по событиям, где-то по уникальным номерам.
Разумеется, возможна и ошибка. Но объявлять ее до сверки определений – примерно как спорить о длине дороги, не уточнив точку старта.
Мне нравится начинать такие обсуждения с одного примера. Берем заказ, смотрим его время, статус, идентификатор и путь попадания в каждый отчет. Конкретный случай часто объясняет расхождение быстрее, чем двадцать сообщений "У нас правильно".
№29. Полночь – маленькая деталь, способная разделить одну покупку между двумя отчетными днями.
Разные часовые пояса не выглядят как большая бизнес-проблема. Пока команда не начинает ежедневно выяснять, куда исчезли вечерние заказы.
№30. "Почему реклама приписала себе больше продаж, чем видно в общей аналитике?"
Мне не нравится ответ "Потому что все врут". Он эмоционально завершенный и практически бесполезный.
Системы могут использовать разные окна учета, модели атрибуции, способы распознавания пользователя и правила фиксации конверсии. Кроме того, один заказ иногда оказывается в отчетах нескольких рекламных источников.
Это не значит, что любое расхождение нормально. Это значит, что сначала нужно сравнить логику, а уже потом оценивать надежность.
И еще: складывать все заявленные рекламными площадками продажи в общую выручку – соблазнительный способ получить бизнес заметно крупнее настоящего.
№31. Бывает, отчет за вчера меняется сегодня. А завтра – еще немного.
Часть данных приходит с задержкой, статусы заказов обновляются, атрибуция может пересчитываться. Поэтому мне важна не только дата периода, но и момент выгрузки.
Иначе два человека сохраняют "один и тот же отчет", встречаются через неделю и начинают искать потерянные строки.
У снимка данных должен быть свой момент времени. Это скучная подпись ровно до первого спора, в котором она экономит полдня.
№32. Самый мирный способ обсудить расхождение – заменить "У вас неправильные цифры" на "Давайте найдем первый объект, который попал в один отчет и не попал в другой".
У разговора сразу появляется предмет вместо противника.
№33. Вообразим магазин с заказами через сайт, звонки и сообщения. Владелец смотрит на веб-аналитику и спрашивает, почему там не вся выручка.
Вопрос разумный. Неразумно было бы отвечать так, будто браузер обязан знать все, что произошло после закрытия страницы.
Человек мог посмотреть товар, позвонить с другого устройства, договориться с менеджером и оплатить позже. Чтобы связать этот путь, нужны дополнительные процессы и данные. Иногда связь получится надежной, иногда останется вероятностной, иногда ее вообще не будет.
Мне важна честная граница: вот что наблюдаем напрямую, вот что соединяем по согласованным признакам, а вот что пока не видим.
Такой отчет выглядит менее всезнающим. Зато на его основе можно планировать улучшение учета, а не обвинять покупателей в неправильном поведении.
Люди покупают удобным для себя способом. Наша схема измерения должна учитывать это обстоятельство, а не требовать обратного.
№34. Если итог в таблице не равен сумме строк, я сначала ищу уникальных пользователей и пересекающиеся группы.
Один человек способен побывать в нескольких сегментах. Арифметика при этом не ломается – меняется то, что именно складывают.
Невидимая работа с качеством данных
Для признания ценности проверок, документации и ограничений.
* Дайте рутинной операции конкретную цену в решениях команды.
№35. У хорошего названия события длинная жизнь.
"Клик_новый_2" понятен примерно до следующего вторника. "Успешная оплата заказа" хотя бы сообщает, какое действие подразумевали, хотя и его техническую логику нужно описать отдельно.
Мне нравится документация, в которой есть не только название, но и условие отправки, важные параметры и ответственный за изменение. Не роман на сорок страниц – рабочая память команды.
Когда через полгода показатель неожиданно падает, эти строки помогают отличить изменение поведения от изменения кода. Удобное имя события не заменяет проверку. Но заметно сокращает путь к ней.
№36. Аналитическая романтика: заметить аномалию.
Аналитическая реальность: проверить, не поменялся ли тип поля после обновления.
Второе реже попадает в красивые выступления. Зато без него первое иногда оказывается просто неправильно прочитанной строкой.
№37. Я за право отчета показывать не только число, но и предупреждение о его качестве.
Например: данные за последние часы неполные. Часть заказов еще без окончательного статуса. Сегмент слишком мал для уверенного сравнения. После определенной даты изменилась логика события.
Такие пометки не делают аналитику слабее. Они защищают ее от использования не по назначению.
Мы же не считаем прогноз погоды испорченным, если в нем указана вероятность осадков. Почему от бизнес-отчета иногда требуют выглядеть абсолютно уверенным даже там, где оснований для этого нет?
№38. Представьте день без заметных событий: отчеты обновились, проверка прошла, суммы сошлись. Ни пожара, ни срочного созвона, ни героического исправления ночью.
В команде легко не заметить человека, который сделал такой день возможным. Его работа растворяется в нормальном состоянии системы.
Но стоит убрать регулярные проверки, и через некоторое время появляются удивительные открытия: поле давно пустое, один источник перестал передаваться, валюты смешались, тестовый поток попал в рабочий.
Мне кажется несправедливым оценивать аналитическую инфраструктуру только по яркости спасательных операций. Профилактика не обязана выглядеть как подвиг, чтобы иметь ценность.
Иногда лучший результат специалиста – скучное утро, в которое никто не принимает решение на сломанных данных.
№39. После изменения логики учета я хочу видеть отметку прямо на графике.
Иначе через месяц технический переход начнут объяснять сезонностью, рекламой, погодой и загадочными переменами в характере аудитории. Память команды короче истории данных.
№40. "Соберем все, потом разберемся" звучит предусмотрительно. На практике это может означать гору событий без понятного назначения и лишние риски для приватности.
Я предпочитаю обсуждать сбор с вопроса: какое решение поддержит эта информация? Если события никто не использует, они не становятся полезными от количества.
Кроме того, у данных есть стоимость: настройка, хранение, проверка, доступы, поддержка описаний. И есть ответственность за то, что вообще не следовало отправлять в аналитику.
Хорошая схема измерения не обязательно самая подробная. Она достаточно подробная для задачи и достаточно понятная, чтобы команда могла ей управлять.
Глазами маркетолога, который отвечает за результат
Посты про метрику с этого ракурса раскрывают конфликт между рекламными цифрами, качеством обращений и реальным спросом.
Когда красивые показатели не оплачивают рекламу
Для честного разговора о промежуточных успехах.
* Покажите расстояние между рекламным действием и результатом бизнеса.
№41. Дешевый клик умеет очень дорого обходиться.
Особенно когда за ним приходит человек, которому обещали одно, а на странице предлагают другое. Экономия на входе еще ничего не говорит о цене покупателя.
№42. Объявление можно сделать таким любопытным, что на него нажмут даже люди, которым совершенно не нужен продукт.
Это не всегда плохо: у кампаний бывают разные задачи. Плохо, когда повышенный интерес к формулировке выдают за повышенный спрос на предложение.
Мне нравится смотреть на продолжение истории. Что случилось после перехода? Нашел ли человек обещанное? Дошел ли до осмысленного действия? Соответствовали ли обращения условиям услуги?
Кликабельность помогает понять реакцию на объявление. Но если ей поручить в одиночку оценивать весь маркетинг, она начнет отвечать на вопросы, которых не слышала.
№43. Сто заявок выглядят убедительно, пока отдел продаж не открывает первые десять.
"Ищу работу". "У вас бесплатно?" "Мне в другой город". "Просто хотел узнать".
Я не считаю такие обращения плохими людьми или бесполезным шумом по определению. Но бизнесу важно понимать, какую задачу выполняла реклама и насколько точно она объяснила предложение.
Поэтому количество заявок хочется видеть рядом с их качеством, дальнейшими статусами и причинами отказа. Иначе маркетолог получает награду за заполненную форму, а менеджер – очередь разговоров, которые не могли закончиться продажей.
Общая метрика здесь нужна не для взаимных претензий, а для общего определения подходящего обращения.
№44. Самая неудобная заявка для отчета – дорогая, но идеальная.
Самая удобная – дешевая, но бесперспективная.
Если оценивать только стоимость формы, система быстро научится предпочитать вторую. Даже без злого умысла со стороны людей.
№45. Допустим, две кампании привели одинаковое число заказов. У первой ниже рекламные расходы, у второй – меньше возвратов и больше повторных покупок.
Кто победил?
Вопрос перестает быть простым, как только мы выходим за пределы одной недели. И это нормально: привлечение не заканчивается в момент первого платежа.
Я бы не пытался немедленно придумать единственную волшебную цифру. Сначала договорился бы о горизонте сравнения и составе результата: выручка, маржинальный доход, возвраты, дальнейшее поведение покупателей.
В быстром отчете может выиграть одна кампания, в экономике отношений с клиентом – другая. Метрика не обязана убрать это противоречие. Она должна сделать его видимым.
№46. Меня веселит выражение "Трафик хороший, просто не покупает".
Может быть, он действительно хорош для знакомства с темой. Может быть, сайт мешает оформлению. Но для кампании на продажи эту фразу все-таки нужно продолжить объяснением.
№47. Представьте обсуждение рекламы: маркетолог показывает снижение стоимости обращения, руководитель продаж – снижение доли подходящих клиентов. Каждый принес доказательство своей правоты.
Если остановиться здесь, встреча превратится в соревнование презентаций. Если соединить данные по этапам, появится другая картина: откуда пришли люди, что им обещали, как быстро ответили, по какой причине разговор закончился.
Возможно, реклама стала шире. Возможно, менеджеры не успевают обрабатывать поток. Возможно, критерий "качественная заявка" у двух отделов вообще разный.
Мне нравится, когда такая встреча заканчивается не назначением виноватого, а коротким совместным экспериментом. Уточнить обещание в объявлении. Изменить обязательный вопрос в форме. Проверить скорость первого контакта. Затем посмотреть на весь путь, а не только на удобный участок.
Маркетинговая метрика становится полезнее, когда перестает служить личным адвокатом одного отдела.
Спор об источнике продажи
Для постов о пути клиента и ограничениях атрибуции.
* Соберите несколько касаний в человеческую историю без обещания увидеть все.
№48. Человек увидел публикацию, спросил знакомого, почитал отзывы, вернулся по поиску и купил.
Отчету нужен источник. Человеку источник не нужен: у него просто постепенно сложилось решение.
Кажется, это полезно помнить перед очередной войной за последнюю продажу.
№49. Последний переход удобен тем, что его легко назвать. Неудобен тем, что он не обязательно объясняет появление спроса.
Если покупатель несколько недель знакомился с продуктом, финальный визит может оказаться только завершающим движением. Как дверь магазина: через нее вошли, но не она одна убедила купить.
Это не повод отказаться от выбранной модели учета. Это повод не путать модель с полной биографией решения.
Мне нравится, когда команда говорит точно: "По этой модели вклад распределился так". В этой фразе меньше магии, зато больше пространства для проверки других объяснений.
№50. Прямой заход – не признание человека в том, что он набрал адрес по памяти.
Иногда системе просто не хватает информации об источнике. Поэтому большая доля таких визитов вызывает у меня не только гордость за узнаваемость, но и желание проверить разметку и способы перехода.
№51. Потерянная метка в ссылке редко выглядит как катастрофа в момент публикации. Пост вышел, переходы идут, все довольны.
Проблема приходит позже, когда нужно понять, откуда появились обращения. И выясняется, что несколько разных размещений сложились в одну неразличимую группу.
Я люблю небольшие предварительные проверки именно за это: они скучные до события и бесценные после него. Открыть готовую ссылку. Убедиться, что параметры сохранились. Проверить конечную страницу после перенаправления.
Не вся аналитическая работа происходит внутри отчета. Иногда ее качество определяется за минуту до нажатия "Опубликовать".
№52. Брендовый поиск часто завершает работу, начатую где-то еще.
Поэтому я настороженно отношусь к идее отключить все менее очевидные источники только потому, что они редко оказываются последними перед покупкой.
Сначала хочется понять, что они делают: знакомят, объясняют сложный продукт, возвращают сомневающихся или действительно расходуют бюджет впустую. Ответ потребует больше, чем одного столбца.
При этом обратная крайность тоже не помогает. Слова "Мы формируем спрос" не дают вечного освобождения от проверки эффекта. Просто способ проверки должен соответствовать заявленной роли.
№53. Представим покупателя, который увидел рекламу на телефоне в автобусе, а заказ оформил вечером с домашнего компьютера. Для него между этими действиями нет загадки. Для аналитики связь может оказаться неполной.
Теперь добавим разговор с коллегой, сохраненный скриншот и возвращение через несколько дней. Путь не становится неправильным. Он становится обычным.
Поэтому мне не близко обещание восстановить абсолютно каждое касание каждого клиента. Иногда это технически невозможно, иногда потребует неоправданного вмешательства в приватность, иногда даст больше уверенности, чем реального знания.
Можно улучшать измерение, сопоставлять источники, использовать эксперименты и спрашивать покупателей об их пути. Но важно не выдавать каждую соединенную точку за безупречную истину.
Маркетологу нужен достаточно надежный способ распределять усилия. Ему не обязательно знать всю цифровую биографию человека.
Контент, который работает не только кликами
Для оценки публикаций, рассылок и сложных коммуникаций.
* Свяжите показатель с работой конкретного материала.
№54. Полезную инструкцию могут сохранить и не прочитать сразу. Новость – быстро просмотреть и забыть. Страницу с ценой – открыть пять раз перед решением.
Если оценивать все три материала одной метрикой, кто-нибудь обязательно окажется виноватым не по делу.
№55. Дочитывание не всегда означает согласие. Комментарий не всегда означает интерес к покупке. Сохранение не гарантирует, что человек когда-нибудь вернется.
Я не предлагаю обесценить эти сигналы. Наоборот, у каждого есть свой смысл. Проблема начинается, когда ему приписывают слишком длинное продолжение.
Для разбора контента мне нравится сначала закончить фразу: "После этого материала человеку должно стать легче…" Понять устройство услуги? Выбрать тариф? Избежать ошибки? Решиться на разговор?
Дальше уже можно искать наблюдаемые признаки. Они останутся несовершенными, но хотя бы будут связаны с задачей текста.
№56. Статья может уменьшить количество обращений в поддержку. И это будет хорошая новость.
Хотя в отчете, где главным успехом объявлен любой контакт с компанией, полезный материал внезапно станет выглядеть неэффективным.
Мне нравится этот пример за простую неудобную мысль: не всякое действие нужно увеличивать. Иногда продукту и человеку лучше, когда действие вообще не потребовалось.
№57. Рассылка с громкой темой собрала открытия. Внутри оказалось обычное предложение, и читатели почувствовали, что их заманили.
На коротком горизонте можно показать красивый процент. На длинном придется разбираться с отписками, снижением доверия и привычкой игнорировать следующие письма.
К тому же сами данные об открытиях зависят от технических особенностей почтовых клиентов, поэтому воспринимать их как точный счет заинтересованных людей рискованно.
Мне ближе оценка, где внимание не отрывают от продолжения: осмысленных переходов, полезных действий, жалоб и дальнейшей реакции аудитории. Любопытство можно вызвать один раз. Отношения с читателем на этом не заканчиваются.
№58. Провокационный пост иногда приносит больше комментариев, потому что люди исправляют автора.
Прежде чем объявлять рекорд вовлеченности, я бы прочитал хотя бы часть обсуждения. У числа сообщений нет встроенного чувства репутации.
№59. Представим два видео об одной услуге. Первое начинается с громкого обещания и удерживает зрителя интригой. Второе сразу объясняет, кому услуга не подходит, поэтому часть людей быстро уходит.
По одному показателю удержания первое может выглядеть убедительнее. Но если второе помогает неподходящим клиентам не тратить время, а подходящим – быстрее разобраться, его работа сложнее простого соревнования за минуты.
Мне не хочется превращать это в оправдание любого скучного ролика. Слабая подача существует, и данные помогают ее увидеть. Но честное уточнение условий тоже существует.
Поэтому к графику просмотра полезно добавить содержание конкретного момента. Где люди ушли? После технической паузы, длинного вступления или ясного ограничения?
Одинаковый изгиб линии может означать редакторскую проблему или хорошо выполненную фильтрацию ожиданий. Без просмотра самого материала мы обсуждаем форму следа, не зная, что его оставило.
№60. Контенту иногда нужен срок, чтобы сработать.
Материал для быстрого выбора обеда и объяснение сложной корпоративной услуги живут в разных циклах решения. Требовать от них одинакового числа заявок за сутки – все равно что оценивать обе поездки по первым ста метрам.
Я за заранее оговоренный горизонт наблюдения. Не бесконечное "эффект еще придет", а разумный срок, промежуточные признаки и момент пересмотра гипотезы.
Так у автора остается пространство для работы, а у бизнеса – возможность понять, что происходит, не прибегая к вере.
Глазами продуктовой команды
Пользователь за линией воронки
Для разговора о затруднениях, которые скрываются за процентами.
* Переведите изменение показателя в конкретное действие человека.
№61. На этапе доставки ушло двадцать процентов посетителей. В таблице – потеря конверсии. На экране человека – неожиданная доплата.
Воронка показывает место, где стоит присмотреться. Причину все равно придется искать за пределами процента.
№62. Мне нравится смотреть на воронку не как на трубу, из которой "вытекают пользователи", а как на последовательность обещаний.
На первом экране пообещали простое оформление. На втором попросили зарегистрироваться. На третьем выяснилось, что нужного способа оплаты нет.
Тогда падение между шагами становится не только задачей для аналитика, но и вопросом к продукту: что человек ожидал увидеть и что получил?
Это не отменяет технических проверок. Возможно, событие шага просто не записалось. Но если измерение работает, за столбиком начинается разговор об опыте, а не о недостаточно послушной аудитории.
№63. Долгое время в интерфейсе может означать увлеченность. А может – поиск кнопки "Скачать документ".
Без знания задачи пользователя метрика времени слишком легко награждает продукт за чужую растерянность.
№64. Представьте человека, который хочет записаться на услугу с телефона. Он выбирает время, вводит данные, случайно закрывает экранную клавиатуру и обнаруживает, что кнопка подтверждения уехала за край.
В отчете останется незавершенный шаг. Если смотреть только на общую конверсию, можно неделями спорить о цене, тексте и качестве аудитории.
Но срез по устройствам, проверка конкретного сценария и наблюдение за использованием быстро сузят поиск. Здесь проблема не в отсутствии желания. Человеку буквально неудобно закончить действие.
Мне нравится сочетание чисел и внимательного просмотра интерфейса. Одно помогает понять масштаб, другое – увидеть механизм.
При работе с записями сессий, если они используются, важны настройки приватности и маскировки данных. Любопытство команды не дает права заглядывать туда, где человек вводит личную информацию.
№65. "Пользователи не заметили новую функцию" и "Пользователям не нужна новая функция" – разные версии.
Между ними лежат место кнопки, доступность сценария, понятность названия и реальная задача человека. Низкое использование не выбирает объяснение за нас.
№66. Если люди часто возвращаются на предыдущий шаг, я не спешу объявлять это неудобством.
Возможно, они сравнивают варианты – именно так, как и предполагалось. Возможно, проверяют введенный адрес. А возможно, не понимают, что произошло после нажатия.
Мне интересна последовательность: где начинается возврат, чем заканчивается, отличаются ли успешные сессии от незавершенных. Иногда к цифрам нужен короткий разговор с пользователем.
Один и тот же жест мышью может быть частью уверенного выбора или признаком путаницы. Метрика фиксирует движение. Значение движения приходится устанавливать отдельно.
№67. Люблю момент, когда команда заменяет "Нужно увеличить клики" на "Нужно помочь человеку быстрее получить результат".
После этого лишний клик может исчезнуть, показатель на кнопке – снизиться, а продукт – стать лучше. Удобство не всегда рисует рост.
Эксперимент без преждевременного триумфа
Для постов о проверке идей и цене поспешного вывода.
* Сохраните азарт гипотезы, но покажите границы уверенности.
№68. Вариант Б лидирует через два часа после запуска. Очень хочется остановить тест и поздравить команду.
Особенно если вариант Б придумал ты.
Вот почему правила эксперимента полезно обсуждать до того, как появятся первые симпатичные цифры.
№69. Хорошая гипотеза не обижается на отсутствие эффекта.
Если изменение не помогло, это не обязательно означает, что команда плохо работала. Возможно, выбранная деталь действительно не была главным препятствием. Мы перестали тратить на нее веру, время и будущие переделки.
Мне нравится отчет об эксперименте, в котором написано не только "победил" или "проиграл", но и что именно стало понятнее. Какие объяснения ослабли? Какие вопросы остались? Насколько точен результат?
При этом "мы чему-то научились" не должно превращаться в универсальный туман. Полезно назвать, чему конкретно и на основании каких наблюдений.
№70. Допустим, новая форма увеличила число регистраций, потому что из нее убрали важный вопрос. Команда празднует. Через неделю выясняется, что людям сложнее начать пользоваться сервисом: нужные данные все равно приходится запрашивать позже.
Форма стала короче, путь – нет.
Поэтому мне нравятся эксперименты с защитными показателями. Помимо основной цели команда заранее смотрит, не ухудшились ли ошибки, качество дальнейших действий, обращения в поддержку или другой важный участок опыта.
Нельзя предусмотреть все последствия. Но можно хотя бы не объявлять победой перенос неудобства на следующий экран.
Улучшение локальной конверсии интересно. Улучшение целого сценария – интереснее.
№71. Если одновременно поменять цену, страницу и аудиторию рекламы, рост получится. Возможно.
А вот понимание, что именно сработало, может не получиться. Результат и объяснение результата – разные приобретения.
№72. Меня настораживает тест, в котором главный показатель выбирают после просмотра результатов.
Сначала собирались улучшить покупки. Покупки не изменились, зато стало больше открытий меню. И вот уже презентация посвящена новой глубине взаимодействия.
Открытия меню могут быть интересным наблюдением. Но это не делает их задним числом исходной целью.
Честнее разделить: основная гипотеза не получила нужной поддержки, зато обнаружился дополнительный сигнал, который стоит проверить отдельно. Так команда сохраняет и любопытство, и память о том, что действительно обещала выяснить.
№73. Представим спор дизайнера и руководителя: один уверен, что спокойный экран понятнее, другой требует добавить яркий призыв. В какой-то момент звучит спасительное: "Давайте протестируем".
Хорошая идея – если тест способен ответить на вопрос. Но сначала придется договориться, что считать успехом, кому показывать варианты, как долго наблюдать и какие изменения нельзя допустить.
Иначе эксперимент станет новой ареной старого спора. Один будет ссылаться на клики, другой – на завершенные действия, третий – на красивые записи сессий.
Мне нравится, когда до запуска команда записывает несколько простых условий: что проверяем, почему ожидаем эффект, по какому сигналу примем решение, что сделаем при неопределенном результате.
Это не убивает творческую работу. Это не дает вкусу одного человека переодеться в объективность после того, как цифры уже появились.
Эксперимент полезен не тем, что прекращает разговор. Он делает разговор проверяемым.
№74. Новинка может привлекать внимание просто потому, что она новая.
Поэтому ранний всплеск использования я воспринимаю с интересом, но без пожизненного признания успеха. Любопытство и устойчивая полезность встречаются не в каждом продукте.
Возвращение, привычка и реальная ценность
Для обсуждения удержания без культа ежедневных посещений.
* Соотнесите частоту использования с естественным ритмом задачи.
№75. Сервисом подачи годовой отчетности не обязаны пользоваться каждый день.
Если его команда начнет любой ценой растить ежедневную активность, пользователи могут получить больше напоминаний, но не больше пользы.
Мне нравится вопрос: как часто у человека естественным образом возникает наша задача? После него разговор об удержании становится разумнее.
Для одного продукта важен следующий день, для другого – следующий месяц или повторная ситуация. Не всякая редкость означает потерю клиента. Иногда человек успешно справился и живет дальше.
№76. Регистрация – это еще не знакомство с ценностью продукта.
Человек мог создать аккаунт, увидеть пустой экран и уйти. Поэтому меня интересует момент, после которого у него появилось что-то полезное: готовый документ, первый результат, настроенный рабочий процесс.
Этот момент у разных продуктов разный. Его нельзя просто позаимствовать из чужой презентации вместе с красивым названием.
Особенно любопытно сравнить дальнейшее поведение тех, кто до него дошел, и тех, кто остановился раньше. Не как окончательное доказательство причины, а как направление для исследования.
№77. Удержание нельзя честно сравнивать, если одной группе дали месяц на возвращение, а другой – три дня.
Календарь тоже участвует в расчете. И иногда именно он делает свежую аудиторию на графике подозрительно нелояльной.
№78. Представьте сервис, который помогает человеку решить неприятную разовую задачу. Все получилось быстро, поддержка не понадобилась, возвращаться в ближайшее время незачем.
В примитивном отчете такой пользователь может выглядеть потерянным. В его собственной истории продукт сработал отлично.
Это заставляет меня осторожнее относиться к слову "отток". За отсутствием визитов бывают разочарование, смена обстоятельств, завершение проекта и успешное решение вопроса.
Разумеется, бизнесу важно понимать повторный спрос. Но сначала стоит разделить естественное окончание потребности и уход из-за проблем.
Иногда полезнее измерять готовность выбрать сервис при следующем подходящем случае, рекомендации или успешное завершение задачи. При этом опросные ответы тоже не равны будущему поведению.
Мне близка аналитика, которая оставляет человеку право не пользоваться продуктом, когда он ему не нужен.
№79. Рост уведомлений легко принять за рост отношений с пользователем.
Но если человек открывает приложение только чтобы убрать красный значок, у команды появилась активность, а у него – еще одна мелкая обязанность.
№80. Общая кривая возвращений иногда скрывает два разных продукта внутри одного.
Новички пробуют базовый сценарий и быстро уходят. Опытные пользователи нашли рабочую связку функций и возвращаются регулярно. Если усреднить их поведение, получится среднепонятная история о среднем человеке, которого никто не встречал.
Мне интересно смотреть на группы по времени начала использования и по осмысленным различиям в опыте. Не ради бесконечного дробления, а ради вопроса: у кого продукт действительно прижился и что с этим связано?
Дальше нужно не копировать внешние признаки успешных пользователей, а разбираться в их задачах. Корреляция с нажатием определенной кнопки еще не означает, что всем остальным достаточно приказать нажать ее тоже.
Глазами владельца бизнеса
Здесь посты про метрику связывают цифровые показатели с деньгами, запасом прочности и управленческими решениями.
Выручка, которая еще не стала прибылью
Для разговора о результате за пределами оборота.
* Поставьте рядом привлекательную сумму и то, что остается после расходов.
№81. Оборот вырос. На счете теснее.
Такая ситуация не обязательно означает ошибку в отчете: деньги могут уйти в закупки, отсрочки, доставку и обслуживание роста. Большая выручка не обещает свободные деньги автоматически.
№82. Скидка умеет красиво поднимать конверсию. В этом и заключается часть ее работы.
Но если после скидки каждый заказ приносит слишком мало, радость от роста количества быстро встречается с расходами. Особенно когда добавляются доставка, комиссия, обработка и возвраты.
Мне нравится обсуждать акцию с двух сторон: как изменилось поведение покупателей и как изменилась экономика заказа. Еще важно, не перенесли ли постоянные клиенты привычные покупки на период распродажи.
У акции может быть разумная цель, кроме немедленной прибыли: освобождение склада, знакомство с продуктом, возвращение аудитории. Главное – назвать ее заранее, а не подобрать удобное объяснение после.
№83. Средний чек вырос, потому что дешевые товары закончились.
Формально показатель улучшился. Покупатели потеряли доступные варианты, часть ушла без покупки.
Вот почему мне хочется знать не только направление стрелки, но и обстоятельство, которое ее повернуло.
№84. Представим магазин, который удвоил число заказов после рекламной кампании. На общей встрече все выглядит прекрасно: спрос есть, реклама работает, команда справилась.
Через некоторое время проявляется другая сторона. Склад работает сверхурочно, ошибки комплектации участились, доставка подорожала, часть покупателей вернула товар. Итоговая прибыль выросла гораздо слабее, чем ожидали, или не выросла вовсе.
Это не история о том, что рост плох. Это история о том, что рост нагружает систему.
Поэтому рядом с маркетинговыми показателями владельцу нужны операционные: стоимость обработки, сроки, доля проблемных заказов, возвраты. И финансовые – с понятным составом расходов и периодом учета.
Метрика продаж отвечает на важный вопрос, но не на все вопросы одновременно. Бизнес состоит не только из момента, когда человек нажал "Оплатить". После этого заказ еще нужно выполнить.
№85. Покупатель оплатил год вперед. На счете праздник, в обязательствах – двенадцать месяцев работы.
Мне кажется полезным иногда смотреть на поступление денег именно с этой стороны. Не все полученное сегодня уже заработано сегодняшними усилиями.
№86. Возврат неприятен не только тем, что уменьшает выручку. Он может указывать на несбывшееся ожидание.
В карточке товара размер выглядел иначе. Условия услуги прочитали по-другому. Рекламное обещание оказалось шире реального предложения.
Поэтому я бы не прятал возвраты в общий финансовый минус. Разделение по причинам помогает увидеть, где проблема: в качестве, описании, доставке, выборе аудитории или самом процессе покупки.
При этом не каждый возврат – провал команды. У клиентов меняются обстоятельства. Полезная метрика позволяет различать ситуации, а не превращает все случаи в один повод для выговора.
№87. Самый дорогой заказ иногда выглядит самым выгодным в рекламном отчете.
Пока не посчитаешь часы согласований, индивидуальные переделки и нагрузку на поддержку. Выручка на клиента и прибыльность отношений – не одно и то же.
Решение, а не коллекция показателей
Для руководительской позиции о полезности отчетности.
* Привяжите число к выбору, который предстоит сделать.
№88. Я бы убрал с главного экрана показатель, на изменение которого никто не собирается реагировать.
Не обязательно удалил навсегда. Перенес бы туда, где его смотрят по необходимости.
В центре управленческого отчета слишком мало внимания, чтобы занимать его цифрами "для общего развития". Там должны быть сигналы, связанные с решениями: запасом денег, загрузкой, спросом, качеством обслуживания.
Красивую панель можно рассматривать долго. Рабочая панель помогает вовремя сделать что-то конкретное.
№89. "Какую конверсию нам поставить в план?" – не всегда первый вопрос.
Сначала хочется понять, на чем основан план: прошлый опыт, изменение продукта, новый состав аудитории, ограничение мощностей? И что именно команда может изменить за выбранный срок?
Число, появившееся только потому, что оно круглое и амбициозное, не становится стратегией.
Мне ближе план, у которого есть предпосылки. Если они не сбылись, обсуждают не только исполнительность людей, но и саму исходную модель. Иначе аналитика превращается в календарь разочарований.
№90. Десять минут на отчет и сорок минут на решение мне нравятся больше, чем сорок минут чтения цифр и фраза "Продолжаем наблюдать".
Наблюдать тоже бывает правильно. Но хорошо бы понимать, какого сигнала мы ждем.
№91. Представьте руководителя, который получает каждое утро красную стрелку по вчерашним продажам. Сегодня он срочно меняет рекламу, завтра – цену, послезавтра – приоритет товара.
Через неделю уже трудно понять, что повлияло на результат. Система управления стала источником колебаний, которые сама же пытается объяснить.
Мне нравится разделять ритмы. Технический сбой требует быстрой реакции. Медленно меняющийся спрос – другого горизонта. Стратегический эффект новой услуги вообще может не помещаться в ежедневный отчет.
Одинаковая частота просмотра не нужна всем показателям. Иногда полезно видеть цифру каждый день, но принимать решение только после накопления достаточного контекста.
Управленческая выдержка – не равнодушие к данным. Это понимание, на какой скорости они начинают что-то означать.
№92. Если все показатели главные, главный показатель – растерянность руководителя.
Двадцать равноправных стрелок легко сообщают двадцать разных направлений. Приоритет нужен не только задачам, но и способу смотреть на результат.
№93. Мне интересны пороги, за которыми заранее стоит действие.
Не просто "внимательно следим за скоростью обработки", а "если очередь превышает согласованный предел, подключаем дополнительную смену". Не "контролируем запас денег", а понятный сценарий при сокращении доступного периода работы.
Такие правила не отменяют здравый смысл. Ситуация может потребовать исключения. Но они уменьшают вероятность того, что команда заметит проблему только после эмоционального сообщения в чате.
Метрика особенно полезна там, где превращает расплывчатое беспокойство в своевременный разговор о конкретном действии.
Цена роста и запас прочности
Для обсуждения ограничений, риска и долгого горизонта.
* Добавьте к обещанию роста ресурс, который может закончиться первым.
№94. Если производство загружено полностью, еще больше заявок может увеличить не прибыль, а очередь недовольных людей.
Иногда лучший маркетинговый результат – не максимальный поток, а поток, который бизнес способен хорошо обслужить.
№95. У среднего значения есть неприятная привычка скрывать крайние случаи.
Среднее время доставки выглядит приемлемо, пока часть покупателей ждет в несколько раз дольше обещанного. Для них утешение про "в целом все нормально" звучит особенно неудачно.
Поэтому владельцу полезно видеть не только середину, но и распределение: сколько заказов выполнено вовремя, насколько велики самые долгие задержки, где они возникают.
Репутацию часто определяет не средний опыт, а заметная доля тяжелых историй. Метрика должна помогать их обнаружить, а не растворять в спокойной цифре.
№96. Один крупный клиент способен нарисовать великолепный месяц и опасную зависимость одновременно.
Рост выручки радует. Доля этого клиента в общей сумме заставляет задать второй вопрос: что произойдет, если следующий заказ он перенесет?
№97. Представим бизнес, который считает стоимость привлечения по рекламным расходам, но не включает работу людей и инструменты. Для быстрой оперативной оценки такой срез может быть полезен, если все понимают его границы.
Проблема начинается, когда его принимают за полную стоимость получения клиента и на этой основе обещают бесконечное масштабирование.
При росте понадобятся новые сотрудники, больше обработки, дополнительные сервисы. Часть расходов изменится скачком, а не плавно. Удвоение бюджета не обязано удвоить число покупателей по прежней цене.
Мне нравится финансовая модель, в которой видны допущения. Какие расходы учтены? Какие пока считаем постоянными? На каком объеме понадобится новый ресурс?
Упрощенная метрика не плоха сама по себе. Опасно забыть, что она упрощенная, именно в тот момент, когда решение становится дорогим.
№98. Окупаемость через год и деньги на зарплату в конце месяца живут в разных календарях.
Даже привлекательная экономика клиента не отменяет кассовый разрыв. Долгий горизонт полезен, пока бизнес способен до него дойти.
№99. Мне не близка вера в прогноз как в обещание.
Особенно если он построен на коротком периоде, где случайно совпали удачная акция, высокий сезон и крупный заказ.
Гораздо полезнее несколько сценариев с понятными условиями: что будет при сохранении спроса, при снижении повторных покупок, при росте стоимости привлечения. Не ради демонстрации тревожности, а ради подготовки вариантов действий.
У прогноза есть хорошая работа: сделать будущее обсуждаемым. Плохая работа – придать неопределенности вид точной суммы до копейки.
Глазами команды, которая живет с показателями
Эти посты про метрику – о рабочих разговорах, мотивации и ситуациях, когда правила подсчета меняют поведение людей.
Совещания без войны графиков
Для узнавания рабочих сцен и улучшения общего языка.
* Столкните две интерпретации и найдите вопрос, который соединяет участников.
№100. На встрече три человека сказали "активный пользователь" и имели в виду трех разных людей.
Один – любого вошедшего. Второй – выполнившего действие. Третий – оплатившего доступ.
Первые двадцать минут спора можно было заменить одним уточнением.
№101. Мне нравится отчет, рядом с которым есть короткая запись: что изменили за период.
Подняли цену. Убрали товар. Запустили новый способ оплаты. Остановили часть рекламы. Изменили часы поддержки.
Без этого на встрече начинается конкурс памяти: каждый объясняет график тем событием, которое помнит лучше остальных. А события, произошедшие в другом отделе, будто не существовали.
Общий журнал изменений не гарантирует правильную причинную связь. Зато дает список реальных версий вместо импровизации. И позволяет честно сказать: факторов было несколько, отдельно их влияние мы пока не определили.
№102. "Цифры не врут" – слабое начало разговора, если после него нельзя спросить о способе подсчета.
Мне больше нравится: "Вот что мы измерили, вот как, вот где есть ограничения". Такая фраза оставляет место для работы, а не только для согласия.
№103. Представим встречу, на которой показатель снизился впервые за несколько месяцев. Человек, отвечающий за направление, еще не начал говорить, а остальные уже ждут оправдания.
В такой обстановке легко получить не расследование, а защитную речь. Не потому, что сотрудник обязательно скрывает правду. Просто цена неопределенности стала слишком высокой: сказать "пока не знаю" кажется опасным.
Мне нравится другой порядок. Сначала подтверждают изменение и качество данных. Затем перечисляют версии. Потом договариваются, какие проверки реально различат эти версии и когда вернутся к разговору.
Ответственность никуда не исчезает. Исчезает требование мгновенно сочинить убедительную причину.
Команда, в которой можно временно не знать, иногда узнает правду быстрее команды, где на любой красный график обязаны немедленно ответить уверенной интонацией.
№104. Самая полезная фраза на разборе: "Эти данные не отвечают на наш вопрос".
После нее может понадобиться другая выборка, интервью или эксперимент. Зато не придется выжимать доказательство из таблицы, которая о другом.
№105. Отчет для исполнителя и отчет для руководителя не обязаны совпадать.
Первому нужны детали, чтобы найти причину и изменить процесс. Второму – состояние системы, риски и решение, которое требует его участия.
Когда обоим отправляют одну огромную таблицу, исполнитель ищет нужный разрез среди итогов, а руководитель – главный смысл среди технических столбцов.
Я не вижу в разных представлениях попытки что-то скрыть, если исходные определения и доступ к деталям прозрачны. Это обычное уважение к задаче человека. Одни данные могут быть показаны на разной глубине без превращения в разные версии правды.
Когда показатель становится целью
Для позиции о мотивации, побочных эффектах и справедливой оценке.
* Покажите, какое поведение поощряет правило, даже если никто не хотел плохого.
№106. Если премия зависит только от числа закрытых обращений, сложные обращения внезапно становятся неудобными.
Не потому, что сотрудники разлюбили клиентов. Система буквально объяснила им, за какую работу заплатят больше.
№107. Сокращать среднюю длительность звонка можно двумя способами: быстрее помогать или быстрее заканчивать разговор.
На графике оба способа способны выглядеть одинаково. В жизни клиента – совершенно по-разному.
Поэтому мне хочется видеть рядом с временем результат решения, повторные обращения и качество ответа. Не бесконечную коллекцию контрольных чисел, а несколько противовесов, которые не позволяют улучшать один участок за счет другого.
Хорошая система оценки учитывает, как именно получено достижение. Иначе команда рано или поздно научится выполнять план способом, который заказчику совсем не понравится.
№108. Дизайнеру ставят цель увеличить клики по кнопке. Он делает кнопку заметнее. Клики растут, ошибочные переходы – тоже.
Формально задача выполнена.
Мне кажется, такие истории полезно начинать не с претензии к исполнителю, а с вопроса к постановке задачи. Зачем вообще нужен был клик? Что должно было произойти после него? Как понять, что человек нажал осознанно?
Метрика не освобождает руководителя от объяснения смысла работы. Иногда она особенно удобный способ этот смысл пропустить.
№109. Нельзя честно сравнивать сотрудников по числу решенных задач, если одному достаются простые случаи, а другому – все, что не получилось у остальных.
Таблица может выглядеть равной. Условия работы при этом остаются разными.
№110. Представьте команду продаж, которой в конце месяца осталось немного до плана. Возникает соблазн закрыть сделки любыми скидками, перенести будущие покупки на текущую дату и пообещать дополнительные условия.
Месяц заканчивается красиво. Следующий начинается с пустой воронки и обязательств, о которых забыли на праздничном слайде.
Я не считаю планирование злом. Проблема появляется, когда одна отчетная граница становится важнее устойчивого результата. Тогда календарь начинает управлять поведением сильнее потребностей клиентов.
Полезно смотреть не только на факт выполнения, но и на состав продаж: скидки, маржинальность, сроки оплаты, возвраты, переносы между периодами. А еще – обсуждать, какие способы достижения цели неприемлемы даже при хорошем итоговом числе.
У метрики должна быть область ответственности. У людей – понимание, что за ее пределами тоже существует бизнес.
№111. Показатель, который человек не может заметно изменить своей работой, плохо подходит для личной оценки.
Обсуждать его нужно. Делать из него персональный приговор – гораздо сомнительнее. Особенно если главные рычаги находятся в другом отделе.
Усталость от бесконечного измерения
Для человеческого разговора об отчетной нагрузке и внимании.
* Возьмите бытовую рабочую деталь вместо общей жалобы на цифры.
№112. Если подготовка еженедельного отчета занимает весь понедельник, интересно, кто в это время улучшает показатели вторника.
Автоматизация не решает все вопросы. Но ручное перекладывание одинаковых чисел тоже не становится аналитикой от своей регулярности.
№113. Знакомая сцена: человек обновляет панель каждые пятнадцать минут, хотя решение можно будет принять только через неделю.
Технически он работает с данными. По ощущению – проверяет, не изменилось ли будущее без его разрешения.
Я не хочу высмеивать такую тревогу. У цифр есть сильное свойство: они создают ощущение контроля даже там, где контроль ограничен. Но частота просмотра не увеличивает размер выборки настолько быстро, как хотелось бы.
Иногда полезнее договориться о времени следующей проверки и заняться тем, что действительно находится в зоне влияния. Например, закончить проверку формы, поговорить с клиентом или описать гипотезу.
№114. Уведомление о каждой небольшой просадке постепенно учит команду не замечать уведомления.
Мне нравятся сигналы, у которых есть владелец, понятный уровень важности и ожидаемое действие. Остальное быстро превращается в фоновый шум с красными значками.
№115. Представим специалиста, который ведет несколько проектов. У каждого свой отчет, свое определение заявки, свой день выгрузки и своя просьба "добавить еще один небольшой столбец".
По отдельности просьбы выглядят разумно. Вместе они съедают время, которое могло уйти на исследование причин и проверку решений.
Поэтому я за периодическую ревизию отчетности. Кто читает эту часть? Какое решение приняли с ее помощью за последнее время? Нужна ли такая частота? Можно ли использовать общее определение вместо трех похожих?
Это не борьба против прозрачности. Прозрачность страдает и от избытка: важное тонет в обязательном, а люди перестают внимательно смотреть на длинные файлы.
Хороший отчет можно не только создать, но и вовремя сократить. Удаленный бесполезный столбец иногда возвращает команде больше пользы, чем новый эффектный график.
№116. Мне нравится, когда в команде можно показать неудачный эксперимент без театра раскаяния.
При условии, что он был разумно устроен, ограничения понятны, а результат честно разобран. Иначе люди начнут беречь не бюджет, а собственную видимость безошибочности.
№117. Данные не заменяют доверие между людьми.
Если руководитель уверен, что сотрудник пытается его обмануть, он потребует еще один показатель. Потом еще один. Затем детальную разбивку действий по минутам. Но подозрение редко насыщается таблицами.
Мне ближе ясные договоренности: какой результат ожидается, что человек контролирует, где нужна помощь, как проверяется качество. Метрика в такой системе поддерживает разговор.
В системе постоянного недоверия она легко становится инструментом наблюдения без понимания. Цифр больше, сотрудничества меньше, а реальные проблемы все так же стараются не показывать.
Глазами скептика, которому важны границы цифр
Посты про метрику в этом разделе помогают спорить с ложной уверенностью, не отказываясь от измерений.
Что показатель не может доказать
Для спокойного разбора сильных заявлений и слабых оснований.
* Отделите наблюдаемое изменение от объяснения, которое к нему добавили.
№118. После редизайна выросли продажи. Одновременно начался высокий сезон и снизилась цена.
Мне нравится новый дизайн. Но любовь к нему не дает права записать на его счет все, что произошло рядом по календарю.
№119. Корреляция – хороший повод заинтересоваться и плохой повод немедленно командовать.
Если активные покупатели часто пользуются определенной функцией, это еще не значит, что нажатие на нее сделает остальных активными покупателями. Возможно, функцию находят люди с уже возникшей потребностью. Возможно, обе особенности связаны с опытом использования.
Мне нравится превращать такое наблюдение в проверяемую гипотезу. Почему связь могла появиться? Что должно измениться, если причина действительно здесь? Как отличить это от альтернатив?
У осторожности есть практическая польза: она не позволяет строить продукт из случайных спутников успеха.
№120. "У нас выше среднего по рынку" звучит убедительно, пока не выясняется, что рынок собрали из разных продуктов, стран и способов подсчета.
Чужой ориентир полезен как повод задать вопрос. Как окончательный вердикт – заметно реже.
№121. Представим две группы покупателей. В одной много постоянных клиентов, в другой – в основном новые. Первая показывает лучшую конверсию, и кто-то предлагает скопировать ее рекламный подход.
Но сравнение пока смешивает два разных обстоятельства: способ привлечения и уже существующие отношения с брендом. Люди, которые знают условия и доверяют продавцу, приходят с другим запасом готовности.
Мне хочется сначала выровнять важные различия или хотя бы явно их показать. Иначе вывод "этот источник лучше" может означать всего лишь "эта аудитория знакома с нами дольше".
В аналитике опасны не только неправильные числа. Правильно посчитанные числа тоже умеют поддерживать неверный вывод, если группы сравнивают без учета их состава.
Таблица сама не предупреждает, что участники пришли на старт с разной дистанции.
№122. Чем меньше группа, тем осторожнее я отношусь к эффектным процентам с двумя знаками после запятой.
Точность отображения не равна точности знания. Иногда дополнительные цифры просто делают неопределенность наряднее.
№123. Общая конверсия может снизиться, даже если внутри важных сегментов ничего не ухудшилось.
Например, выросла доля новой аудитории, которая обычно покупает реже постоянной. Состав потока изменился – и общий показатель поехал вслед за ним.
Мне нравится этот момент аналитической оптики: сначала кажется, что сломался сайт, а потом выясняется, что к нему пришли другие люди.
Это не означает, что снижение можно проигнорировать. Бизнесу все равно важно, что происходит с результатом. Но и решение будет другим: не обязательно переделывать оформление, возможно, нужно пересмотреть ожидания от нового источника или помочь незнакомой аудитории разобраться.
Приватность и человеческое достоинство
Для позиции о допустимых границах наблюдения.
* Покажите конкретное удобство бизнеса и право человека, которое нельзя потерять ради него.
№124. Если данные можно собрать, это еще не значит, что их нужно собирать.
У любопытства отдела аналитики должны быть границы. Особенно там, где начинается личная информация, не нужная для решения рабочей задачи.
№125. Мне не нравится, когда отказ от отслеживания описывают как неисправность пользователя.
Человек может не хотеть делиться частью данных. Это ограничивает наблюдение, но не превращает его выбор в ошибку, которую бизнес обязан обойти.
Работа с метрикой включает жизнь с неполной картиной. Можно улучшать прозрачность, объяснять назначение сбора, использовать допустимые агрегированные способы оценки и учитывать применимые правила.
Нельзя обещать себе, что право на точный отчет важнее любого чужого предпочтения. У бизнеса есть задачи. У человека – тоже, и среди них не обязательно присутствует помощь нашей атрибуции.
№126. В поле комментария к заказу человек может написать гораздо больше, чем ожидает разработчик: сведения о здоровье, семейной ситуации, коде доступа, чужом телефоне.
Если такое поле бездумно отправляется в аналитическое событие, техническая подробность превращается в серьезный вопрос о данных.
Поэтому я за минимизацию и внимательную проверку параметров. Нужна ли эта строка целиком? Можно ли решить задачу без нее? Кто получит доступ?
За названием "дополнительный параметр" иногда скрывается кусок чужой жизни. В интерфейсе настройки это не всегда заметно.
№127. Тепловая карта показывает, куда нажимали. Она не дает права говорить: "Мы знаем, что люди чувствовали".
Между наблюдаемым действием и внутренним состоянием остается расстояние. Уважать его полезно и для этики, и для качества выводов.
№128. Представим обсуждение записей пользовательских сессий. Кто-то замечает странные движения курсора, кто-то смеется над повторными попытками заполнить форму.
Мне бы хотелось остановить именно этот смех. Человек не пришел на экзамен по нашему интерфейсу. Он пытался решить свою задачу в условиях, которых мы можем не знать: маленький экран, плохая связь, усталость, особенности зрения или моторики.
Если инструмент наблюдения используется, ему нужны законные основания, корректные настройки защиты информации и уважительный способ обсуждения. Запись – не развлекательный материал и не доказательство глупости посетителя.
Самый полезный вопрос здесь: что в продукте заставило человека действовать так долго и сложно? Иногда ответ будет техническим. Иногда понадобится исследование доступности. Иногда мы вообще не сможем уверенно восстановить причину.
Но даже в последнем случае можно не превращать чужое затруднение в повод почувствовать себя умнее.
№129. Успешное удержание и затрудненный уход способны давать похожие цифры.
Если подписку сложно отменить, низкий отток еще не доказывает любовь к продукту. Иногда метрика выглядит здоровой именно потому, что человеку неудобно защитить свой выбор.
Как не потерять реальность за отчетом
Для завершающих по смыслу, но самостоятельных авторских позиций.
* Сопоставьте измеримое с важным, не объявляя их противниками.
№130. Клиентская история не отменяет статистику. Статистика не отменяет клиентскую историю.
Одна показывает масштаб, другая может объяснить механизм. Мне нравится работа, в которой их не заставляют драться за право считаться настоящей реальностью.
№131. Нулевое число жалоб может означать прекрасный сервис. А может – отсутствие удобного способа пожаловаться.
Поэтому тишина в отчетах меня не всегда успокаивает. Важно, откуда вообще приходят сигналы: доступна ли обратная связь, читают ли сообщения, фиксируют ли обращения одинаково.
Человек может просто уйти и не объяснить причину. Для него это рационально: он не обязан бесплатно консультировать компанию о ее недостатках.
Метрика удовлетворенности начинается не только с формулы, но и с условий, в которых человеку предложили высказаться. И с понимания, кого мы в результате так и не услышали.
№132. Представьте опрос, на который отвечают только самые довольные и самые раздраженные клиенты. Среднее значение посчитано без ошибки. Но между крайними голосами остается большая молчащая группа.
Мне кажется важным спрашивать не только "Что ответили?", но и "Кто ответил?". Когда отправили приглашение, насколько легко его заметить, не исключили ли людей, которые уже ушли, отличается ли доля ответов между сегментами?
Это не повод выбросить опрос. Ответы могут содержать ценные сигналы и конкретные проблемы. Просто их нельзя автоматически превращать в точный портрет всей аудитории.
Иногда честная подпись "мнение ответивших участников" полезнее громкой фразы "наши клиенты считают". Вторая звучит увереннее, но обещает знание, которого у исследования могло не быть.
№133. Самая важная перемена иногда начинается с фразы менеджера: "Люди стали задавать другой вопрос".
В отчете ее еще нет. Это не делает наблюдение доказанным, но делает его достойным проверки. Аналитика умеет слушать не только таблицы.
№134. Я не хочу выбирать между интуицией и метрикой, будто это два несовместимых характера.
Опыт помогает заметить странность, придумать объяснение, выбрать перспективную гипотезу. Измерение помогает проверить масштаб, увидеть противоречие и не слишком долго любоваться собственной догадкой.
Проблемы начинаются с крайностей. Интуиция без проверки легко объявляет личный вкус законом рынка. Цифры без понимания задачи легко оптимизируют не то действие.
Мне ближе рабочий цикл: заметить, предположить, проверить, пересмотреть. В нем есть место и внимательному человеку, и аккуратному отчету. Никому не требуется изображать всеведение.
№135. Самый честный экран аналитики не обещает показать весь бизнес.
Он показывает наблюдаемую часть – с понятными определениями, периодом, ограничениями и связью с решениями. За пределами остаются разговоры, ожидания, случайности, неудобства, которые еще не научились измерять, и изменения, для которых пока слишком рано делать вывод.
Мне нравится не поклоняться цифрам и не обесценивать их. Проверенный показатель способен вовремя остановить дорогую ошибку. Один разговор с человеком способен подсказать, какой показатель мы вообще забыли построить.
В хорошей работе с метрикой есть место фразам "это видно", "это предполагаем" и "этого пока не знаем". Они не мешают друг другу.
Наверное, именно такой отчет мне хочется открывать утром: не самый впечатляющий, а тот, после которого яснее, что происходит, что стоит проверить и где еще нельзя быть слишком уверенным.
#postprocat