diff --git a/analytics-levels.md b/analytics-levels.md new file mode 100644 index 0000000..562f265 --- /dev/null +++ b/analytics-levels.md @@ -0,0 +1,636 @@ + +Подробно рассказываем про Аналитиков данных в Авито на [отдельном лендинге](https://avito.tech/analytics). +А в этой статье знакомим с профилями Аналитиков, ожиданиями от них и условиями перехода на следующий уровень. + + +# Профили аналитиков + +Профили аналитиков нужны для того, чтобы оценивать коллег в соответствии с их уровнем на [performance review](https://github.com/avito-tech/playbook/blob/master/goal-setting.md#performance-review) и сделать продвижение по карьерной лестнице понятным и прозрачным. + + +**Карьерная лестница** + +Карьерная лестница — это возможный путь развития аналитика в Авито в зависимости от того, какие задачи он решает, и какие основные скиллы при этом использует. + +Аналитик проходит традиционный путь от Junior до Senior Analyst. Потом выбирает, как двигаться дальше — по экспертному или менеджерскому треку. + +- [Экспертный трек](#экспертный-трек) + +- [Менеджерский трек](#менеджерский-трек) + +## Базовые ожидания + +Ожидается, что каждый аналитик в нашей команде, независимо от уровня, обладает следующими базовыми качествами и навыками: + +**Критическое мышление** + +* Обладает здоровым скептицизмом при работе над поставленной задачей и анализе существующих данных. Не воспринимает как должное имеющиеся данные и метрики, постоянно подвергает их сомнению. + +**Навык эффективной коммуникации** + +* Воздействует на принимаемые решения через коммуникацию. Опирается на данные и результаты исследования, когда доказывает свою точку зрения. + +* Важно, чтобы аналитик эффективно взаимодействовал с коллегами, не владеющими статистическими методами анализа. Он должен уметь объяснять метрики, методологии и полученные результаты в простой и понятной форме без терминологии, требующей специальной подготовки. + +**Обладает системным и структурированным мышлением.** + +* Способен мыслить от общего к частному и наоборот. + +## Условия переходов между уровнями: +Переходы между уровнями – это не что-то само собой разумеющееся. Они не происходят автоматически по истечении времени. Сначала аналитик начинает полноценно перформить на следующем уровне и только потом происходит переход. Ожидания каждого следующего уровня добавляются к ожиданиям предыдущих. + +![](https://habrastorage.org/webt/bn/6m/z2/bn6mz28zzc2bnvp5epqbojvovcc.png) + +# Экспертный трек + +Состоит из следующих уровней: + +- [Junior](#junior) + +- [Analyst](#analyst) + +- [Senior Analytic (SA)](#senior-analytic-sa) + +- [Lead Analytic (LA)](#lead-analytic-la) + +- [Principal (PA)](#principal-pa) + + +## Junior + +**Поиск задач** + +Не ожидается. Однако JA должен убедиться в актуальности проблемы и полезности её решения для заказчика. + +**Формализация подхода к решению** + +Осуществляется старшими коллегами. JA должен убедиться, что предлагаемый подход действительно решит поставленную задачу. + +**Интерпретация и проверка результатов** + +За интерпретацию результатов отвечает заказчик или старшие коллеги. + +**Презентация результатов** + +Не ожидается, что JA будет презентовать результаты бизнесу, но документирование результатов — обязательное условие завершения любых исследований. + +**Внедрение результатов** + +Внедрение происходит под надзором старших коллег. Во многих случаях требуется взаимодействие с членами других команд (DWH, разработка). Внедрением зачастую представляет собой автоматизацию решения задачи на новых данных. Это позволяет в будущем получить необходимые данные из готовых результатов, которые можно где-то найти, не обращаясь снова к JA. Внедрение предполагает не только автоматизацию всей логики подготовки и преобразования данных, но и документирование промежуточных шагов и реализацию логики по мониторингу качества данных. + +**Автономность** + +Основной фокус JA – самостоятельное решение четко поставленных задач. Заказчик помогает с интерпретацией результатов, их презентацией и внедрением. + +**Обмен знаниями** + +Основная задача JA – сделать так, чтобы о результатах его исследований узнали другие аналитики. Приветствуется обмен знаниями по различным техническим задачам. + +**Управление ожиданиями** + +Ожидается, что JA может управлять ожиданиями только на этапе решения чётко формализованной задачи. Приоритезацией решения нескольких задач должны заниматься более опытные коллеги. + + +**Управление проектом / процессами / командой** + +Не ожидается + + +# Analyst + +**Поиск задач** + +Не ожидается. Однако A должен убедиться в актуальности проблемы и полезности её решения для заказчика. Должен уметь оценивать эффект от решения задачи и в случае необходимости аргументировать, почему не считает эту проблему важной. + +**Формализация подхода к решению** + +При разработке решений, методологий, модели и так далее может обращаться за помощью к старшим коллегам. + +**Интерпретация и проверка результатов** + +Ожидается, что А самостоятельно или с минимальной помощью может интерпретировать результаты, включая проверку на адекватность и проверку кода, и на их основании подготовить рекомендации по дальнейшему внедрению. + +**Презентация результатов** + +А должен уметь самостоятельно презентовать результаты исследований и убедиться, что его поняли. Документирование результатов является обязательным условием завершения любого исследования. Если в момент презентации были озвучены критические замечания, А должен самостоятельно устранить недочёты и добиться признания своего решения. + +**Внедрение результатов** + +Внедрение осуществляется в условиях отсутствия или минимального руководства и контроля. + +**Автономность** + +* Самостоятельно выставляет приоритетность задачам или работает согласно заданному другими сотрудниками порядку очерёдности. + +* Вместе с руководителем А ведёт проект от начала до конца: оценка, планирование, снижение рисков, координация, внедрение, коммуникация сообщение результатов. Проактивно взаимодействует с руководителем в необходимых точках контроля. + +* В случае, если качество решения оказалось неудовлетворительным, аналитик должен самостоятельно предложить альтернативу или доказать, что дальнейшие попытки решения нецелесообразны. + + +**Обмен знаниями** + +Аналогично JА. Ожидается также, что А делится знаниями и обучает аналитиков и других сотрудников прикладному аналитическому инструментарию и способу оформления результатов аналитических исследований. + +**Управление ожиданиями** + +* Должен самостоятельно добиться от старших коллег согласования подхода к решению и дать оценку трудозатрат на весь цикл исследований, учитывая потенциальные риски и возможность нескольких итераций. + +* Умеет оценить эффект от решения поставленной задачи и сравнить его с эффектом от решения других задач. На основе этих знаний выставляет приоритеты решения. Умеет коммуницировать вовне эти приоритеты и свою точку зрения. + +**Управление проектом / процессами / командой** + +* Aналитик может вносить индивидуальный вклад в работу команды или выполнять роль ментора для стажёра или Junior аналитика; +* Учится делегировать. + + +# Senior Analytic (SA) + +**Поиск задач** + +SA находится в постоянном поиске новых значимых проблем. Предлагает улучшение текущего процесса принятия решений через изменение методологий, метрик, моделей и так далее в тех областях, к которым он относится. + +**Формализация подхода к решению** + +SA умеет решать сложные проблемы, с высокой степенью неопределённости. Ожидается, что SA может определить и структурировать текущую проблему и системно подойти к её решению. Это может быть как проверка конкретных гипотез, так и построение математических моделей, описывающих систему, а также подбор оптимальных коэффициентов на основе данных. + +SA должен предлагать оптимальный дизайн процессов/систем по сбору данных, необходимых для решения задачи, и учитывать сложность внедрения предлагаемых моделей и решений. + +**Интерпретация и проверка результатов** + +Проверяет и отвечает за точность формулировок, интерпретирующих результаты исследований. Рассчитывает количественные оценки от внедрения рекомендаций. Документирует и публикует результаты, чтобы они были доступны всем желающим. + +**Презентация результатов** + +SA может презентовать результаты как самостоятельно, так и делегировать эту задачу другим аналитикам, вовлечённым в процесс. + +**Внедрение результатов** + +SA отвечает не только за процесс внедрения предлагаемого решения, но и за оценку эффекта и дальнейшую поддержку этого процесса. Он также занимается адаптацией решения – следит за тем, чтобы другие сотрудники/пользователи применяли предлагаемое решение, и устраняет возникающие проблемы. + +SA следит за тем, чтобы результаты исследований – новые источники данных и программные компоненты, могли использоваться, и приносили пользу другим командам. + + +**Автономность** + +Осуществляет полное руководство над проектом: +* оценивает и планирует работу; +* снижает риски; +* взаимодействует с представителями бизнеса и техническими специалистами; +* выставляет приоритетность задачам; +* координирует работу между командами; +* доводит проект до желаемого результата. + + +**Обмен знаниями** + +SA активно делится знаниями с аналитиками и другими сотрудниками по лучшим практикам ведения аналитических проектов: от бизнес проблемы до валидации её решения. +SA делится знаниями с сотрудниками Авито, посещая внутренние митапы. Выступает на внешних мероприятиях, рассказывая про успешный и неудачный опыт проектов и конкретных аналитических решений в Авито. + + +**Управление ожиданиями** + +SA может оценивать сроки полной реализации задачи, от постановки до внедрения. Может примерно представить этапы, методы решения и необходимые для этого ресурсы. + + +**Управление проектом / процессами / командой** + +* SA может вносить индивидуальный вклад в общую работу или как руководитель других аналитиков (1-2 сотрудника). В последнем случае от него ожидается умение делегировать. + +* SA выполняет функции наставника для других аналитиков. Планирует их развитие с учётом их профилей и целей команды. + + +# Lead Analytic (LA) + +**Поиск задач** + +* LA занимается поиском значимых проблем и предлагает решения на уровне кластера или нескольких юнитов. +* LA находит и решает открытые проблемы, которые не имеют общепринятого подхода или способа решения. Например, LA может определить, что продукту или отделу не хватает соответствующих метрик, или вычислительный процесс некорректен. + + +**Формализация подхода к решению** + +* LA формулирует открытые проблемы (цели) как для существующих, так и для новых направлений. +* Формализует открытые проблемы в конкретные задачи самостоятельно или умело делегирует. + +**Интерпретация и проверка результатов** + +* LA рассматривает полученные результаты с точки зрения повторного использования практик, источников данных и самих результатов в других командах. Оценивает их значимость для всех аналитиков. + +**Презентация результатов** + +LA презентует результаты не только аналитикам, но и всей остальной команде Авито и руководству. + +**Внедрение результатов** + +LA отвечает за внедрение в стратегические инициативы методов анализа данных и оптимизации. Развивает и адаптирует в компании культуру использования данных/моделирования и принятия решений на основе данных. + +**Автономность** + +* LA руководит сложными проектами с длинным горизонтом планирования, в которых участвуют несколько юнитов/кластеров/смежных подразделений. + +* LA реализует проект от идеи до результата, а также следит за тем, чтобы результаты использовались другими командами. «Продаёт» решение коллегам, когда это нужно и уместно. Помогает внедрить решение, анализирует эффективность использования и, если необходимо, вносит изменения на этапе эксплуатации. + +**Обмен знаниями** + +* SA активно делится знаниями с аналитиками и другими сотрудниками по лучшим практикам ведения аналитических проектов: от бизнес-проблемы до валидации её решения. +* SA делится знаниями с сотрудниками Авито, посещая внутренние митапы. Выступает на внешних мероприятиях, рассказывая про успешный и неудачный опыт проектов и конкретных аналитических решений в Авито. +* Очень желательно, чтобы LA помимо активного участия во внешних мероприятиях, также публиковал статьи по использованным методам с оформлением прикладных результатов их применения. + +**Управление ожиданиями** + +LA оценивает не только сроки решения задачи, но уже на начальном этапе может представить следующие связанные задачи. Видит связь проекта/задачи со стратегическими целями кластера/компании. + +**Управление проектом / процессами / командой** + +* LA не только валидирует решение с точки зрения правильности, но и учитывает разные аспекты бизнеса при выборе конкретного решения. +* В частности, LA должен контролировать затраченные на решение ресурсы и сопоставлять их с ожидаемым результатом. +* Аналитики могут привлекать LA для валидации решения. +* При необходимости для снижения рисков или ускорения исследований LA могут аутсорсить решения задач внешним подрядчикам. +* Задачей LA является прекращение исследований, если желаемый результат не был достигнут за разумные сроки. + + +# Principal (PA) + +**Поиск задач** + +* PA фокусируется не только на целях конкретного бизнес-направления, но и на развитии аналитических методик на уровне компании. +* PA занимается поиском проблем и предлагает системные решения на уровне компании. Разрабатывает новые наукоёмкие подходы и фреймворки, которые позволят другим аналитикам решать целые классы задач и могут использоваться в различных частях Авито. + + +**Формализация подхода к решению** + +Аналогично LA. + +**Интерпретация и проверка результатов** + +Аналогично LA. + + +**Презентация результатов** + +* PA умеет выступать в роли спикера. Старается не только донести до слушателей суть, но и вызвать эмоциональный отклик. + + +**Внедрение результатов** + +Аналогично LA + +PA отвечает за внедрение в стратегические инициативы методов анализа данных и оптимизации. Развивает и адаптирует в компании культуру использования данных/моделирования и принятия решений на основе данных. + + +**Автономность** + +* PA руководит сложными проектами и стратегически важными задачами с длинным горизонтом планирования, в которых участвуют несколько юнитов/кластеров/смежных подразделений. +* PA реализует проект от идеи до результата, а также следит за тем, чтобы результаты использовались другими командами. «Продаёт» решение коллегам, когда это нужно и уместно. Помогает внедрить решение, анализирует эффективность использования и, если необходимо, вносит изменения на этапе эксплуатации. + + +**Обмен знаниями** +PA целенаправленно работает над следующими задачами: + +* стимулирует обмен знаниями между функциями внутри компании и между Авито и другими компаниями; +* готовит будущие кадры Авито; +* улучшает имидж Авито на рынке аналитики; +* поддерживает высокие требования к качеству работы аналитиков через наставничество и улучшение процессов внутри департамента. + +**Управление ожиданиями** + +PA хорошо понимает ограничения не только со стороны аналитической инфраструктуры, но и со стороны смежных функций. При управлении ожиданиями учитывает планы и особенности процессов смежных команд, а также рыночные условия. + + +**Hard analytical skills** + +PA является экспертом в нескольких направлениях или обладает глубокой экспертностью в одном. +Примеры направлений: + +* статистика и теория экспериментов (Монте–Карло-моделирование для выбора критерия или настройки параметров, advanced-метрики повышения чувствительности: Cuped-моделирование, применение ML); +* ML (борьба с переобучением, интерпретация результатов, валидация модели и её параметров, умение перевести бизнес-задачу на язык ML, поддержка и воспроизводимость результатов работы модели); +* моделирование (строит валидируемые модели для получения выводов/генерации гипотез/реализации продуктовых фич). + +Примеры глубокой экспертности: + +* создаёт принципиально новые технологически эффективные методы решения задач; +* строит фреймворки для анализа экспериментов с использованием state-of-the-art методов улучшения чувствительности либо оптимизации вычислительной сложности; +* находит точки роста для бизнеса, которые невозможны без применения продвинутых математических алгоритмов (например, reinforcement learning), формализует и решает задачу. + +Опыт практического применения: + +* Следит за новшествами в своей области и находится в постоянном поиске усовершенствований методов, которые применяет в работе. + + +**Управление проектом / процессами / командой** + +Аналогично LA + +Плюс: + +* Не только валидирует решение с точки зрения правильности, но и учитывает разные аспекты бизнеса при выборе конкретного решения. +* В частности, PA должен контролировать затраченные на решение ресурсы и сопоставлять их с ожидаемым результатом. +* Аналитики могут привлекать PA для валидации решения. +* При необходимости для снижения рисков или ускорения исследований PA могут аутсорсить решения задач внешним подрядчикам. +* Задачей PA является прекращение исследований, если желаемый результат не был достигнут за разумные сроки. + + +# Менеджерский трек + +Состоит из следующих уровней: + +• [Team Lead Analyst](#team-lead-analyst-tl) + +• [Division Lead Analyst](#division-lead-analyst-dl) + +• [Unit Lead](#unit-lead-ul) + +• [Head of Analytics](#head-of-analytics-hoa) + +• [Analytics Director](#analytics-director-ad) + +Все профили описаны по блокам: + +* Команда +* Зона ответственности +* Найм +* Мотивация +* Наставничество +* Аналитика как функция +* Доступный контекст + + +## Team Lead Analyst (TL) + +**Команда** + +Аналитики. + + +**Зона ответственности** + +Отдельное продуктовое направление. + + +**Найм** + +Принимает участие в найме JA, A, SA. + + +**Мотивация** + +Вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях. + + +**Наставничество** + +* растит аналитиков до уровня LA; +* формирует кадровый резерв. + + +**Аналитика как функция** + +* следит за документацией кода, витрин, исследований; +* контролирует техдолг, инициирует рефакторинг; +* делится результатами с другими аналитическими командами; +* помогает найти и выделить ресурсы на функциональные задачи. + + +**Доступный контекст** + +Проекты внутри своей зоны. + + +## Division Lead Analyst (DL) + +**Команда** + +Аналитики/TL. + + +**Зона ответственности** + +Кластер/вертикаль. + + +**Найм** + +Принимает участие в найме JA, A, SA, TL, Product. + + +**Мотивация** + +Вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях. + + +**Наставничество** + +* растит аналитиков до уровня PA/TL; +* помогает развивать лидерские и менеджерские качества (TL); +* формирует кадровый резерв. + + +**Аналитика как функция** + +* следит за документацией кода, витрин, исследований; +* контролирует техдолг, инициирует рефакторинг; +* делится результатами с другими аналитическими командами; +* помогает найти/выделить ресурсы на функциональные задачи. + +**Доступный контекст** + +Проекты внутри своей зоны ответственности. + + +## Unit Lead (UL) + +**Команда** + +Кросс-функциональная команда. + + +**Зона ответственности** + +Аналитический юнит. + + +**Найм** + +Принимает участие в найме: +* A (в случае крайней необходимости); +* SA, LA; +* TL/DL; +* Product. + + +**Мотивация** + +Решает вопросы денежной мотивации: офферы, бонусы, корректировки ЗП. + + +**Наставничество** + +* растит аналитиков до уровня PA/TL; +* помогает развивать лидерские и менеджерские качества (TL); +* формирует кадровый резерв. + + +**Аналитика как функция** + +* выстраивает процессы найма и оценки аналитиков; +* идентифицирует лучшие практики и превращает в фреймворки; +* помогает найти/выделить ресурсы на функциональные задачи; +* обеспечивает видимость результатов на уровне компании и на внешних мероприятиях. + + +**Доступный контекст** + +* проекты внутри своей зоны; +* общий контекст компании и рынка. + + +## Head of Analytics (HoA) + +**Команда** + +TL/DL. + +**Зона ответственности** + +Несколько кластеров/направлений/вертикалей. + +**Найм** + +Принимает участие в найме: + +* A (в случае крайней необходимости); +* SA, LA; +* TL/DL; +* Product. + + +**Мотивация** + +Решает вопросы денежной мотивации: офферы, бонусы, корректировки ЗП. + +**Наставничество** + +* помогает руководителям стать эффективными; +* формирует кадровый резерв. + + +**Аналитика как функция** + +* выстраивает процессы найма и оценки аналитиков; +* идентифицирует лучшие практики и превращает в фреймворки; +* помогает найти/выделить ресурсы на функциональные задачи; +* обеспечивает видимость результатов на уровне компании и на внешних мероприятиях. + + +**Доступный контекст** + +* проекты внутри своей зоны; +* общий контекст компании и рынка. + + +# Analytics Director (AD) + +**Команда** + +TL/DL/UL/HoA. + +**Зона ответственности** + +Аналитика Авито. + + +**Найм** + +Принимает участие в найме: + +* SA, LA; +* TL, DL, UL, HoA; +* Product. + + +**Мотивация** + +* вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях; +* дополнительно решает системные вопросы: вилки, грейды, обучение. + + +**Наставничество** + +* помогает руководителям стать эффективными; +* формирует кадровый резерв. + + +**Аналитика как функция** + +* помогает найти новые ресурсы; +* отвечает за формирование стратегии функции аналитики. + + +**Доступный контекст** + +Полный контекст компании и рынка — публичный и непубличный. + + +# Условия переходов между уровнями и ожидания + +Переходы между уровнями — это не что-то само собой разумеющееся или что случается по истечении времени. Сначала Аналитик начинает полноценно перформить на следующем уровне и только потом происходит переход. + +Решение принимается по итогам регулярного performance review и результатам работы Аналитика. Обязательными условием в некоторых переходах является завершение проекта, демонстрирующего значимое влияние на ключевые показатели компании. Рост до уровня Senior аналитика обязателен и ограничен по времени. + +**Junior A → A** + +От JA ждут роста до следующего уровня в течение 0.5-1 год. На усмотрение руководителя в качестве условия перехода может быть предложен проект. Переход осуществляется по результатам калибровки при оценке "Сверхрезультат - на следующей роли". + + +**A → Senior A** + +* От A ждут роста до следующего уровня в течении 1-2х лет. + +* К уровню Старшего Аналитика должны стремиться все аналитики. Дальнейший рост не обязателен. + +* Обязательными условиями перехода является выполнение проекта, требующего проявления всех качеств, ожидаемых от SA и оценки "Сверхрезультат - на следующей роли" на калибровке. + +* После того как сотрудник достиг уровня Старшего Аналитика, он может продолжить рост как по экспертному, так и по менеджерскому треку. + + +**Senior A → Lead A** + +Для перехода на уровень LA является обязательным выполнение как минимум одного из условий: + +SA успешно вырастил как минимум одного JA до А; +SA успешно лидирует направление аналитики и достигает поставленных целей как минимум на протяжении двух кварталов, проявляя ярко выраженные лидерские качества, описанные в соответствующем разделе. Переход осуществляется по результатам калибровки при оценке "Сверхрезультат - на следующей роли". +Имеет примеры успешно решенных проектов с влиянием уровня кластера + +Примеры проектов из прошлого: AB Central, Дерево метрик, ImageNet + + +**Lead A → Principal A** + +Решение принимается экспертной комиссией (Head of Analytics) после подачи заявки от одного из Руководителей Аналитики. + + +**Senior A → Team Lead** + +* Senior Analyst становится Руководителем группы аналитиков, если прокачал аналитика на уровень. Так же аналитика могут назначить исполняющим обязанности (и.о.) ушедшего руководителя и при ожидаемом перформансе по истечении квартала закрепить роль. + +Необходимые условия: + +- хороший performance команды; + +- превышение ожиданий в performance review; + +- имеет примеры успешно реализованных проектов с влиянием на ключевые метрики юнита/кластера/компании. + + +**Team Lead → Division Lead** + +Необходимые условия: + +- успешное продвижение аналитиков до уровня выше; + +- высокие показатели и ощутимые результаты в направлениях, в которых задействован; + +- сформированная стратегия направления. + + +