dev-roadmap-avito-playbook/analytics-levels.md

Подробно рассказываем про Аналитиков данных в Авито на отдельном лендинге. А в этой статье знакомим с профилями Аналитиков, ожиданиями от них и условиями перехода на следующий уровень.

Профили аналитиков

Профили аналитиков нужны для того, чтобы оценивать коллег в соответствии с их уровнем на performance review и сделать продвижение по карьерной лестнице понятным и прозрачным.

Карьерная лестница

Карьерная лестница — это возможный путь развития аналитика в Авито в зависимости от того, какие задачи он решает, и какие основные скиллы при этом использует.

Аналитик проходит традиционный путь от Junior до Senior Analyst. Потом выбирает, как двигаться дальше — по экспертному или менеджерскому треку.

• Экспертный трек

• Менеджерский трек

Базовые ожидания

Ожидается, что каждый аналитик в нашей команде, независимо от уровня, обладает следующими базовыми качествами и навыками:

Критическое мышление

• Обладает здоровым скептицизмом при работе над поставленной задачей и анализе существующих данных. Не воспринимает как должное имеющиеся данные и метрики, постоянно подвергает их сомнению.

Навык эффективной коммуникации

• Воздействует на принимаемые решения через коммуникацию. Опирается на данные и результаты исследования, когда доказывает свою точку зрения.

• Важно, чтобы аналитик эффективно взаимодействовал с коллегами, не владеющими статистическими методами анализа. Он должен уметь объяснять метрики, методологии и полученные результаты в простой и понятной форме без терминологии, требующей специальной подготовки.

Обладает системным и структурированным мышлением.

• Способен мыслить от общего к частному и наоборот.

Условия переходов между уровнями:

Переходы между уровнями – это не что-то само собой разумеющееся. Они не происходят автоматически по истечении времени. Сначала аналитик начинает полноценно перформить на следующем уровне и только потом происходит переход. Ожидания каждого следующего уровня добавляются к ожиданиям предыдущих.

Экспертный трек

Состоит из следующих уровней:

• Junior

• Analyst

• Senior Analytic (SA)

• Lead Analytic (LA)

• Principal (PA)

Junior

Поиск задач

Не ожидается. Однако JA должен убедиться в актуальности проблемы и полезности её решения для заказчика.

Формализация подхода к решению

Осуществляется старшими коллегами. JA должен убедиться, что предлагаемый подход действительно решит поставленную задачу.

Интерпретация и проверка результатов

За интерпретацию результатов отвечает заказчик или старшие коллеги.

Презентация результатов

Не ожидается, что JA будет презентовать результаты бизнесу, но документирование результатов — обязательное условие завершения любых исследований.

Внедрение результатов

Внедрение происходит под надзором старших коллег. Во многих случаях требуется взаимодействие с членами других команд (DWH, разработка). Внедрением зачастую представляет собой автоматизацию решения задачи на новых данных. Это позволяет в будущем получить необходимые данные из готовых результатов, которые можно где-то найти, не обращаясь снова к JA. Внедрение предполагает не только автоматизацию всей логики подготовки и преобразования данных, но и документирование промежуточных шагов и реализацию логики по мониторингу качества данных.

Автономность

Основной фокус JA – самостоятельное решение четко поставленных задач. Заказчик помогает с интерпретацией результатов, их презентацией и внедрением.

Обмен знаниями

Основная задача JA – сделать так, чтобы о результатах его исследований узнали другие аналитики. Приветствуется обмен знаниями по различным техническим задачам.

Управление ожиданиями

Ожидается, что JA может управлять ожиданиями только на этапе решения чётко формализованной задачи. Приоритезацией решения нескольких задач должны заниматься более опытные коллеги.

Управление проектом / процессами / командой

Не ожидается

Analyst

Поиск задач

Не ожидается. Однако A должен убедиться в актуальности проблемы и полезности её решения для заказчика. Должен уметь оценивать эффект от решения задачи и в случае необходимости аргументировать, почему не считает эту проблему важной.

Формализация подхода к решению

При разработке решений, методологий, модели и так далее может обращаться за помощью к старшим коллегам.

Интерпретация и проверка результатов

Ожидается, что А самостоятельно или с минимальной помощью может интерпретировать результаты, включая проверку на адекватность и проверку кода, и на их основании подготовить рекомендации по дальнейшему внедрению.

Презентация результатов

А должен уметь самостоятельно презентовать результаты исследований и убедиться, что его поняли. Документирование результатов является обязательным условием завершения любого исследования. Если в момент презентации были озвучены критические замечания, А должен самостоятельно устранить недочёты и добиться признания своего решения.

Внедрение результатов

Внедрение осуществляется в условиях отсутствия или минимального руководства и контроля.

Автономность

• Самостоятельно выставляет приоритетность задачам или работает согласно заданному другими сотрудниками порядку очерёдности.

• Вместе с руководителем А ведёт проект от начала до конца: оценка, планирование, снижение рисков, координация, внедрение, коммуникация сообщение результатов. Проактивно взаимодействует с руководителем в необходимых точках контроля.

• В случае, если качество решения оказалось неудовлетворительным, аналитик должен самостоятельно предложить альтернативу или доказать, что дальнейшие попытки решения нецелесообразны.

Обмен знаниями

Аналогично JА. Ожидается также, что А делится знаниями и обучает аналитиков и других сотрудников прикладному аналитическому инструментарию и способу оформления результатов аналитических исследований.

Управление ожиданиями

• Должен самостоятельно добиться от старших коллег согласования подхода к решению и дать оценку трудозатрат на весь цикл исследований, учитывая потенциальные риски и возможность нескольких итераций.

• Умеет оценить эффект от решения поставленной задачи и сравнить его с эффектом от решения других задач. На основе этих знаний выставляет приоритеты решения. Умеет коммуницировать вовне эти приоритеты и свою точку зрения.

Управление проектом / процессами / командой

• Aналитик может вносить индивидуальный вклад в работу команды или выполнять роль ментора для стажёра или Junior аналитика;
• Учится делегировать.

Senior Analytic (SA)

Поиск задач

SA находится в постоянном поиске новых значимых проблем. Предлагает улучшение текущего процесса принятия решений через изменение методологий, метрик, моделей и так далее в тех областях, к которым он относится.

Формализация подхода к решению

SA умеет решать сложные проблемы, с высокой степенью неопределённости. Ожидается, что SA может определить и структурировать текущую проблему и системно подойти к её решению. Это может быть как проверка конкретных гипотез, так и построение математических моделей, описывающих систему, а также подбор оптимальных коэффициентов на основе данных.

SA должен предлагать оптимальный дизайн процессов/систем по сбору данных, необходимых для решения задачи, и учитывать сложность внедрения предлагаемых моделей и решений.

Интерпретация и проверка результатов

Проверяет и отвечает за точность формулировок, интерпретирующих результаты исследований. Рассчитывает количественные оценки от внедрения рекомендаций. Документирует и публикует результаты, чтобы они были доступны всем желающим.

Презентация результатов

SA может презентовать результаты как самостоятельно, так и делегировать эту задачу другим аналитикам, вовлечённым в процесс.

Внедрение результатов

SA отвечает не только за процесс внедрения предлагаемого решения, но и за оценку эффекта и дальнейшую поддержку этого процесса. Он также занимается адаптацией решения – следит за тем, чтобы другие сотрудники/пользователи применяли предлагаемое решение, и устраняет возникающие проблемы.

SA следит за тем, чтобы результаты исследований – новые источники данных и программные компоненты, могли использоваться, и приносили пользу другим командам.

Автономность

Осуществляет полное руководство над проектом:

• оценивает и планирует работу;
• снижает риски;
• взаимодействует с представителями бизнеса и техническими специалистами;
• выставляет приоритетность задачам;
• координирует работу между командами;
• доводит проект до желаемого результата.

Обмен знаниями

SA активно делится знаниями с аналитиками и другими сотрудниками по лучшим практикам ведения аналитических проектов: от бизнес проблемы до валидации её решения. SA делится знаниями с сотрудниками Авито, посещая внутренние митапы. Выступает на внешних мероприятиях, рассказывая про успешный и неудачный опыт проектов и конкретных аналитических решений в Авито.

Управление ожиданиями

SA может оценивать сроки полной реализации задачи, от постановки до внедрения. Может примерно представить этапы, методы решения и необходимые для этого ресурсы.

Управление проектом / процессами / командой

• SA может вносить индивидуальный вклад в общую работу или как руководитель других аналитиков (1-2 сотрудника). В последнем случае от него ожидается умение делегировать.

• SA выполняет функции наставника для других аналитиков. Планирует их развитие с учётом их профилей и целей команды.

Lead Analytic (LA)

Поиск задач

• LA занимается поиском значимых проблем и предлагает решения на уровне кластера или нескольких юнитов.
• LA находит и решает открытые проблемы, которые не имеют общепринятого подхода или способа решения. Например, LA может определить, что продукту или отделу не хватает соответствующих метрик, или вычислительный процесс некорректен.

Формализация подхода к решению

• LA формулирует открытые проблемы (цели) как для существующих, так и для новых направлений.
• Формализует открытые проблемы в конкретные задачи самостоятельно или умело делегирует.

Интерпретация и проверка результатов

• LA рассматривает полученные результаты с точки зрения повторного использования практик, источников данных и самих результатов в других командах. Оценивает их значимость для всех аналитиков.

Презентация результатов

LA презентует результаты не только аналитикам, но и всей остальной команде Авито и руководству.

Внедрение результатов

LA отвечает за внедрение в стратегические инициативы методов анализа данных и оптимизации. Развивает и адаптирует в компании культуру использования данных/моделирования и принятия решений на основе данных.

Автономность

• LA руководит сложными проектами с длинным горизонтом планирования, в которых участвуют несколько юнитов/кластеров/смежных подразделений.

• LA реализует проект от идеи до результата, а также следит за тем, чтобы результаты использовались другими командами. «Продаёт» решение коллегам, когда это нужно и уместно. Помогает внедрить решение, анализирует эффективность использования и, если необходимо, вносит изменения на этапе эксплуатации.

Обмен знаниями

• SA активно делится знаниями с аналитиками и другими сотрудниками по лучшим практикам ведения аналитических проектов: от бизнес-проблемы до валидации её решения.
• SA делится знаниями с сотрудниками Авито, посещая внутренние митапы. Выступает на внешних мероприятиях, рассказывая про успешный и неудачный опыт проектов и конкретных аналитических решений в Авито.
• Очень желательно, чтобы LA помимо активного участия во внешних мероприятиях, также публиковал статьи по использованным методам с оформлением прикладных результатов их применения.

Управление ожиданиями

LA оценивает не только сроки решения задачи, но уже на начальном этапе может представить следующие связанные задачи. Видит связь проекта/задачи со стратегическими целями кластера/компании.

Управление проектом / процессами / командой

• LA не только валидирует решение с точки зрения правильности, но и учитывает разные аспекты бизнеса при выборе конкретного решения.
• В частности, LA должен контролировать затраченные на решение ресурсы и сопоставлять их с ожидаемым результатом.
• Аналитики могут привлекать LA для валидации решения.
• При необходимости для снижения рисков или ускорения исследований LA могут аутсорсить решения задач внешним подрядчикам.
• Задачей LA является прекращение исследований, если желаемый результат не был достигнут за разумные сроки.

Principal (PA)

Поиск задач

• PA фокусируется не только на целях конкретного бизнес-направления, но и на развитии аналитических методик на уровне компании.
• PA занимается поиском проблем и предлагает системные решения на уровне компании. Разрабатывает новые наукоёмкие подходы и фреймворки, которые позволят другим аналитикам решать целые классы задач и могут использоваться в различных частях Авито.

Формализация подхода к решению

Аналогично LA.

Интерпретация и проверка результатов

Аналогично LA.

Презентация результатов

• PA умеет выступать в роли спикера. Старается не только донести до слушателей суть, но и вызвать эмоциональный отклик.

Внедрение результатов

Аналогично LA

PA отвечает за внедрение в стратегические инициативы методов анализа данных и оптимизации. Развивает и адаптирует в компании культуру использования данных/моделирования и принятия решений на основе данных.

Автономность

• PA руководит сложными проектами и стратегически важными задачами с длинным горизонтом планирования, в которых участвуют несколько юнитов/кластеров/смежных подразделений.
• PA реализует проект от идеи до результата, а также следит за тем, чтобы результаты использовались другими командами. «Продаёт» решение коллегам, когда это нужно и уместно. Помогает внедрить решение, анализирует эффективность использования и, если необходимо, вносит изменения на этапе эксплуатации.

Обмен знаниями PA целенаправленно работает над следующими задачами:

• стимулирует обмен знаниями между функциями внутри компании и между Авито и другими компаниями;
• готовит будущие кадры Авито;
• улучшает имидж Авито на рынке аналитики;
• поддерживает высокие требования к качеству работы аналитиков через наставничество и улучшение процессов внутри департамента.

Управление ожиданиями

PA хорошо понимает ограничения не только со стороны аналитической инфраструктуры, но и со стороны смежных функций. При управлении ожиданиями учитывает планы и особенности процессов смежных команд, а также рыночные условия.

Hard analytical skills

PA является экспертом в нескольких направлениях или обладает глубокой экспертностью в одном. Примеры направлений:

• статистика и теория экспериментов (Монте–Карло-моделирование для выбора критерия или настройки параметров, advanced-метрики повышения чувствительности: Cuped-моделирование, применение ML);
• ML (борьба с переобучением, интерпретация результатов, валидация модели и её параметров, умение перевести бизнес-задачу на язык ML, поддержка и воспроизводимость результатов работы модели);
• моделирование (строит валидируемые модели для получения выводов/генерации гипотез/реализации продуктовых фич).

Примеры глубокой экспертности:

• создаёт принципиально новые технологически эффективные методы решения задач;
• строит фреймворки для анализа экспериментов с использованием state-of-the-art методов улучшения чувствительности либо оптимизации вычислительной сложности;
• находит точки роста для бизнеса, которые невозможны без применения продвинутых математических алгоритмов (например, reinforcement learning), формализует и решает задачу.

Опыт практического применения:

• Следит за новшествами в своей области и находится в постоянном поиске усовершенствований методов, которые применяет в работе.

Управление проектом / процессами / командой

Аналогично LA

Плюс:

• Не только валидирует решение с точки зрения правильности, но и учитывает разные аспекты бизнеса при выборе конкретного решения.
• В частности, PA должен контролировать затраченные на решение ресурсы и сопоставлять их с ожидаемым результатом.
• Аналитики могут привлекать PA для валидации решения.
• При необходимости для снижения рисков или ускорения исследований PA могут аутсорсить решения задач внешним подрядчикам.
• Задачей PA является прекращение исследований, если желаемый результат не был достигнут за разумные сроки.

Менеджерский трек

Состоит из следующих уровней:

• Team Lead Analyst

• Division Lead Analyst

• Unit Lead

• Head of Analytics

• Analytics Director

Все профили описаны по блокам:

• Команда
• Зона ответственности
• Найм
• Мотивация
• Наставничество
• Аналитика как функция
• Доступный контекст

Team Lead Analyst (TL)

Команда

Аналитики.

Зона ответственности

Отдельное продуктовое направление.

Найм

Принимает участие в найме JA, A, SA.

Мотивация

Вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях.

Наставничество

• растит аналитиков до уровня LA;
• формирует кадровый резерв.

Аналитика как функция

• следит за документацией кода, витрин, исследований;
• контролирует техдолг, инициирует рефакторинг;
• делится результатами с другими аналитическими командами;
• помогает найти и выделить ресурсы на функциональные задачи.

Доступный контекст

Проекты внутри своей зоны.

Division Lead Analyst (DL)

Команда

Аналитики/TL.

Зона ответственности

Кластер/вертикаль.

Найм

Принимает участие в найме JA, A, SA, TL, Product.

Мотивация

Вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях.

Наставничество

• растит аналитиков до уровня PA/TL;
• помогает развивать лидерские и менеджерские качества (TL);
• формирует кадровый резерв.

Аналитика как функция

• следит за документацией кода, витрин, исследований;
• контролирует техдолг, инициирует рефакторинг;
• делится результатами с другими аналитическими командами;
• помогает найти/выделить ресурсы на функциональные задачи.

Доступный контекст

Проекты внутри своей зоны ответственности.

Unit Lead (UL)

Команда

Кросс-функциональная команда.

Зона ответственности

Аналитический юнит.

Найм

Принимает участие в найме:

• A (в случае крайней необходимости);
• SA, LA;
• TL/DL;
• Product.

Мотивация

Решает вопросы денежной мотивации: офферы, бонусы, корректировки ЗП.

Наставничество

• растит аналитиков до уровня PA/TL;
• помогает развивать лидерские и менеджерские качества (TL);
• формирует кадровый резерв.

Аналитика как функция

• выстраивает процессы найма и оценки аналитиков;
• идентифицирует лучшие практики и превращает в фреймворки;
• помогает найти/выделить ресурсы на функциональные задачи;
• обеспечивает видимость результатов на уровне компании и на внешних мероприятиях.

Доступный контекст

• проекты внутри своей зоны;
• общий контекст компании и рынка.

Head of Analytics (HoA)

Команда

TL/DL.

Зона ответственности

Несколько кластеров/направлений/вертикалей.

Найм

Принимает участие в найме:

• A (в случае крайней необходимости);
• SA, LA;
• TL/DL;
• Product.

Мотивация

Решает вопросы денежной мотивации: офферы, бонусы, корректировки ЗП.

Наставничество

• помогает руководителям стать эффективными;
• формирует кадровый резерв.

Аналитика как функция

• выстраивает процессы найма и оценки аналитиков;
• идентифицирует лучшие практики и превращает в фреймворки;
• помогает найти/выделить ресурсы на функциональные задачи;
• обеспечивает видимость результатов на уровне компании и на внешних мероприятиях.

Доступный контекст

• проекты внутри своей зоны;
• общий контекст компании и рынка.

Analytics Director (AD)

Команда

TL/DL/UL/HoA.

Зона ответственности

Аналитика Авито.

Найм

Принимает участие в найме:

• SA, LA;
• TL, DL, UL, HoA;
• Product.

Мотивация

• вдохновляет команды на достижение лучших результатов личным примером и влияет на денежную мотивацию посредством защиты на калибровочных сессиях;
• дополнительно решает системные вопросы: вилки, грейды, обучение.

Наставничество

• помогает руководителям стать эффективными;
• формирует кадровый резерв.

Аналитика как функция

• помогает найти новые ресурсы;
• отвечает за формирование стратегии функции аналитики.

Доступный контекст

Полный контекст компании и рынка — публичный и непубличный.

Условия переходов между уровнями и ожидания

Переходы между уровнями — это не что-то само собой разумеющееся или что случается по истечении времени. Сначала Аналитик начинает полноценно перформить на следующем уровне и только потом происходит переход.

Решение принимается по итогам регулярного performance review и результатам работы Аналитика. Обязательными условием в некоторых переходах является завершение проекта, демонстрирующего значимое влияние на ключевые показатели компании. Рост до уровня Senior аналитика обязателен и ограничен по времени.

Junior A → A

От JA ждут роста до следующего уровня в течение 0.5-1 год. На усмотрение руководителя в качестве условия перехода может быть предложен проект. Переход осуществляется по результатам калибровки при оценке "Сверхрезультат - на следующей роли".

A → Senior A

• От A ждут роста до следующего уровня в течении 1-2х лет.

• К уровню Старшего Аналитика должны стремиться все аналитики. Дальнейший рост не обязателен.

• Обязательными условиями перехода является выполнение проекта, требующего проявления всех качеств, ожидаемых от SA и оценки "Сверхрезультат - на следующей роли" на калибровке.

• После того как сотрудник достиг уровня Старшего Аналитика, он может продолжить рост как по экспертному, так и по менеджерскому треку.

Senior A → Lead A

Для перехода на уровень LA является обязательным выполнение как минимум одного из условий:

SA успешно вырастил как минимум одного JA до А; SA успешно лидирует направление аналитики и достигает поставленных целей как минимум на протяжении двух кварталов, проявляя ярко выраженные лидерские качества, описанные в соответствующем разделе. Переход осуществляется по результатам калибровки при оценке "Сверхрезультат - на следующей роли". Имеет примеры успешно решенных проектов с влиянием уровня кластера

Примеры проектов из прошлого: AB Central, Дерево метрик, ImageNet

Lead A → Principal A

Решение принимается экспертной комиссией (Head of Analytics) после подачи заявки от одного из Руководителей Аналитики.

Senior A → Team Lead

• Senior Analyst становится Руководителем группы аналитиков, если прокачал аналитика на уровень. Так же аналитика могут назначить исполняющим обязанности (и.о.) ушедшего руководителя и при ожидаемом перформансе по истечении квартала закрепить роль.

Необходимые условия:

• хороший performance команды;

• превышение ожиданий в performance review;

• имеет примеры успешно реализованных проектов с влиянием на ключевые метрики юнита/кластера/компании.

Team Lead → Division Lead

Необходимые условия:

• успешное продвижение аналитиков до уровня выше;

• высокие показатели и ощутимые результаты в направлениях, в которых задействован;

• сформированная стратегия направления.