Технологии точности: работа дата-инженера в компании Mediascope

Как измерить аудиторию медиа? Каковы тренды в современном потреблении контента? Как проанализировать поисковые запросы потребителей в сети? Команда Mediascope помогает ответить на эти и другие важные вопросы, которыми задаются участники рекламного рынка.

Содержание статьи:

► О компании Mediascope
► Какие задачи решают дата-инженеры
► Карьера и развитие
► Корпоративная культура
► Условия работы
► Как стать частью команды

О компании Mediascope

Mediascope — единый измеритель теле- и интернет-аудитории в России. Мы работаем с большими объемами данных и превращаем их в ценные инсайты для клиентов, решаем нетривиальные задачи в области Big Data, Machine Learning и High Load, разрабатываем собственные решения, чтобы быть на шаг впереди в мире постоянно меняющихся технологий.

Наши основные продукты

Какие задачи решают дата-инженеры

В ИТ-дирекции работает порядка 200 сотрудников различных специализаций. Сегодня мы расскажем о двух направлениях, которые поддерживают дата-инженеры:

• Команда, которая занимается разработкой конвейеров данных для нашей Big Data платформы.
• Команда, отвечающая за сопровождение, эксплуатацию и мониторинг работоспособности этих конвейеров.

Разработка конвейеров данных

Команда разработки конвейеров данных отвечает за интеграцию, обработку и структурирование датасетов из различных источников, обеспечивая их высокое качество и готовность для дальнейшей работы. После этого данные поступают другим командам внутри компании, которые занимаются их анализом, визуализацией и подготовкой итоговых аналитических отчетов для участников медиарекламного рынка. Прежде чем данные превращаются в ценные и понятные инсайты для клиентов, они проходят через ключевые технические этапы обработки внутри наших систем. Дата-инженеры проектируют и поддерживают надежные, масштабируемые конвейеры, которые обеспечивают стабильную и эффективную работу нашей платформы данных.

Основные задачи включают разработку скриптов для автоматизации запуска ETL-процессов с использованием оркестраторов, что позволяет упростить и ускорить обработку данных. Также в фокусе находится создание и оптимизация конвейеров обработки данных, что обеспечивает их эффективное функционирование и масштабируемость. Важной составляющей этого направления работы является постоянное внедрение инновационных инструментов и технологий, что позволяет нам оптимизировать процессы и держать руку на пульсе технологий.

«В Big Data платформу поступают огромные объемы данных. Автоматизация регулярных процессов — одна из приоритетных задач дата-инженеров. Из разнообразия атомарных скриптов собираются полноценные конвейеры обработки данных. С помощью оркестратора Airflow в платформе регулируется работа конвейеров в течение суток. Назначение большинства атомарных скриптов в составе конвейера — сопровождение потока данных. Скрипты мы стараемся шаблонизировать. После доработки шаблона или создания нового скрипта добавляем бизнес-логику и проверяем ее на Dev-стенде, затем отдаем на верификацию. Далее продумываем последовательность размещения скриптов в конвейере и внимательно документируем получившийся пайплайн. По завершении разработки и тестирования конвейер передается команде эксплуатации для запуска в боевой среде».

Еще одно направление работы — интеграция новых технических инструментов или миграция инфраструктуры. Например, недавно осуществлялся переход с YARN (Spark Hadoop-кластер) на Kubernetes. Подобные задачи решаются совместно с DevOps- и инфраструктурными инженерами: согласуется план миграции, определяются необходимые изменения и далее система настраивается под новые требования.

Сопровождение, эксплуатация и мониторинг платформы

Команда эксплуатации отвечает за бесперебойную работу конвейеров в Airflow и платформы Big Data, а также соблюдение SLA. Дата-инженеры осуществляют в том числе функцию контроля качества. Эта работа предполагает взаимодействие с другими командами, что требует слаженной координации команды и быстрого реагирования на возникающие события.

Кроме того, отдел занимается разработкой и поддержкой дашбордов в Grafana, а также созданием и внедрением прикладных метрик, которые помогают оценивать работоспособность платформы и управлять ее эффективностью.

«Если проводить аналогии, то специфика работы в отделе сопровождения похожа на будни врача общей практики: сотрудники взаимодействуют практически со всеми командами — от бизнес-аналитиков до разработки в платформе данных. При желании можно копать в глубину и изучать те или иные инструменты детальнее».

Ключевая задача нашей команды — обеспечивать стабильную и непрерывную работу технологического конвейера данных. Благодаря системе автоматического мониторинга и четко выстроенным процессам, мы контролируем каждый этап и оперативно вносим необходимые настройки при изменении условий.

Все заинтересованные команды внутри компании своевременно получают актуальную информацию о ходе обработки данных. Постоянное развитие внутренних инструментов и совершенствование рабочих процессов позволяют нам повышать устойчивость и обеспечивать эффективность системы даже при высокой нагрузке.

Еще одна задача, с которой работают дата-инженеры из эксплуатации, — это вывод релизов.

Релизы в нашей платформе могут быть разными: одни предназначены для обновления внутренних сервисов, другие затрагивают ключевые системы, с которыми работают пользователи. Когда нам передают новый релиз, первым делом мы проводим его оценку и выполняем подготовительные работы.

Затем начинается основной этап: через Git-репозитории мы постепенно выводим изменения в прод. Иногда этот процесс проходит незаметно для пользователей — системы продолжают работать в штатном режиме. Но в некоторых случаях требуется приостановить работу отдельных сервисов.

После развертывания релиза мы тщательно проверяем, корректно ли функционируют все затронутые системы. Это важный этап, который помогает убедиться, что обновление прошло успешно и не повлияло на стабильность платформы.

Карьера и развитие

Главная ценность в Mediascope — это люди и внутренняя культура. Вроде бы все об этом говорят, но мы так живем и строим компанию с 1994 года. Несмотря на стремительный рост как по численности команд, так и по объему задач и процессов, мы остаемся гибкой компанией, где интересно работать и комфортно себя чувствовать. Мы понимаем, как поддерживать среду, в которой каждый может раскрыть свой потенциал и при желании внести вклад в развитие компании и индустрии.

Обучение

Мы поощряем непрерывное развитие и обмен знаниями, поддерживаем сотрудников и тимлидов в этом устремлении. У нас есть:

• Внутренние митапы и воркшопы: обмен опытом и обсуждение новых технологий с коллегами.
• Деловые конференции: посещение профильных мероприятий за счет компании.
• Образовательные программы: приобретение новых навыков и освоение актуальных технологий на онлайн-курсах.

Сотрудники регулярно повышают квалификацию на внешних курсах за счет компании. Например, в 2024 году многие специалисты отдела сопровождения, эксплуатации и мониторинга прошли курс по Kubernetes, чтобы улучшить взаимодействие с DevOps-командой. Такое обучение не только расширяет технический кругозор, но и открывает новые карьерные возможности, будь то переход на позицию старшего специалиста или рост до роли лида.

«Для нас обучение — не просто формальность, а элемент корпоративной культуры. Эта особенность компании ярко прослеживается в практике внутренних митапов, на которых каждый сотрудник может поделиться опытом или перенять новые знания у коллег. Недавно команда DevOps организовала серию докладов, посвященных единым пайплайнам в GitLab, различным подходам к GitFlow и доступным окружениям. Для дата-инженеров такие знания критически важны, так как они позволяют глубже погрузиться в процессы, связанные с DevOps, и понять принципы GitOps-подхода. Например, в команде весь код трансформаций и конфигурационные файлы хранятся в Git, а их развертывание на нужные стенды происходит автоматически. Это дает коллегам четкое понимание того, какие алгоритмы и в какое время использовались, а также позволяет при необходимости быстро вернуться к нужной версии. Кроме того, в Git запускаются автоматические тесты, которые предотвращают развертывание заведомо некорректного кода на стенды».

«Mediascope щедра на курсы. Коллеги постоянно повышают квалификацию. Например, прямо сейчас один из сотрудников моего отдела проходит длительное обучение по дата-инжинирингу. Не встречал такого больше ни в одной компании из тех, где успел поработать».

Карьерный рост

В Mediascope каждый может построить свою уникальную карьерную траекторию. Мы против формальных шаблонов, если они не работают и не приносят пользы людям и их руководителям, поэтому смотрим на профессиональный и карьерный рост с нескольких точек зрения и даем возможность для:

• Горизонтального роста: возможность попробовать себя в разных проектах и направлениях.
• Вертикального роста: возможность получить повышение по результатам работы, а также развивать управленческие навыки процессов и команд.
• Менторства: программа наставничества для новых сотрудников и тех, кто хочет расти профессионально.

«У меня большой опыт в ИТ, но в сфере инженерии данных работаю примерно три года, первый опыт в этом направлении получил именно в Mediascope. А в этом году меня повысили. Я проявлял инициативу, находил, что можно улучшить, самостоятельно реализовывал эти решения. В результате получил много навыков в автоматизации и разработке внутренних подсистем. Теперь я стал лидом и руковожу своей группой».

«Я пришел стажером, а сейчас — руководитель группы мониторинга. Знаю, что многие коллеги пробуют для себя новые участки, в том числе при переходе в другие команды. Ребята видят в этом рост, развиваются в разных направлениях».

Атмосфера открытости и отзывчивости

В командах дата-инженеров, как и в целом в компании, выстроена система адаптации для новых участников команды любого уровня. Мы разработали внутренний курс для новичков. Он включает лекции от сотрудников разных команд по проектам, процессам и технологиям и позволяет сохранить преемственность в использовании рабочих инструментов. Курс лекций основан на примерах из повседневной практики Mediascope. Он планомерно пополняется видеороликами по мере того, как сотрудники создают новые фичи, автоматизируют очередной процесс или завершают большой проект, чтобы каждый мог изучить актуальный инструментарий компании и перенять опыт других команд.

«Какого бы уровня человек ни пришел к нам в команду, ему все равно нужно вникать в то, какие инструменты и технологии используются в Mediascope, поэтому отлаженный процесс адаптации, отзывчивость и открытость коллег важны для каждого нового сотрудника, включая самых опытных».

При этом в Mediascope мы ценим инициативу и свободу решений: у нас можно смело предлагать любые идеи — не раз самые неожиданные новаторские решения мы получали от новичков, и не первый год реализуем их на пользу компании.

Баланс работы и жизни

Мы знаем, как важны в работе свежие идеи, поэтому создаем условия, которые помогают поддерживать мотивацию и вдохновение:

• Гибкий график: возможность выбирать удаленный, гибридный график или работать из офиса.
• Комфортный офис в Москве: рабочие пространства со всем необходимым для продуктивной работы.
• Забота о здоровье: корпоративные программы ДМС и поддержка спортивных инициатив.

В компании мы ценим результат и выполнение задач, а не просто присутствие в офисе. Неважно, из какого российского города работает участник команды — главное, чтобы задачи выполнялись качественно и в срок.

Мы поддерживаем гибкий подход к режиму работы: удаленка, гибридный формат или индивидуальный график по согласованию с руководителем. Такой формат помогает каждому находить устойчивый баланс между работой и личной жизнью.

При этом мы разделяем ответственность: со стороны компании — доверие и гибкость, со стороны сотрудника — высокая вовлеченность, ответственность и фокус на результат.

В нашей команде работают специалисты из разных городов — Казани, Челябинска, Воронежа, Санкт-Петербурга и других. Мы ценим результат и профессионализм, независимо от локации.

Периодически команды дата-инженеров собираются в московском офисе, чтобы обсудить текущие проекты или провести квартальные ретро. Для тех, кто работает удаленно из регионов, компания полностью покрывает командировочные расходы.

После рабочих встреч коллеги часто собираются вместе в нерабочее время, чтобы отдохнуть и пообщаться в неформальной обстановке — отправляются в бар или играют в настольные игры, смотрят фильмы, обсуждают книги. А еще у нас есть два комьюнити, посвященных чтению книг и просмотру кино.

Однажды команда разработки решила поиграть в лазертаг — ребята провели время весело и с азартом. А один коллега приятно удивил всех тем, что в честь своего года работы в компании испек торт для отдела. Такие моменты помогают лучше узнать друг друга и создать атмосферу доверия и поддержки.

«Ты сам управляешь своим временем — для компании важен результат и ответственный подход. В этом и многом другом я чувствую внимательное отношение со стороны компании. Любой сотрудник здесь не винтик, а человек. У нас прекрасная профессиональная команда. Люди — это одна из причин, по которой коллеги долго работают в Mediascope».

Как стать частью команды Mediascope

Mediascope — это компания, в которой талантливые дата-инженеры (и не только) раскрывают свой потенциал, работая над амбициозными проектами в области больших данных и медиааналитики.

Mediascope — место, где большие данные встречаются с большими возможностями.

Хотите развиваться вместе с нами? Откликайтесь на вакансии — мы всегда готовы рассмотреть интересный опыт, даже если у нас нет открытой позиции.