Обработка событий в Snowplow: от сбора до аналитики

Невозможность использовать ставшие привычными сервисы обработки данных, в нашем случае Google Analytics, послужила отправной точкой на пути поиска, адаптации и развития альтернативных способов собирать данные о потребителях. Мы отдали предпочтение Snowplow — open source альтернативе с широкой функциональностью, однако в исходном варианте Snowplow не приспособлен для работы с Hadoop.

Расскажем, как мы написали собственную обработку событий на Spark, накапливая данные в HDFS и загружая обработанные события в ClickHouse для аналитики. Опишем, с какими проблемами столкнулись при разработке и какой опыт приобрели при использовании dbt-репозиториев от Snowplow.

Будет полезно компаниям, которые ищут доступные средства для сбора и обработки данных, поступающих от ПК и мобильных устройств пользователей.