Эволюция схемы данных. Носим данные из реляционной СУБД в Hadoop

Знакома ли вам такая ситуация: построили замечательный ETL, витрины и красивые дашборды. На очередной отчетной встрече о работе вашей компании докладчик открывает дашборд, а там вместо графиков красные буквы (в лучше случае) или драматическое снижение ключевых показателей. Все охают, хватаются за сердце, а вы понимаете, что кто-то просто обновил продуктивную систему, не предупредив отдел отчетности... В докладе будет про эволюцию схемы реляционных данных. Как не сломать downstream своими обновлениями, как защититься от ломающих обновлений в upstream системе. Стек: Hadoop, Spark. Форматы: Avro, Parquet, ORC. И немного про схемы и технологии их обновления