Нам интересны следующие темы

• MPP СУБД и хранилища данных

  • Hive, Impala, Cassandra, ScyllaDB, Druid, Pinot, YTsaurus
  • GreenPlum, ClickHouse, Teradata, Exadata, BigQuery, Redshift, Exasol, Vertica
  • Trino, Presto, Dremio
  • MongoDB, DynamoDB
  • S3, ADLS, GCS, HDFS
  • YDB
• SMP и специализированные СУБД

  • MSSQL, PostgreSQL, MySQL, Oracle
  • DuckDB, SQLite
  • Neo4j, Blazegraph
  • Time Series базы данных
  • Собственные разработки
• Архитектура дата-платформ

  • Моделирование данных
  • Примеры построения корпоративных хранилищ данных
  • Оперативная аналитика
  • Ad-hoc Reporting
  • Hadoop
  • Open Table Formats
• Data Processing

  • Flink
  • Kafka
  • Beam
  • Pulsar
  • Samza
  • RedPanda
  • Spark
  • Hadoop MapReduce
  • Sqoop
  • NiFi
  • Airbyte, DBT, Meltano
  • Pandas, Dataframes, Datatable
  • CDC
  • Анализ производительности и оптимизация
  • Инструменты оркестрации (Airflow, Dagster, Prefect, Metaflow, Kubeflow Pipelines)
• DataOps

  • Построение собственных Feature Stores, внедрение open source (Feast, Feathr, Hopsworks), опыт использования вендоров (Tecton, Sagemaker, DataBricks, etc.)
  • Разработка собственных ML платформ, внедрение open source (Kubeflow, etc), опыт использования готовых (Sagemaker, Vertex AI, DataBrics, etc.)
  • Experiment Tracking (Mlflow, Neptune Ai, Weight and Biases, etc.)
  • CI/CD для пайплайнов данных
• Database Internals

  • Concurrency Control
  • Algorithms for Modern Storage
  • Algorithms for Persistent Memory
  • In-memory databases
  • Storage Models and Layout
  • Query Optimization
  • Query Execution
  • Query Languages
  • Logging and Recovery
  • Indexing
  • Distributed Transactions
  • Database Replication
  • Hardware Accelerated Databases
  • Benchmarking and Performance
  • Testing and Correctness
  • Security
• Data Management

  • Data Governance
  • Безопасность данных
  • Data Quality
  • Data Mesh
  • Метаданные и управление каталогом
  • Master Data Management
  • Миграция данных
• Cloud Solutions

  • Snowflake
  • Databricks
  • AWS, GCP, Azure
  • Яндекс Облако, VK Cloud Solutions, SberCloud
• Миграция с одних инструментов и хранилищ в другие

  • Мотивация
  • Взвешивание за и против
  • Оценка рисков
  • Реализация
  • Грабли, и как вы их решали
• Другое

  • Дата-инженерия не для дата-инженеров