Кто такой Data Engineer?
Data Engineer проектирует и поддерживает системы, которые собирают, преобразуют и доставляют данные для аналитики и принятия бизнес-решений.
Что делает Data Engineer?
- Строит надежные ETL/ELT-пайплайны из разных источников данных.
- Готовит чистые и структурированные наборы данных для аналитиков и data scientist-ов.
- Проектирует схемы хранилищ данных (фактовые и измеренческие таблицы).
- Контролирует качество и актуальность данных, а также сбои пайплайнов.
- Оптимизирует производительность запросов и стоимость обработки данных.
Что должен знать Data Engineer?
- Сильный SQL: JOIN, агрегаты, оконные функции и оптимизация запросов.
- Моделирование данных: нормализация, денормализация, схемы "звезда" и "снежинка".
- Принципы оркестрации и планирования пайплайнов.
- Batch/streaming-подходы, инкрементальные загрузки и идемпотентность.
- Основы облачных хранилищ, data warehouse и наблюдаемости.
Эта страница помогает практиковать вопросы по Data Engineering в формате собеседования на SQLTest.online.