Задание 22:

Улучшение производительности и стоимости для больших таблиц

Таблица с сотнями миллионов строк становится медленной и дорогой в обработке. Как бы вы улучшили производительность и эффективность затрат? Обсудите партиционирование, кластеризацию или индексацию, инкрементные загрузки и проектирование запросов.

Напишите ваш ответ в поле ниже и нажмите кнопку "Проверить ответ"

Учебник

Ответы проверяет AI, поэтому для проверки нужен аккаунт. Новые аккаунты получают бесплатные AI-кредиты.

Здесь появится отзыв ИИ на ваш ответ.

Кто такой Data Engineer?

Data Engineer проектирует и поддерживает системы, которые собирают, преобразуют и доставляют данные для аналитики и принятия бизнес-решений.

Что делает Data Engineer?

Строит надежные ETL/ELT-пайплайны из разных источников данных.
Готовит чистые и структурированные наборы данных для аналитиков и data scientist-ов.
Проектирует схемы хранилищ данных (фактовые и измеренческие таблицы).
Контролирует качество и актуальность данных, а также сбои пайплайнов.
Оптимизирует производительность запросов и стоимость обработки данных.

Что должен знать Data Engineer?

Сильный SQL: JOIN, агрегаты, оконные функции и оптимизация запросов.
Моделирование данных: нормализация, денормализация, схемы "звезда" и "снежинка".
Принципы оркестрации и планирования пайплайнов.
Batch/streaming-подходы, инкрементальные загрузки и идемпотентность.
Основы облачных хранилищ, data warehouse и наблюдаемости.

Эта страница помогает практиковать вопросы по Data Engineering в формате собеседования на SQLTest.online.