Задание 57:

Анализ качества данных

DuckDB

Проанализируйте таблицу yellow_tripdata, чтобы выявить и количественно оценить различные проблемы качества данных. Ваш вывод должен включать следующие столбцы:
- total_rows: Общее количество строк в наборе данных
- missing_pickup_count: Количество строк с отсутствующим tpep_pickup_datetime
- missing_dropoff_count: Количество строк с отсутствующим tpep_dropoff_datetime
- invalid_distance_count: Количество строк с недопустимым trip_distance
- invalid_amount_count: Количество строк с недопустимым total_amount
- invalid_passenger_count: Количество строк с недопустимым passenger_count
- invalid_time_count: Количество строк с недопустимыми временными данными
- problematic_row_count: Количество строк с любыми проблемами качества
- clean_row_percentage: Процент строк без проблем качества, округленный до двух десятичных знаков

Ожидаемый результат Столбцов: 9 · Строк: 1

total_rows	missing_pickup_count	missing_dropoff_count	invalid_distance_count	invalid_amount_count	invalid_passenger_count	invalid_time_count	problematic_row_count	clean_row_percentage

Напишите запрос ниже и нажмите "Проверить!". Описания таблиц - в правой панели.

Учебник

Здесь появится результат запроса. Ctrl+Enter - Выполнить запрос

Набор данных DuckDB yellow_tripdata

О DuckDB

DuckDB - встраиваемая аналитическая СУБД, предназначенная для быстрых запросов к локальным и прикладным данным.

Она поддерживает SQL и работает внутри приложения без отдельного серверного процесса. Колоночное хранение и выполнение запросов делают DuckDB удобной для анализа больших наборов данных, агрегаций и обработки файлов CSV и Parquet.

В этом playground DuckDB используется для практики SQL на примере набора данных о поездках такси.

yellow_tripdata - учебный набор данных о поездках на жёлтых такси Нью-Йорка.

Таблица подходит для практики фильтрации, группировки, сортировки, работы с датами и расчёта агрегатных показателей в DuckDB.

Все поля в наборе допускают значение NULL. Первичный ключ и дополнительные ограничения не заданы.

Подробнее о базе NYC Yellow Taxi: схема, примеры запросов и все задачи →

Таблица yellow_tripdata

yellow_tripdata - поездки на жёлтых такси.

VendorID идентификатор поставщика сервиса такси.
tpep_pickup_datetime дата и время посадки пассажира.
tpep_dropoff_datetime дата и время высадки пассажира.
passenger_count количество пассажиров.
trip_distance расстояние поездки.
RatecodeID идентификатор тарифного плана.
store_and_fwd_flag признак хранения данных поездки перед отправкой.
PULocationID идентификатор зоны посадки.
DOLocationID идентификатор зоны высадки.
payment_type идентификатор способа оплаты.
fare_amount стоимость поездки без дополнительных сборов.
extra дополнительные сборы.
mta_tax налог MTA.
tip_amount сумма чаевых.
tolls_amount сумма платежей за платные дороги.
improvement_surcharge сбор на улучшение транспортной системы.
total_amount итоговая стоимость поездки.
congestion_surcharge сбор за дорожную загруженность.
Airport_fee сбор аэропорта.

Структура таблицы yellow_tripdata
Имя столбца	Тип	NULL	Ключ	По умолчанию	Дополнительно
VendorID	INTEGER	YES	[null]	[null]	[null]
tpep_pickup_datetime	TIMESTAMP	YES	[null]	[null]	[null]
tpep_dropoff_datetime	TIMESTAMP	YES	[null]	[null]	[null]
passenger_count	BIGINT	YES	[null]	[null]	[null]
trip_distance	DOUBLE	YES	[null]	[null]	[null]
RatecodeID	BIGINT	YES	[null]	[null]	[null]
store_and_fwd_flag	VARCHAR	YES	[null]	[null]	[null]
PULocationID	INTEGER	YES	[null]	[null]	[null]
DOLocationID	INTEGER	YES	[null]	[null]	[null]
payment_type	BIGINT	YES	[null]	[null]	[null]
fare_amount	DOUBLE	YES	[null]	[null]	[null]
extra	DOUBLE	YES	[null]	[null]	[null]
mta_tax	DOUBLE	YES	[null]	[null]	[null]
tip_amount	DOUBLE	YES	[null]	[null]	[null]
tolls_amount	DOUBLE	YES	[null]	[null]	[null]
improvement_surcharge	DOUBLE	YES	[null]	[null]	[null]
total_amount	DOUBLE	YES	[null]	[null]	[null]
congestion_surcharge	DOUBLE	YES	[null]	[null]	[null]
Airport_fee	DOUBLE	YES	[null]	[null]	[null]