Tâche 31:

Analyse de la qualité des données

DuckDB

Analysez la table yellow_tripdata pour identifier et quantifier divers problèmes de qualité des données. Votre sortie doit inclure les colonnes suivantes :
- total_rows : Nombre total de lignes dans l'ensemble de données
- missing_pickup_count : Nombre de lignes avec tpep_pickup_datetime manquant
- missing_dropoff_count : Nombre de lignes avec tpep_dropoff_datetime manquant
- invalid_distance_count : Nombre de lignes avec une trip_distance invalide
- invalid_amount_count : Nombre de lignes avec un total_amount invalide
- invalid_passenger_count : Nombre de lignes avec un passenger_count invalide
- invalid_time_count : Nombre de lignes avec des données temporelles invalides
- problematic_row_count : Nombre de lignes avec des problèmes de qualité
- clean_row_percentage : Pourcentage de lignes sans problèmes de qualité, arrondi à deux décimales

Résultat attendu Colonnes: 9 · Lignes: 1

total_rows	missing_pickup_count	missing_dropoff_count	invalid_distance_count	invalid_amount_count	invalid_passenger_count	invalid_time_count	problematic_row_count	clean_row_percentage

Écrivez votre requête ci-dessous et cliquez sur "Vérifier !". Les tables sont décrites dans le panneau de droite.

Tutoriel

Le résultat de la requête s'affichera ici. Ctrl+Enter - Exécuter la requête

Jeu de données DuckDB yellow_tripdata

À propos de DuckDB

DuckDB est un SGBD analytique embarqué, conçu pour exécuter rapidement des requêtes sur des données locales et applicatives.

Il prend en charge SQL et fonctionne dans l'application sans processus serveur séparé. Son stockage et son exécution en colonnes le rendent adapté à l'analyse de grands jeux de données, aux agrégations et au traitement de fichiers CSV et Parquet.

Dans ce playground, DuckDB sert à pratiquer SQL avec un jeu de données consacré aux trajets en taxi.

yellow_tripdata est un jeu de données pédagogique contenant des trajets de taxis jaunes de New York.

Cette table permet de pratiquer le filtrage, le regroupement, le tri, les opérations sur les dates et les calculs d'agrégats dans DuckDB.

Tous les champs de ce jeu de données acceptent la valeur NULL. Aucune clé primaire ni contrainte supplémentaire n'est définie.

En savoir plus sur la base NYC Yellow Taxi : schéma, exemples de requêtes et tous les exercices →

Table yellow_tripdata

yellow_tripdata - trajets en taxi jaune.

VendorID identifiant du fournisseur du service de taxi.
tpep_pickup_datetime date et heure de prise en charge du passager.
tpep_dropoff_datetime date et heure de dépose du passager.
passenger_count nombre de passagers.
trip_distance distance du trajet.
RatecodeID identifiant du tarif.
store_and_fwd_flag indique que les données du trajet ont été stockées avant leur transmission.
PULocationID identifiant de la zone de prise en charge.
DOLocationID identifiant de la zone de dépose.
payment_type identifiant du mode de paiement.
fare_amount prix du trajet hors frais supplémentaires.
extra frais supplémentaires.
mta_tax taxe MTA.
tip_amount montant du pourboire.
tolls_amount montant des péages.
improvement_surcharge contribution à l'amélioration du réseau de transport.
total_amount coût total du trajet.
congestion_surcharge contribution pour la congestion.
Airport_fee frais d'aéroport.

Structure de la table yellow_tripdata
Nom de la colonne	Type	NULL	Clé	Valeur par défaut	Informations supplémentaires
VendorID	INTEGER	YES	[null]	[null]	[null]
tpep_pickup_datetime	TIMESTAMP	YES	[null]	[null]	[null]
tpep_dropoff_datetime	TIMESTAMP	YES	[null]	[null]	[null]
passenger_count	BIGINT	YES	[null]	[null]	[null]
trip_distance	DOUBLE	YES	[null]	[null]	[null]
RatecodeID	BIGINT	YES	[null]	[null]	[null]
store_and_fwd_flag	VARCHAR	YES	[null]	[null]	[null]
PULocationID	INTEGER	YES	[null]	[null]	[null]
DOLocationID	INTEGER	YES	[null]	[null]	[null]
payment_type	BIGINT	YES	[null]	[null]	[null]
fare_amount	DOUBLE	YES	[null]	[null]	[null]
extra	DOUBLE	YES	[null]	[null]	[null]
mta_tax	DOUBLE	YES	[null]	[null]	[null]
tip_amount	DOUBLE	YES	[null]	[null]	[null]
tolls_amount	DOUBLE	YES	[null]	[null]	[null]
improvement_surcharge	DOUBLE	YES	[null]	[null]	[null]
total_amount	DOUBLE	YES	[null]	[null]	[null]
congestion_surcharge	DOUBLE	YES	[null]	[null]	[null]
Airport_fee	DOUBLE	YES	[null]	[null]	[null]

Pratique

Leçons

Playground

Test

Analyse de la qualité des données

Se connecter

S'inscrire

Analyse de la qualité des données