Tarefa 67:

Análise da Qualidade dos Dados

DuckDB

Analise a tabela yellow_tripdata para identificar e quantificar vários problemas de qualidade dos dados. Sua saída deve incluir as seguintes colunas:
- total_rows: Número total de linhas no conjunto de dados
- missing_pickup_count: Contagem de linhas com tpep_pickup_datetime ausente
- missing_dropoff_count: Contagem de linhas com tpep_dropoff_datetime ausente
- invalid_distance_count: Contagem de linhas com trip_distance inválido
- invalid_amount_count: Contagem de linhas com total_amount inválido
- invalid_passenger_count: Contagem de linhas com passenger_count inválido
- invalid_time_count: Contagem de linhas com dados de tempo inválidos
- problematic_row_count: Contagem de linhas com quaisquer problemas de qualidade
- clean_row_percentage: Porcentagem de linhas sem problemas de qualidade, arredondada para duas casas decimais

Resultado esperado Colunas: 9 · Linhas: 1

total_rows	missing_pickup_count	missing_dropoff_count	invalid_distance_count	invalid_amount_count	invalid_passenger_count	invalid_time_count	problematic_row_count	clean_row_percentage

Escreva sua consulta abaixo e clique em "Verificar!". As tabelas estão descritas no painel direito.

Tutorial

O resultado da consulta aparecerá aqui. Ctrl+Enter - Executar consulta

Conjunto de dados DuckDB yellow_tripdata

Sobre o DuckDB

O DuckDB é um SGBD analítico incorporado, projetado para consultas rápidas em dados locais e de aplicações.

Ele oferece suporte a SQL e funciona dentro da aplicação sem um processo de servidor separado. O armazenamento e a execução em colunas tornam o DuckDB adequado para analisar grandes conjuntos de dados, realizar agregações e processar arquivos CSV e Parquet.

Neste playground, o DuckDB é usado para praticar SQL com um conjunto de dados de viagens de táxi.

yellow_tripdata é um conjunto de dados educacional com viagens de táxis amarelos de Nova York.

A tabela é adequada para praticar filtragem, agrupamento, ordenação, operações com datas e cálculos agregados no DuckDB.

Todos os campos deste conjunto aceitam o valor NULL. Não há chave primária nem restrições adicionais definidas.

Mais sobre o banco de dados NYC Yellow Taxi: esquema, exemplos de consultas e todos os exercícios →

Tabela yellow_tripdata

yellow_tripdata - viagens de táxi amarelo.

VendorID identificador do fornecedor do serviço de táxi.
tpep_pickup_datetime data e hora do embarque do passageiro.
tpep_dropoff_datetime data e hora do desembarque do passageiro.
passenger_count número de passageiros.
trip_distance distância da viagem.
RatecodeID identificador do código tarifário.
store_and_fwd_flag indica que os dados da viagem foram armazenados antes do envio.
PULocationID identificador da zona de embarque.
DOLocationID identificador da zona de desembarque.
payment_type identificador do método de pagamento.
fare_amount valor da viagem sem cobranças adicionais.
extra cobranças adicionais.
mta_tax imposto MTA.
tip_amount valor da gorjeta.
tolls_amount valor dos pedágios.
improvement_surcharge taxa para melhoria do sistema de transporte.
total_amount custo total da viagem.
congestion_surcharge taxa de congestionamento.
Airport_fee taxa aeroportuária.

Estrutura da tabela yellow_tripdata
Nome da coluna	Tipo	NULL	Chave	Padrão	Extra
VendorID	INTEGER	YES	[null]	[null]	[null]
tpep_pickup_datetime	TIMESTAMP	YES	[null]	[null]	[null]
tpep_dropoff_datetime	TIMESTAMP	YES	[null]	[null]	[null]
passenger_count	BIGINT	YES	[null]	[null]	[null]
trip_distance	DOUBLE	YES	[null]	[null]	[null]
RatecodeID	BIGINT	YES	[null]	[null]	[null]
store_and_fwd_flag	VARCHAR	YES	[null]	[null]	[null]
PULocationID	INTEGER	YES	[null]	[null]	[null]
DOLocationID	INTEGER	YES	[null]	[null]	[null]
payment_type	BIGINT	YES	[null]	[null]	[null]
fare_amount	DOUBLE	YES	[null]	[null]	[null]
extra	DOUBLE	YES	[null]	[null]	[null]
mta_tax	DOUBLE	YES	[null]	[null]	[null]
tip_amount	DOUBLE	YES	[null]	[null]	[null]
tolls_amount	DOUBLE	YES	[null]	[null]	[null]
improvement_surcharge	DOUBLE	YES	[null]	[null]	[null]
total_amount	DOUBLE	YES	[null]	[null]	[null]
congestion_surcharge	DOUBLE	YES	[null]	[null]	[null]
Airport_fee	DOUBLE	YES	[null]	[null]	[null]

Prática

lições

Playground

Teste

Análise da Qualidade dos Dados

Entrar

Registrar

Análise da Qualidade dos Dados