kaggle项目:纽约出租车行程时间NYC Taxi Trip Duration

VIPkaggle项目:纽约出租车行程时间NYC Taxi Trip Duration
纽约出租车形成时间预测(NYC Taxi Trip Duration)是Kaggle中的一个Playground竞赛。比赛数据集基于2016年纽约市黄色出租车行程记录数据,需要建立一个模型,根据单个行程属性,预测测试集中每次行程的持续时间。Kaggle项目模型XGBoost,评价指标RMSLE。
开通可读全文 ·2.7k 人阅读
最低0.47元/天 解锁文章

1. 项目简介

New York City Taxi Trip Duration是Kaggle中的一个Playground竞赛。比赛数据集基于2016年纽约市黄色出租车行程记录数据,需要建立一个模型,根据单个行程属性,预测测试集中每次行程的持续时间。

  1. Kaggle项目
  2. 模型XGBoost、LightGBM,评价指标RMSLE
  3. 2023.6.27,Score: 0.38744,Rank:370/1254
  4. Kaggle Notebook

1.1 数据说明

标识 含义
id 每次行程的唯一ID
vendor_id 行程提供者的ID
pickup_datetime 上车的日期和时间
dropoff_datetime 停表的日期和时间
passenger_count 车辆中的乘客数量(驾驶员输入值)
pickup_longitude 上车的经度
pickup_latitude 上车的纬度
dropoff_longitude 下车经度
dropoff_latitude 下车的纬度
store_and_fwd_flag 行程记录是否为存储转发(或是直接发送):Y =存储和转发 N =没有存储
trip_duration 行程持续时间(秒):预测值

1.2 相关数据集

由于出租车行程时间与交通拥堵程度、天气等多种因素相关,竞赛给定的数据集中缺少此类信息,因此额外加入Kaggle中提供的其他相关数据集:

  1. KNYC Metars 2016:2016年纽约市的天气数据。主要字段:
标识 含义
Time 日期与实践
Temp. 温度
Visibility 能见度
Precip 降雨
Events 天气事件
  1. NYC 2016 Holidays:2016年纽约市的节假日数据

添加方式:
在这里插入图片描述

2. 数据读取

import pandas as pd
import numpy as np
from datetime import datetime, date

import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

import xgboost as xgb
from lightgbm import LGBMRegressor
from sklearn.model_selection import train_test_split
from sklearn.decomposition import PCA
from sklearn.cluster import MiniBatchKMeans, KMeans
import optuna
import optuna.integration.lightgbm as oplgb

import warnings
warnings.filterwarnings('ignore')

2.1 读取数据集

# 参数parse_dates可以解析日期格式
train_df = pd.read_csv('/kaggle/input/nyc-taxi-trip-duration/train.zip', parse_dates=['pickup_datetime', 'dropoff_datetime'])
test_df = pd.read_csv('/kaggle/input/nyc-taxi-trip-duration/test.zip', parse_dates=['pickup_datetime'])
dfs = [train_df, test_df]

后续需要对train和test进行统一的特征工程,因此放入列表dfs中,dfs[0]为train,dfs[1]为test。

print(dfs[0].shape, dfs[1].shape)
print([i for i in dfs[0].columns if i not in dfs[1].columns])

(1458644, 11) (625134, 9)
[‘dropoff_datetime’, ‘trip_duration’]

训练集1458644条,测试集625134条。
trip_duration为预测字段,相应地,测试集还缺少dropoff_datetime(否则不需要预测)

2.2 读取节假日数据

# 读取假期数据
holiday = pd.read_csv('/kaggle/input/nyc2016holidays/NYC_2016Holidays.csv', sep=';', parse_dates=['Date'])
holiday['Date'] = holiday['Date'].apply(lambda x: x + ' 2016')
holidays = [datetime.strptime(holiday.loc[i, 'Date'], '%B %d %Y').date() for i in range(len(holiday))]
holidays[:3]

[datetime.date(2016, 1, 1),
datetime.date(2016, 1, 18),
datetime.date(2016, 2, 12)]

将假期数据转换为与数据集一致的datetime格式

2.3 读取天气数据

# 读取天气数据
weather = pd.read_csv('/kaggle/input/knycmetars2016/KNYC_Metars.csv', parse_dates=['Time'])
weather.head(5)

在这里插入图片描述

3. 数据探索与清理

3.1 检查缺失值

# 训练集
dfs[0].info()

在这里插入图片描述

不存在缺失值。playground的数据集通常经过处理。

3.2 检查异常值

# 禁用科学计数法
pd.set_option('display.float_format', lambda x: '%.2f' % x)
dfs[0].describe()

在这里插入图片描述

存在异常值:

  1. passenger_count:乘客人数,最小0人 最大9人,显然都是异常的
  2. trip_duration:行程时间,最小1s 最大3526282s(约979.5小时),显然都是异常的
  1. passenger_count

查看passenger_count各种取值的数量:

print(dfs[0].passenger_count.value_counts())
print(dfs[1].passenger_count.value_counts())

在这里插入图片描述

异常值:0,7,8,9
由于test中也有异常值,不能直接删除,考虑用最近的值替代:0–>1,7、8、9–>6

替换异常值:

for i in range(len(dfs)):
    dfs[i]['passenger_count'].replace({
   
   0:1,7:6,8:6,9:6},inplace=True)
  1. trip_duration

首先查看均值、标准差,删除“均值±3标准差”以外的样本:

# 查看trip_duration的均值、标准差
time_mean = np.mean(dfs[0].trip_duration)
time_std = np.std(dfs[0].trip_duration)
print(time_mean, time_std)
# 删除异常值
dfs[0] = dfs[0][(dfs[0]['trip_duration']<=(time_mean + 3 * time_std)) & (dfs[0]['trip_duration']>=(time_mean - 3 * time_std))]

均值959.4922729603659,标准差5237.429929188888

以上并未删除“行程时间为1s”的异常值,还需要额外删除:

# 用正态删除了最大的异常值,但没有删除最小的异常值
dfs[0] = dfs[0][dfs[0]['trip_duration']!=1]

删除异常数据后,再查看数据分布情况:

sns.boxplot(dfs[0]['trip_duration'])

在这里插入图片描述

4. 特征工程与EDA

4.1 时间相关

本节一览:

  1. trip_duration的标准差为5237.43,说明行程时间数据差异大,为减小数据差异带来的干扰,将数据log化:log_trip_duration
  2. 提取时间特征:
    • 提取年、月、日、小时、分钟、星期、日期
      • 其中加上“time”,用hour+minute/60,为了区分7:01与7:59
    • 是否工作日、是否节假日
    • 24小时切分为不同时段:早高峰、晚高峰、白天、夜晚
      • 划分方式需要区分是否节假日,节假日没有早/晚高峰
  1. log_trip_duration
dfs[0]['log_trip_duration'] = np.log(dfs[0]['trip_duration'].values + 1)

查看log_trip_duration的分布:

plt.hist(dfs[0]['log_trip_duration'].values, bins=100)

在这里插入图片描述
2. 提取时间特征

  • 提取年、月、日、小时、分钟、星期、日期:
# 提取年、月、日、小时、分钟、星期、日期
for i, d in enumerate(dfs):
    dfs[i]['year'] = d.pickup_datetime.dt.year
 
VIP 【python】kaggle项目之纽约出租车行程时间预测 这里是引用 该项目来源于Kaggle,旨在建模来预测纽约出租车在行程中的总行驶时间。 在建模预测的过程中,我们可以顺便探索纽约市民打车出行习惯及其他有效信息。 kaggle项目链接 https://www.kaggle.com/c/nyc-taxi-trip-duration/overview 本文内容结构说明: 一、先参考简书帖子《纽约出租车大数据探索》完成一部分探索,帖子没有源代码,所以我会根据帖子思路,自行写出代码。 帖子网址 https://www.jianshu.com/p/1da53849. 开通可读全文·5.7k 阅读·10 点赞·81 收藏 阅读全文

相关推荐

kaggle纽约出租车数据( New York City Taxi Trip Duration)

数据简介 ID:每次行程的唯一ID vendor_id: 行程提供者的ID pickup_datetime: 上车的日期和时间 dropoff_datetime - 停表的日期和时间 passenger_count - 车辆中的乘客数量(驾驶员输入值) pickup_longitude - 上车的经度 pickup_latitude - 上车的纬度 dropoff_longitude - 下车经度 dropoff_latitude - 下车的纬度 store_and_fwd_flag - 行程记录是否为存储转发(或是直接发送) trip_duration - 行程持续时间(秒)

NewYorkCityTaxiTripDuration:纽约市出租车行程时间

纽约市出租车行程时间 该存储库包含我在第一个Tableau项目中创建的分析和可视化。 如果感觉更好,可以在查看。 该项目也存在于NYTaxiTrip.twb此存储库中。 关于 该项目包含所选数据库的整个研究,每种图形表示的原因以及所得出的结论。 涵盖的主题: 特征工程 数据清理 特征关系 数据集 该数据库取自Kaggle的比赛。 在这场比赛中,Kaggle挑战您建立一个模型,该模型可以预测纽约市出租车旅行的总行驶时间。 您的主要数据集是纽约市出租车和豪华轿车委员会发布的数据集,其中包括接送时间,地理坐标,乘客人数以及其他几个变量。 选择的基地是包含1458644旅行记录的训练基地( train.csv )。 基本包含以下属性: id-每个行程的唯一标识符vendor_id-指示与行程记录关联的提供者的代码 Pickup_datetime-启用电表的日期和时间dropoff_

nyc_taxi.csv

纽约地区从2014年7月1日到2015年1月31日的出租车需求

nyc-taxi-data:将公共NYC出租车和出租汽车(Uber,Lyft等)旅行数据导入PostgreSQL数据库

纽约市出租车和计程车数据 最初支持该帖子的代码: 此存储库提供脚本来下载,处理和分析自2009年以来源自纽约市的数十亿计程车和出租汽车(Uber,Lyft等)的。大多数来自NYC出租车和豪华轿车委员会。 数据存储在数据库中,并使用进行空间计算。 截至2019年12月31日的统计数据: 26.3亿人次 16.9亿出租车 9.35亿辆 291 GB的原始数据 数据库在磁盘上占用的空间为391 GB,索引最少 指示 1.安装和 两者都可以通过Mac上的获得 2.下载原始数据 ./download_raw_data.sh && ./remove_bad_rows.sh remove_bad_rows.sh脚本修复了两个行数过多且列数过多的特定文件。 有关更多信息,请参见下面的“数据问题”部分。 请注意,原始数据为数百GB,因此下载将花费一些时间。 3.初始化数据库并设置架构 ./in

NYCTaxi:纽约出租车数据

纽约出租车 纽约出租车数据 用于分析 NYC Taxi 2013 数据的批量上传和 mapreduce 脚本来自 在此处查看 HowTo YouTube 教程: : list PLDmAhHEdtC81baUF8QacuQ-GAjVeEwiNi

测试数据集nyc-taxi.csv

测试数据集nyc-taxi.csv

nyc-taxi-analysis:分析200 GB的NYC出租车数据集

如何使用AWS EC2 Hadoop集群处理200 GB数据 存储200 GB的NYC出租车数据集并部署Cloudera Hadoop集群以对其进行可视化。 使用Python Datashader绘制和可视化Hadoop大型数据集 没有Datashader的可视化 工作流程概述 使用数据着色器 最终可视化

New York City Taxi Trip Duration-数据集

数据集基于2016年纽约市黄色出租车出行记录数据,该数据可在Google Cloud Platform的Big Query中获得。该数据最初由纽约市出租车和豪华轿车委员会(TLC)发布。为了本次运动会比赛的目的,对数据进行了采样和清理。根据个人出行的属性,参与者应预测测试集中每次出行的持续时间。

电阻应变式力传感器

电阻应变式力传感器

lu_fresh_student的博客 5082

使用mne包来对脑电数据进行预处理(一)

MNE(MNE-Python)是一个用于处理脑电(EEG)、磁图(MEG)和其他神经科学数据的Python库。它提供了丰富的功能,包括数据加载、预处理、分析和可视化,旨在帮助研究人员和神经科学家更轻松地进行脑电数据的处理和分析。在本文中,我们使用mne来对不同的格式的脑电数据集进行数据读取。

m0_71596228的博客 4310

BVH2SMPL 实战笔记

BVH2SMPL 实战笔记

jacke121的专栏 845

手把手实现STM32+ESP8266+原子云服务器+手机APP应用——第三节-编写STM32程序实现STM32+ESP8266+原子云服务器+手机APP互相通信—远程数据传输及控制灯

接上一篇,本节使用原子云服务器。编写STM32程序实现STM32+ESP8266+原子云服务器+手机APP互相通信—远程数据传输及控制灯。使用的硬件包括:STM32F103(任意其他款系列也可以的)、正点原子ATK-ESP8266、LED灯。实现编写STM32程序代码来传输单片机数据到原子云服务器和手机APP进行显示,同时通过手机APP和原子云服务器可以远程控制单片机,例如本节实现远程点/灭灯,以此可以扩展开发更多的功能。本专栏本系列的相关文章可查看下面链接:

嵌入式阿齐Archie 8421

从零开始学习PX4源码23(飞行模式管理)

本文摘要主要介绍了PX4飞控系统中飞行模式管理模块的代码实现流程。文章从整体架构入手,分析了飞行模式管理模块的启动过程、类继承关系以及核心运行机制。重点阐述了模块从rc.mc_apps启动脚本到FlightModeManager::main()的调用链路,包括任务创建、工作队列初始化和主循环执行流程。核心部分解释了Run()函数如何通过订阅传感器数据、更新参数、处理命令以及生成轨迹设定点来实现飞行模式切换和任务管理功能。文章为理解PX4飞行控制系统的模式切换机制提供了代码层面的详细分析。

陌城烟雨 503

Debezium报错处理系列之二十八: Expiring 1 record(s) for test-ts-0:120001 ms has passed since batch creation

Debezium报错处理系列之二十八: Expiring 1 record(s) for test-ts-0:120001 ms has passed since batch creation

zhengzaifeidelushang的博客 3291

SAP中关于预测需求的重要载体:计划独立需求

预测,就是为了调节客户需求的波动、不平衡,使企业的生产计划、物料计划尽量平稳、有序的必备工具。计划独立需求,Planned Independent Requirement(PIR)是SAP系统中最常见的预测需求。

saplakes的博客 1883

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

下一篇: kaggle新赛:ICR疾病预测 EDA&Baseline
哒哒哒哒的猪
博客等级 码龄9年 3粉丝 2原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址