kaggle项目:纽约出租车行程时间NYC Taxi Trip Duration
1. 项目简介
New York City Taxi Trip Duration是Kaggle中的一个Playground竞赛。比赛数据集基于2016年纽约市黄色出租车行程记录数据,需要建立一个模型,根据单个行程属性,预测测试集中每次行程的持续时间。
- Kaggle项目
- 模型XGBoost、LightGBM,评价指标RMSLE
- 2023.6.27,Score: 0.38744,Rank:370/1254
- Kaggle Notebook
1.1 数据说明
| 标识 | 含义 |
|---|---|
| id | 每次行程的唯一ID |
| vendor_id | 行程提供者的ID |
| pickup_datetime | 上车的日期和时间 |
| dropoff_datetime | 停表的日期和时间 |
| passenger_count | 车辆中的乘客数量(驾驶员输入值) |
| pickup_longitude | 上车的经度 |
| pickup_latitude | 上车的纬度 |
| dropoff_longitude | 下车经度 |
| dropoff_latitude | 下车的纬度 |
| store_and_fwd_flag | 行程记录是否为存储转发(或是直接发送):Y =存储和转发 N =没有存储 |
| trip_duration | 行程持续时间(秒):预测值 |
1.2 相关数据集
由于出租车行程时间与交通拥堵程度、天气等多种因素相关,竞赛给定的数据集中缺少此类信息,因此额外加入Kaggle中提供的其他相关数据集:
- KNYC Metars 2016:2016年纽约市的天气数据。主要字段:
| 标识 | 含义 |
|---|---|
| Time | 日期与实践 |
| Temp. | 温度 |
| Visibility | 能见度 |
| Precip | 降雨 |
| Events | 天气事件 |
- NYC 2016 Holidays:2016年纽约市的节假日数据
添加方式:

2. 数据读取
import pandas as pd
import numpy as np
from datetime import datetime, date
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline
import xgboost as xgb
from lightgbm import LGBMRegressor
from sklearn.model_selection import train_test_split
from sklearn.decomposition import PCA
from sklearn.cluster import MiniBatchKMeans, KMeans
import optuna
import optuna.integration.lightgbm as oplgb
import warnings
warnings.filterwarnings('ignore')
2.1 读取数据集
# 参数parse_dates可以解析日期格式
train_df = pd.read_csv('/kaggle/input/nyc-taxi-trip-duration/train.zip', parse_dates=['pickup_datetime', 'dropoff_datetime'])
test_df = pd.read_csv('/kaggle/input/nyc-taxi-trip-duration/test.zip', parse_dates=['pickup_datetime'])
dfs = [train_df, test_df]
后续需要对train和test进行统一的特征工程,因此放入列表dfs中,dfs[0]为train,dfs[1]为test。
print(dfs[0].shape, dfs[1].shape)
print([i for i in dfs[0].columns if i not in dfs[1].columns])
(1458644, 11) (625134, 9)
[‘dropoff_datetime’, ‘trip_duration’]
训练集1458644条,测试集625134条。
trip_duration为预测字段,相应地,测试集还缺少dropoff_datetime(否则不需要预测)
2.2 读取节假日数据
# 读取假期数据
holiday = pd.read_csv('/kaggle/input/nyc2016holidays/NYC_2016Holidays.csv', sep=';', parse_dates=['Date'])
holiday['Date'] = holiday['Date'].apply(lambda x: x + ' 2016')
holidays = [datetime.strptime(holiday.loc[i, 'Date'], '%B %d %Y').date() for i in range(len(holiday))]
holidays[:3]
[datetime.date(2016, 1, 1),
datetime.date(2016, 1, 18),
datetime.date(2016, 2, 12)]
将假期数据转换为与数据集一致的datetime格式
2.3 读取天气数据
# 读取天气数据
weather = pd.read_csv('/kaggle/input/knycmetars2016/KNYC_Metars.csv', parse_dates=['Time'])
weather.head(5)

3. 数据探索与清理
3.1 检查缺失值
# 训练集
dfs[0].info()

不存在缺失值。playground的数据集通常经过处理。
3.2 检查异常值
# 禁用科学计数法
pd.set_option('display.float_format', lambda x: '%.2f' % x)
dfs[0].describe()

存在异常值:
- passenger_count:乘客人数,最小0人 最大9人,显然都是异常的
- trip_duration:行程时间,最小1s 最大3526282s(约979.5小时),显然都是异常的
- passenger_count
查看passenger_count各种取值的数量:
print(dfs[0].passenger_count.value_counts())
print(dfs[1].passenger_count.value_counts())

异常值:0,7,8,9
由于test中也有异常值,不能直接删除,考虑用最近的值替代:0–>1,7、8、9–>6
替换异常值:
for i in range(len(dfs)):
dfs[i]['passenger_count'].replace({
0:1,7:6,8:6,9:6},inplace=True)
- trip_duration
首先查看均值、标准差,删除“均值±3标准差”以外的样本:
# 查看trip_duration的均值、标准差
time_mean = np.mean(dfs[0].trip_duration)
time_std = np.std(dfs[0].trip_duration)
print(time_mean, time_std)
# 删除异常值
dfs[0] = dfs[0][(dfs[0]['trip_duration']<=(time_mean + 3 * time_std)) & (dfs[0]['trip_duration']>=(time_mean - 3 * time_std))]
均值959.4922729603659,标准差5237.429929188888
以上并未删除“行程时间为1s”的异常值,还需要额外删除:
# 用正态删除了最大的异常值,但没有删除最小的异常值
dfs[0] = dfs[0][dfs[0]['trip_duration']!=1]
删除异常数据后,再查看数据分布情况:
sns.boxplot(dfs[0]['trip_duration'])

4. 特征工程与EDA
4.1 时间相关
本节一览:
- trip_duration的标准差为5237.43,说明行程时间数据差异大,为减小数据差异带来的干扰,将数据log化:log_trip_duration
- 提取时间特征:
- 提取年、月、日、小时、分钟、星期、日期
- 其中加上“time”,用hour+minute/60,为了区分7:01与7:59
- 是否工作日、是否节假日
- 24小时切分为不同时段:早高峰、晚高峰、白天、夜晚
- 划分方式需要区分是否节假日,节假日没有早/晚高峰
- log_trip_duration
dfs[0]['log_trip_duration'] = np.log(dfs[0]['trip_duration'].values + 1)
查看log_trip_duration的分布:
plt.hist(dfs[0]['log_trip_duration'].values, bins=100)

2. 提取时间特征
- 提取年、月、日、小时、分钟、星期、日期:
# 提取年、月、日、小时、分钟、星期、日期
for i, d in enumerate(dfs):
dfs[i]['year'] = d.pickup_datetime.dt.year
5082



被折叠的 条评论
为什么被折叠?



