Titanic 泰坦尼克号预测-Tensorflow 方法-【Kaggle 比赛】

【机器学习kaggle赛事】泰坦尼克号生存预测 回顾这个项目的基本流程:1、查看数据集,合并训练集测试集以一起进行数据清洗2、数据清洗:查看数据集空缺值,并填充空缺值3、探索性可视化:通过透视表和图表,探究各个特征与label(需要预测的值)的相关性,若有相关性则保留。4、特征选择:通过相关系数来选择。 阅读详情

本文介绍Kaggle入门比赛Titanic泰坦尼克号幸存预测的解题思路,使用的是神经网络和Tensorflow框架。提交代码附在本文的最后部分。

基本思路为:

  1. 导入数据集
  2. 对数据预处理
  3. 训练
  4. 预测并输出结果

一、入门介绍

1. 比赛介绍

        Kaggle是一个数据建模和数据分析竞赛平台。

        泰坦尼克号幸存预测是Kaggle上的一个入门级比赛,利于平台给的数据集,预测泰坦尼克号上不同乘客的幸存情况,并熟悉机器学习基础知识。

2. 板块介绍

Titanic比赛的主页-Kaggle
Titanic比赛的主页-Kaggle

比赛地址:Titanic - Machine Learning from Disaster

Titanic - Machine Learning from Disasterhttps://www.kaggle.com/competitions/titanic

Kaggle的主页面如上,我们主要关注 Overview、Data 和 Submit Predictions 三个板块

  • Overview: 比赛的基本介绍
  • Data: 数据集的结构和字段介绍,在这里可以下载所需要的数据集
  • Submit Predictions: 提交预测结果,并查看本次比赛的分数

其他板块如 Code 可以查看其他团队分享的代码,Discussion 是解题思路的分享,Leaderboard 是分数排行榜。

3. 平台提交流程

  1. 首先在 data 板块中点击“Download All”下载训练集和测试集
  2. 训练集附带真实结果,而测试集是用来做预测并提交结果
  3. 编写代码预测后,按照要求的格式在 Submit Predictions 上传结果,并查看本次提交的分数与排名

二、方法介绍

1.理解需求

比赛很简单:创建一个模型,预测哪些乘客在泰坦尼克号沉船中幸存下来。
下载下来的数据包括三个文件:训练集(train.csv), 测试集(test.csv), 提交示例(gender_submission.csv)

  • 训练集(train.csv):用于神经网络进行训练的数据集,包含真实结果列(Survival)
  • 测试集(test.csv):训练好模型后,用此文件中数据进行预测得到结果
  • 提交示例(gender_submission.csv):最终提交结果的格式示例,包含 PassengerId 和 Survived 两列

2.数据预处理

  • 可以用各种工具(pandas、Excel 和 Kaggle 自带表格等)分析训练集的数据,判断每一列的数据类型和是否有空缺等情况
  • 去除对结果不影响的列
  • 对空缺的单元进行填充

3.构建模型

  • 使用 keras 的 Sequence 模型
  • 隐藏层使用 relu 激活函数

4.模型评估

  • 使用 keras 的 compile, fit, evaluate 方法进行训练和评估
  • 使用 keras 的 predict 方法预测结果,并将结果按提交示例形成 csv 文件输出

三、编码过程

  • 首先在 data 板块中点击“Download All”下载训练集和测试集

1.导入数据 load_data

  • 使用 pandas 的 read_csv 方法,导入数据 load_data
# 提前将所有包引入
import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow.python.keras import activations
import matplotlib.pyplot as plt
from tensorflow.keras import regularizers
import datetime

# 导入数据
def load_data(path_url, test_path_url):
    raw_train_dataset = pd.read_csv(path_url)
    raw_test_dataset = pd.read_csv(test_path_url)
    return raw_train_dataset, raw_test_dataset

if __name__ == "__main__":
    # 1. 导入数据
    path_url = r"kaggle\titanic\train.csv"
    test_path_url = r"kaggle\titanic\test.csv"
    raw_train_dataset, raw_test_dataset = load_data(path_url, test_path_url)

2.数据预处理 preprocess

  • 首先我们确定数据集 features_test

    训练集 train.csv 中共包含 12 列,分别是 passengerId,survival,pclass,name,sex,Age,sibsp,parch,ticket,fare,cabin,embarked。

    通过分析可知对预测结果有影响的列为 Pclass,Sex,Fare,Age,SibSp,Parch,Embarked,而Survived为真实标签列。PassengerId在测试集中会用到。

    根据以上分析确定所需的列,形成features_test,将训练集裁剪为所需列。

  • 接下来对数据的缺失值进行填补

    用pandas的describe()和isnull().sum()方法可以对训练集进行数值统计,考虑以中位数来替代缺失值。其中缺失较多的列为Age和Fare列。

  • 数据类型统一为数字编码
    考虑Sex和Embarked列是字符串,将其修改为每一个可能性字符单独一列,并去除原列。

  • 归一化输入(标准化)
    第一步是零均值化,每个训练数据𝑥减去均值𝜇。第二步是归一化方差。

  • 分别处理训练集和测试集
    对于训练集,我们要把Survived列单独提出来作为标签,即真实值。

    对于测试集,对比提交示例(gender_submission.csv)文件,我们保留PassengerId列作为索引id。

# 数据预处理的基础方法
def preprocess(raw_dataset, features, train=True):
    """用于predict的数据预处理
    Args:
        input: dataset = pandas.DataFrame对象
    """
    # 以中位数来替代
    if "Age" in features:
        raw_dataset["Age"].fillna(raw_dataset["Age"].median(), inplace=True)
    raw_dataset["Fare"].fillna(raw_dataset["Fare"].median(), inplace=True)
    # Embarked也可以为最多值
    raw_dataset["Embarked"].fillna(raw_dataset["Fare"].median(), inplace=True)
    dataset = raw_dataset[features]
    dataset = dataset.copy()

    # 由于 embarked=登船港口, Port of Embarkation	
Kaggle泰坦尼克号幸存者预测 解析一名金牌选手方案 泰坦尼克号——来自灾难的机器学习 1.数据 有两个数据集,分别是训练集train.csv和测试集test.csv。 train.csv包含乘客子集的详细信息(准确地说是 891 人),揭示了他们是否幸存,也称为“基本事实”。test.csv 数据集包含类似的信息,但没有透露每位乘客是否幸存,预测这些结果是你的工作,即:使用你在 train.csv 数据中找到的模式,预测船上的其他 418 名乘客(在 test.csv中找到)是否幸存。 下面了解一下train.csv数据集中的变量:   阅读详情

相关推荐

Kaggle实战入门:从环境搭建到竞赛提分的完整心法

机器学习竞赛是数据科学家和算法工程师提升实战能力的重要途径。其核心原理在于通过解决真实、定义明确的问题,系统化地训练数据预处理、特征工程、模型构建与验证的完整技能链。这一过程的技术价值在于,它能将理论知识转化为解决复杂、开放问题的工程能力,并培养对数据分布、模型偏差与方差的深刻直觉。在实际应用场景中,无论是希望丰富项目履历的学生,还是寻求技术突破的从业者,参与Kaggle这类平台竞赛都是高效的成长路径。本文聚焦于Kaggle实战,详细拆解了从**环境配置**、**探索性数据分析(EDA)** 到模型集成与提

weixin_30920597的博客 506

数据科学自学路线图:免费资源实战闭环指南

数据科学是一门融合统计学、编程与业务理解的工程实践学科。其核心原理在于通过数据清洗、特征构建、模型训练与评估形成完整分析闭环。技术价值体现在快速验证假设、驱动业务决策与构建可复用的数据产品。典型应用场景包括用户行为分析、销量预测、风控建模与A/B测试归因。而真正高效的学习路径,不依赖资源堆砌,而在于环境兼容的免费工具链协同——如pandas数据处理、scikit-learn建模、Kaggle真实项目验证,以及Streamlit成果部署。本文基于37名转行学员实战复盘,聚焦‘可验证、有闭环、能跑通’的免费学习

a5199519的博客 444

从经典习题到AI实战:一份练习题重构人工智能高效学习路径

人工智能作为一门融合了计算机科学、数学与工程实践的交叉学科,其核心在于让机器模拟人类智能行为。其基本原理涉及从数据中学习规律,通过算法模型实现感知、推理与决策。掌握人工智能技术,对于推动产业智能化转型、解决复杂现实问题具有重要价值,广泛应用于计算机视觉、自然语言处理、智能推荐等场景。本文以经典的人工智能练习题为切入点,系统拆解了人工智能的知识图谱,并规划了一条从理论认知到项目实战的清晰学习路径。文中深入探讨了如何利用大语言模型(LLM)和智能体(Agent)等现代技术工具,将经典算法原理与现代工程实践相结合

weixin_30721077的博客 369

Kaggle 泰坦尼克号挑战赛

那再实际的随机森林模型中,对于问题的选择,通常采用信息增益、增益率或者基尼指数对所选参量进行判断,在选择一个参量后,群体分支几个部分,每个部分中某一类数量占比特别高,其它类别总占比小,我们就称这个参量的信息增益大,可以看看上面我给你举的例子,不同问题代表不同参量,好的参量最后造成了左右队列中男女比例明显的变化。假设你要判断一些戴着面具的孩子的性别,你可以对他们提出问题,根据他们的回答进行判断,你能提出问题只包括是否喜欢运动,是否喜欢电脑游戏,是否喜欢粉色,是否喜欢甜食等等。他在泰坦尼克号上去世时22岁。

wiselisx的博客 2007

Titanic_prediction:泰坦尼克号数据集模型预测,使用在Flask制成的EC2上部署的Logistic回归

泰坦尼克号 使用部署在Flask前端的EC2上部署的逻辑回归进行泰坦尼克数据集模型预测EC2实例的链接: : :

使用buildroot系统的qmake编译QT出现Unknown module(s) in QT: xxxx 的错误解决方法

可以看到,我这里使用的是 qt5base-5.15.2 目录下的qmake,这个qmake只包含了基础的qt模块,而额外添加的qt模块没有包含进去,需要使用。可以看到我这里是有的,如果你跟我一样,模块存在,但是还是报找不到对应模块的错误的话,大概率是跟我一样,用错qmake了,看第二点。在包含 qt5base 目录下查看,是否有对应模块的目录,如果没有的话,需要通过make menuconfig 添加一下。目录下的qmake才可以。

T541132的博客 2495

数据中心机房建设标准及依据

深刻理解、尊重并恪守这些依据,是我们以科学、经济、可靠的方式,为蓬勃发展的数字经济筑牢基石的唯一路径。让我们共同努力,以标准为依据,以匠心为精神,建造更多世界一流的高效能、高可用、高智能的绿色数据中心,共同赋能数字中国的宏伟事业,支撑中华民族在数字时代的伟大复兴征程中稳步前行!今天我将力图以宏大的视角和深入的剖析,系统性地阐述数据中心机房建设所应遵循的多层次、多维度的标准依据,揭示这些依据背后的深层逻辑与时代使命,并探讨其如何共同作用于一座世界级数据中心的诞生。,以支持万兆乃至更高速率的传输。

qq_39980997的博客 1142

Isograph Reliability Workbench 14实战:从零构建故障树分析模型

本文以“马达不转”为例,手把手教你使用Isograph Reliability Workbench 14从零构建故障树分析模型。内容涵盖创建工程、定义顶事件、添加逻辑门与基础事件等核心步骤,并介绍了模型检查与定性定量分析,帮助你系统掌握这一强大的可靠性工程工具。

weixin_29309213的博客 368

深入构建加密货币价格预测系统:从数据获取到模型优化的完整指南!

🏆本文收录于「编程与技术实战」专栏,此专栏涵盖了C/C++编程、人工智能、数据结构、机器学习等技术领域的内容,助你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!

**My Coding Family** 1283

通用抓取————6D位姿估计

这意味着算法在没有物体的先验知识(如 CAD 模型)的情况下,依然能够通过神经网络捕捉物体的外观、形状和几何特征,生成相关的 6D 位姿估计。通过输入物体类别的描述,算法能够推断出该类别物体的位姿和尺度,无需特定物体的 CAD 模型。在这个坐标空间中,物体的位姿和尺度都是已知的,基于这个标准化表示,算法可以对输入图像中的物体进行 6D 位姿和尺寸的估计。○优势: ICP 是一种非常有效的位姿优化算法,特别适合精细调整物体的位姿,确保最终估计的位姿与真实物体的点云或模型高度一致。

具身机器人和通用AI 2392

基于模糊神经网络实现水质评价预测 - Matlab源码

首先定义输入层、隐含层和输出层的节点数,并初始化权重和阈值,然后开始训练模型,在每轮训练中通过比较模型的输出值与实际值的误差来更新权重和阈值,直到误差达到最小值,为了提高模型的性能,我们可以采用交叉验证等技术进行优化。首先需要准备好数据集,使用的是嘉陵江的水质监测数据集,数据集包含了多个指标,如 pH 值、溶解氧、总氮、总磷等,以及相应的水质等级,我们需要将数据集分为训练集和测试集。在当今环境日益恶化的情况下,水质监测变得越来越重要,模糊神经网络作为一种新型的。

weixin_50547796的博客 149

Oracle EBS 如何处理MMT表错误-WIP 实体未定义或不具有期间余额项

错误说明:WIP 实体未定义或不具有期间余额项。(The wip entity is either not defined or does not have a period balance entry)由于工单的创建日期为4月份,工单的余额表记录的期间是4月份,而3月份工单余额表中没有记录。公司将上一个新的库存组织,有一部分测试的工单创建日期在4月份,而工单的发放日期、发料事务处理日期和完工事务处理日期均在3月份。1、关闭3月份库存会计期,待定事务处理存在未计成本物料/WMS。成本类型: PAC成本。

陈显平的专栏-Oracle EBS 658

MFC实现简单UDP通信(附完整源码)

MFC实现简单UDP通信(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1114

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: Docker常见操作的集合
下一篇: HanLP实战教程:离线本地版分词与命名实体识别
Tim_Van
博客等级 码龄10年 88粉丝 60原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址