【第91期】线性回归共线性与系数可辨识性的实验与排查

本文通过构造秩亏设计矩阵实验,揭示线性回归中多重共线性导致系数不唯一、不稳定的问题。重点分析完全共线与近共线的判别方法(如矩阵秩、条件数、奇异值),对比普通最小二乘与Ridge回归在参数可辨识性上的差异,强调预测准确不等于系数可解释,并指出工程落地中需校验输入契约、单位缩放、正则化适配及残差诊断等关键实践。

 

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0313 线性回归 主人公:小蓝伞 前置:AI-0223 本期产出:房价预测模型

小蓝伞给线性回归同时输入 x 与两倍 x,预测几乎完全正确,却没有得到原以为的系数三与零。本期构造秩亏矩阵,直接比较两组系数的预测,区分拟合准确、参数唯一和因果解释。 教学情境用来组织问题,下面的执行数据来自构造实验。

一、先给结论

线性回归最小化残差平方和,但相关列会让系数不唯一或不稳定。先检查设计矩阵的秩、尺度和业务重复字段;需要稳定化时比较 Ridge,不能把低训练误差当成系数可靠的证据。

二、问题范围与成功判据

本期技术范围是一元、多元线性回归、损失函数和参数拟合。读者应已能运行 Python 并理解训练与验证的区别。

项目本期约定
输入代码中给出的教学样本
输出可逐项核对的中间量与预测或切分结果
成功判据运行完成,正常与故障对照符合下文解释
不作承诺真实业务最佳参数、独立测试成绩和生产性能

三、核心机制与容易混淆的概念

多元线性模型把预测写成截距加各输入列的加权和。普通最小二乘选择让残差平方和最小的参数。若两列分别是 x 和两倍 x,只要第一列系数加两倍第二列系数等于三,就给出相同的三倍 x。数据无法区分这些解,问题来自输入信息冗余。

本期稠密 LinearRegression 使用数值最小二乘求解,秩亏时返回特定约定的解,实验中得到零点六和一点二,它们组合仍为三。不能用这一结果推出模型发现了两项独立贡献。直接计算正规方程并求逆在秩亏时可能失败,在近共线时还会放大数值误差,实际应优先使用可靠分解求解。

Ridge 在残差平方和上加入系数平方惩罚,alpha 控制收缩。它能改善可解性与参数波动,却同时引入偏差,系数仍随输入单位变化。截距的处理与惩罚约定也需要看具体实现。

四、方案选择与反例

用线性模型做基线时先建立预测时可用的输入,检查残差随时间、分组与预测值的结构。明显弯曲可考虑变换或交互,但增加特征后仍要验证。若目标是解释,需追查共线、混杂、测量误差与抽样机制,不能把预测任务的系数直接当因果效应。

共线字段可按业务语义合并或删除,也可用正则保持预测稳定;选择哪一个取决于解释与预测目标。不要为了得到“好看”的系数反复用测试集选字段。

五、完整实践与运行步骤

本次执行环境为 Windows 11、CPython 3.12.14,NumPy 2.3.5、scikit-learn 1.7.2。输入均由文中代码构造,不读取真实用户或业务数据,不需要下载数据集。

新建空目录,将下方完整代码保存为 main.py。目录仅需这个脚本和安装后的虚拟环境,输入直接写在代码里,结果打印到终端,没有未提供的前置文件。

python -m venv .venv
.venv/Scripts/python.exe -m pip install numpy==2.3.5 scikit-learn==1.7.2 scipy==1.18.1 joblib==1.6.0 threadpoolctl==3.7.0 cloudpickle==3.1.2
.venv/Scripts/python.exe main.py

macOS 或 Linux 将解释器路径换为 .venv/bin/python。安装阶段需要可访问的官方包源或已获授权的离线依赖;运行阶段不访问网络。不要覆盖既有项目环境。删除这个专用练习目录即可清理,示例不改数据库、系统配置或用户文件。

import numpy as np
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.metrics import mean_squared_error
x=np.arange(1.,9.)
X=np.column_stack([x,2*x])
y=3*x+1
m=LinearRegression().fit(X,y)
print('rank',m.rank_,'coef',np.round(m.coef_,4).tolist(),'intercept',round(m.intercept_,4))
print('training_mse',mean_squared_error(y,m.predict(X)))
print('different_coef_same_prediction',np.allclose(X@np.array([3.,0.])+1, m.predict(X)))
print('outside',m.predict([[20.,40.]]).round(4).tolist())
r=Ridge(alpha=1.).fit(X,y)
print('ridge_coef',r.coef_.round(4).tolist())

六、可复现失败案例与修复

故障演练的训练 MSE 接近浮点零,最初据此认为每个系数都有物理意义。检查 rank 为一,而输入有两列,说明缺少识别两个独立方向的信息。再用三与零另一组参数计算预测,结果完全一致,完成根因反证。修复后报告重复输入关系及参数约定,而不再解释两个独立效应。

七、实验设计、实际输出与判读

rank 1 coef [0.6, 1.2] intercept 1.0
training_mse 1.1142660286246792e-29
different_coef_same_prediction True
outside [61.0]
ridge_coef [0.5972, 1.1943]

输出的极小训练 MSE 来自人工构造的严格线性目标,不代表真实房价预测能力。different_coef_same_prediction 为真是关键证据,证明系数可以改变而当前预测不变。outside 给出区间外数学延伸,只说明线性公式能计算,不证明区间外规律成立。

Ridge 系数与最小二乘略有差异,原因是目标函数改变。此处没有独立验证集,不能宣称正则模型泛化更好;需要保留未参与选择的数据来验证这种判断。

八、迁移到工程时需要补什么

数据单位改变会让未正则线性模型的系数反向变化,预测可以保持;正则化后惩罚依赖系数大小,缩放会改变实际约束,因此缩放和 alpha 要一起验证。保存列名、顺序、单位与变换,避免在线字段单位变更造成巨大偏差。

评价均值基线、残差和区间外覆盖,比只看决定系数更有用。真实房价还受地点、时间与样本选择影响,需要按部署场景分组或按时间留出。

九、推导、决策与扩展验证

一条直线为何对应无穷多系数

本期两列线性相关,第一列乘系数 a,第二列乘系数 b,总贡献就是 x 乘 a 加两倍 b。只要 a 加两倍 b 等于三,训练目标就相同。零点六与一点二、三与零、一与一都满足约束。数据只识别一个组合方向,因此 rank 为一是信息结构,不是训练程序随机漏算。

最小范数一类数值约定能从多个解中选出一个,但选出不等于证明它是唯一业务分解。如果两列分别被命名为收入与两倍收入,不能因此将两项系数解释成两个独立来源的贡献。字段名称不会创造不存在的独立变化。

近共线比完全共线更难察觉

完全重复列容易被秩检查发现,近重复列可能仍满秩,却让系数对微小噪声非常敏感。可以查看奇异值或条件数,再在合法训练扰动下比较系数与预测变化。系数大幅变动而预测变化不大,提示解释不稳定;不能只凭一次预测分数正常就忽略。

条件数还受输入尺度影响,金额和比例差别很大时,先用合理单位或标准化再诊断。标准化不会消除真正的信息冗余,只是改善坐标尺度。删除列应依据业务含义与验证,不由数值阈值自动决定所有字段去留。

Ridge 到底稳定了什么

加入系数平方惩罚后,模型不再只追逐最小残差,还偏好较小参数。多个等价拟合解会受到不同惩罚,问题因此得到约束。alpha 越大通常收缩更明显,但训练偏差也可能增加。最优强度需要验证,不能因为它总能拟合就认为默认参数适合所有单位。

如果同一列从米换成毫米,系数缩小千倍,惩罚也随之变化。要让正则语义可比较,常把数值变换放进管道,并在训练折拟合。截距、特征中心化和是否对截距惩罚的实现约定要分别核对,不能把所有库的 Ridge 参数直接互换。

残差诊断比满分更有内容

真实回归先和训练均值基线比较,再观察残差随预测值、时间和关键群体的分布。系统性弯曲可能提示非线性或交互,漏斗形状可能提示噪声大小随目标变化,单个极端点可能是录入或真实稀有事件。图形只给线索,仍要检查字段和标签生成过程。

统计推断中的误差假设与预测评价也要分开。点预测可在某些误差相关情况下仍有用,但传统系数置信区间可能不再适用。若没有检验抽样、相关性和模型设定,就不应从一个标准误数字扩展出强因果判断。

外推结果为何不能叫房价验证

代码给出二十与四十的输入,预测六十一,这是把已经拟合的线性函数延伸出去。在合成目标上公式确实一致,但真实房价可能在面积、位置或时间范围外发生结构变化。模型总能返回数值并不是外推可靠证据,覆盖检测与部署范围应单独配置。

真实项目的切分还需尊重房屋、楼盘与时间。同一房源重复交易或同一小区高度相似记录跨折,会让随机留出过于容易。按目标部署情境决定是否按楼盘或时间隔离,而不是只按模型类型套固定比例。

输入契约与最终复验

保存原始列名、单位、变换参数与最终系数,预测前验证缺失、范围和顺序。输入顺序被交换时,两列仍可能都是数值、维度仍合法,却改变预测含义。以字段名映射和 schema 校验阻止这种错误,比观察输出是否“像个价格”可靠。

本期没有真实房价数据,所以交付的是参数可辨识性实验。把它迁移成房价模型需要另准备合法数据、预测时可用字段和独立测试,不能用当前极小训练误差替代这些条件。

十、实现复核与判断边界

系数工件需附原始列名、单位、变换和训练矩阵诊断。rank 低于列数时直接记录冗余关系,近共线时结合奇异值与扰动分析,不以训练 MSE 低为由跳过检查。

如果目标是预测,先比较合法基线和留出残差;如果需要系数解释,另外审查共线、混杂与抽样条件。解释报告不能直接复用模型效果验收结论。加 Ridge 后重新验证输入缩放与 alpha,而不是把正则当成自动让系数可信的开关。

在线请求按字段名映射,拒绝缺列、错单位和非法值,避免纯数组顺序变化造成静默错位。持久化与重载后回放固定样本,比较变换与预测。对于训练范围外的输入,保留覆盖提示,不能将公式能算出价格视为已验证外推。

预测准确和系数唯一是两件事。两列彼此成固定比例,模型只需要识别它们的组合就能预测,却没有信息把组合拆成两个独立贡献。任何求解器返回一个具体答案,都不能让原本缺少的信息凭空出现。

正则化提供额外偏好,例如更小系数,从多种拟合里做取舍。这能改善稳定性,却属于建模假设,不是数据证明的业务真相。改变单位还会改变惩罚的实际含义,所以解释必须带上变换和参数约定。

更强的因果解释还需要控制混杂和理解数据产生方式。观察到面积系数为正,只表示模型在现有样本和其他字段条件下使用了面积,不能直接推出人为改变面积的真实后果。预测模型的成功不自动授权因果结论。

十一、系统与库版本差异

本期使用锁定的库版本。在线 stable 文档可能随版本更新,重现旧结果时应同时核对对应版本的 API。不要把缺少依赖、输入不合法和算法效果不佳混成一种报错。

Windows 与其他系统的虚拟环境解释器路径不同,核心数组与评分语义相同。浮点末位可能受线性代数后端影响,应按文中精度比较,不比较完整字符串。随机实验固定了数据种子;真实新数据仍可能得到不同分数,种子不是泛化保证。

十二、验证清单

  • 检查重复列、秩与条件数。
  • 保存字段单位和变换。
  • 用独立样本比较基线。
  • 系数解释与预测结论分开记录。

十三、五道面试题与追问

  1. 系数不唯一时预测一定差吗?不一定,在已观测方向上仍可准确。 进一步追问,区间外仍一定准确吗?没有,数据外规律尚未验证。

  2. 为何不直接求逆?秩亏不可逆,近共线会数值不稳。 进一步追问,标准化能消除共线吗?不能,它只改变尺度。

  3. Ridge 是否消除因果混杂?不会,它只改变拟合与惩罚。 进一步追问,正则强度能跨单位照搬吗?惩罚依赖系数尺度,需要重新验证。

  4. 线性回归为何能表达曲线?可对输入构造非线性基,仍对参数线性。 进一步追问,多项式特征的代价是什么?容量与数值条件改变,要一起评价。

  5. 训练误差为零说明什么?只说明这批输入可被拟合,不证明泛化。 进一步追问,统计系数区间需要什么?抽样与误差等假设,不能仅凭训练分数。

小蓝伞的工程金句

预测可以准确,系数仍可能没有唯一解释。

官方资料与用途

查阅日期为 2026 年 10 月 30 日。实验固定到 1.7.2;网页的新版本说明不能自动视为本机旧版本实测。

适用边界

实验没有真实房价数据,也不估计因果。它验证秩亏与解的非唯一性;不覆盖误差独立、同方差或统计置信区间所需假设。

本期技术清单与下一期

本期覆盖一元、多元线性回归、损失函数和参数拟合。下一期【第92期】AI-0314「逻辑回归」,继续沿系列路线推进。可结合本系列前置篇目的训练验证规则复做实验。

 

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址