简介:一份面向云计算研究人员、系统管理员及OpenStack运维技术人员的PDF技术资料,系统阐述多租户网络隔离在OpenStack环境中的设计、实现与验证方法。内容从VLAN、VXLAN、GRE等二层隔离技术到三层路由与安全组策略均有展开,并给出综合方案、租户创建与网络连接配置方法,以及连通性测试、性能分析和异常检测等评估思路,便于在真实云平台中落地参考。内容按研究背景、相关技术、方案设计、实现配置与测试评估的完整脉络展开。PDF文档为单个文件,压缩包约136KB,主题集中便于离线研读。已有91人学习,该文档适合作为云平台网络规划、多租户安全隔离方案选型及OpenStack Neutron运维调优的实用参考。文中结合实验环境说明了虚拟网络、子网、路由器及安全策略的配置步骤,并提供了实际案例和优化建议,可帮助读者快速掌握从理论到实践的完整路径。
1. 多租户网络隔离不能只靠建几个网络
在OpenStack里做过几个生产项目后,我对“多租户网络隔离”最深的体会是:它不是一个开关,而是一组从控制面到数据面都要对齐的约束。经常会看到两种误判:一是以为建了独立网络就天然隔离,二是以为安全组能挡住所有跨租户流量。实际上,Neutron负责控制面,真正隔离要靠VXLAN/VLAN隧道、路由命名空间和安全组在数据面共同作用。下面内容把这些环节拆开讲,从二层选型、三层安全策略,到租户创建、连通性测试和批量脚本,适合正在做OpenStack云平台搭建与运维的工程师,也适合需要给多个租户划分网络的系统管理员。
2. 从VLAN到VXLAN:OpenStack二层隔离技术的选型边界
2.1 Neutron 在二三层网络中的角色
Neutron是OpenStack的网络服务,控制面负责管理network、subnet、port和安全组,但数据面由计算节点上的agent(Open vSwitch或LinuxBridge)承担。理解这一点是排查一切隔离问题的前提:你用CLI创建的网络只是数据库里的一个对象,真正让租户流量隔离的是节点上的bridge、namespace、iptables和隧道端点之间的组合。
一个租户网络对应一个二层广播域,Neutron会给它分配一个唯一标识:VLAN ID、VNI或GRE key。ML2插件负责把这种逻辑隔离映射到底层物理网络。我通常会把Neutron里的多租户隔离拆成三个层次:网络的二层隔离、路由的三层隔离、安全组的四层过滤。三个层次要分别验证,缺一个都可能让“隔离”流于形式。
2.2 VLAN 与 VXLAN 报文结构与隔离容量
VLAN在物理交换机上打标签,使用12 bit的VLAN ID,理论上支持4096个二层网络,实际可用的VLAN数量还要受物理交换机和trunk配置限制。VXLAN则把二层帧封装进UDP(默认端口4789),使用24 bit的VNI作为租户标识,隔离容量远大于VLAN,而且物理网络只需要IP可达,不需要为每个租户网络配置VLAN trunk。
| 维度 | VLAN | VXLAN | GRE |
|---|---|---|---|
| 隔离标识 | 12 bit VLAN ID | 24 bit VNI | 24 bit key |
| 最大隔离段 | 4096(实际更少) | 约1600万 | 约1600万 |
| 数据封装 | 802.1Q直接打标 | MAC-in-UDP/IP | MAC-over-GRE/IP |
| 对物理网络要求 | 交换机必须放行VLAN trunk | 只需要IP可达,建议加大MTU | 需要IP可达,且放行GRE协议 |
| 典型规模 | 中小规模、交换机可控 | 大规模、跨区域 | 传统网络设备兼容场景 |
| 常见排错点 | 交换机端口VLAN是否放行 | UDP 4789、MTU、隧道状态 | GRE key、隧道状态 |
注意VLAN模式下,如果物理交换机没有放行某个VLAN,即使两个虚机在同一个宿主机上也可能不通。而VXLAN只要三层可达就能工作,所以很多企业从VLAN切到VXLAN,就是为了摆脱交换机VLAN配置的变更瓶颈。配置VXLAN类型驱动时,我一般会这样处理:
# /etc/neutron/plugins/ml2/ml2_conf.ini
[ml2]
type_drivers = local,flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch
[ml2_type_vxlan]
vni_ranges = 1001:200000
这段配置里, type_drivers 声明Neutron支持哪几种网络类型, tenant_network_types 决定租户创建网络时默认使用VXLAN, mechanism_drivers 选择Open vSwitch作为数据面机制。 vni_ranges 是VNI分配范围,我给得比较大,避免后期扩容时改配置。修改完这些配置后要重启neutron-server和openvswitch agent,否则创建租户网络时会直接报“network type not supported”。
2.3 GRE 类型隧道的适用场景
GRE在Neutron中也可以作为租户网络类型,隔离标识使用GRE头里的24 bit key。它的优势是协议成熟,容易与部分存量网络设备对接;缺点是GRE头没有UDP源端口,跨ECMP链路的负载均衡能力比VXLAN弱,MTU开销也更大。配置方式与VXLAN类似:
[ml2]
tenant_network_types = gre
mechanism_drivers = openvswitch
[ml2_type_gre]
tunnel_id_ranges = 1001:10000
参数说明: tenant_network_types 改为gre, tunnel_id_ranges 指定GRE key分配范围。GRE需要计算节点之间IP互通,同时要保证GRE协议(IP protocol 47)没有被网络设备丢弃。我在生产环境里很少直接用GRE作为默认租户网络,通常只在特定网络设备兼容性要求下才启用。
2.4 选型边界与常见误用
我的选型经验是:租户数量少于50、物理交换机完全可控,VLAN足够;租户会快速增长或需要跨三层区域调度,优先选择VXLAN。GRE只在设备兼容性受限时用,新环境不建议。不要把VXLAN当万能,MTU没调好会导致虚机访问外部网络时“小包通、大包断”。常见做法是在物理网络上开启MTU 9000的jumbo frame,并把租户网络MTU设为1450,或者在虚机里把网卡MTU降到1400。VXLAN头本身比普通IP头多50字节,如果物理网络MTU是1500,虚机侧仍用1500,一旦发送接近MTU的大包就会被丢弃。
提示:判断是不是MTU问题,用
ping -M do -s 1472 <ip>测试。如果小包通、大包不通,优先检查MTU而不是隔离规则。
3. 三层网络隔离与安全组策略的落地
3.1 虚拟路由器与网络命名空间隔离
三层隔离的基石是Neutron router和Linux network namespace。每个router创建后,L3 agent所在的网络节点上会有一个独立命名空间,比如 qrouter-<router-id> 。命名空间拥有自己的路由表、iptables和接口,所以即使两个租户都使用 192.168.100.0/24 ,它们被分配在不同命名空间里,也不会直接冲突。这是OpenStack多租户隔离和传统“用ACL控制互访”最本质的区别。
排查三层问题时,我会先进入命名空间确认router接口是否存在:
ip netns list
ip netns exec qrouter-<router-id> ip addr
ip netns exec qrouter-<router-id> ip route
第一条命令列出节点上所有网络命名空间,其中 qrouter- 开头的是路由命名空间, qdhcp- 开头的是DHCP命名空间。后面两条分别查看router命名空间里的IP地址和路由表。发现router命名空间中没有租户子网网关地址时,说明子网没有正确连接到路由器,或者DHCP端口没创建,这是三层排错的第一步。
也别把所有三层隔离都压给router。默认关闭DVR时,同一租户内不同子网间的东西向流量可能要绕到网络节点上的集中式router,高带宽下容易形成瓶颈。启用DVR后,计算节点上的L3 agent可以本地处理东西向和北向流量,隔离边界不改变,但性能改善明显。我在性能敏感环境会直接开DVR,同时把计算节点的Open vSwitch和 dvr_enabled 配置一起验证。
3.2 安全组规则实现与参数说明
安全组是Neutron提供的有状态防火墙,作用于每个虚机网卡所在的tap设备。“有状态”的意思是允许出去的流量,它的回程流量会被自动放行,不需要额外配置入方向规则。这一点经常被误解,导致安全组里出现大量无效的双向规则。默认每个project有一个default安全组,通常允许所有出站、拒绝所有入站,所以虚机刚创建时往往无法ping通。
openstack security group create --project demo_sg_project --description "demo sg" demo_sg
openstack security group rule create --project demo_sg_project --ingress --ethertype IPv4 --protocol icmp demo_sg
openstack security group rule create --project demo_sg_project --ingress --ethertype IPv4 --protocol tcp --dst-port 22 --remote-ip 0.0.0.0/0 demo_sg
openstack security group rule create --project demo_sg_project --egress --ethertype IPv4 --protocol tcp --dst-port 80 --remote-ip 0.0.0.0/0 demo_sg
先建一个安全组,然后往里面放行入站ICMP和SSH,再放行出站HTTP。 --remote-ip 用来限定来源或目的地址段,写成 0.0.0.0/0 表示不限IP。注意 --dst-port 只在TCP/UDP规则里生效,ICMP规则不需要指定端口。如果端口同时关联了default安全组,入站仍然可能被拦,所以最好用 openstack port set --security-group demo_sg <port-id> 显式更换安全组。
3.3 FWaaS 与 RBAC:权限隔离和网络隔离的边界
很多人问“多租户和权限有什么区别”。在OpenStack里,权限隔离由Keystone的RBAC决定,控制的是“谁能管理网络、谁能用镜像”;网络隔离则由Neutron的数据面机制决定,控制的是“租户间流量能不能通”。设置安全组规则属于权限隔离的使用场景,但安全组本身实现的却是网络访问控制。FWaaS(防火墙即服务)早期版本在Neutron中提供过,但驱动支持一直不理想,我在生产环境更倾向于用安全组加路由命名空间内的iptables完成同样的目标。
| 功能 | 实现位置 | 隔离维度 | 管理对象 |
|---|---|---|---|
| 安全组 | 计算节点tap设备 | 端口级四层过滤 | 虚机网卡 |
| FWaaS | 网络节点router | 租户边界防火墙 | 路由器 |
| RBAC | Keystone | API权限控制 | project/user |
三者共同构成了隔离的完整画面。实际操作中,我会先验证二层和三层是否真的不通,再验证安全组规则是否按预期放行,而不是先查RBAC。RBAC配置错误会直接导致API调用失败,而网络隔离失效通常表现为延时丢包或完全不通,两种故障现象完全不同。
4. 多租户网络隔离的手动实现:环境部署与资源配置
4.1 实验环境规划与 Neutron 配置要点
要从零验证隔离,手把手搭一个最小OpenStack云平台通常需要两个节点:控制节点和计算节点。控制节点上运行Neutron server、MySQL、RabbitMQ、Nova API、L3 agent和DHCP agent;计算节点上运行nova-compute和Open vSwitch agent。如果资源有限,可以用all-in-one环境先跑通流程,但无法完整验证跨主机的VXLAN隧道。安装方式用packstack或devstack都可以,但尽量选择带独立Neutron的Train之后的版本,避免使用已经合并进Nova网络的旧架构。
| 服务 | 节点 | 作用 |
|---|---|---|
| neutron-server | 控制节点 | 处理API请求,维护网络数据库 |
| neutron-ovs-agent | 计算节点 | 实现二层转发、隧道和安全组 |
| neutron-l3-agent | 控制/网络节点 | 创建router命名空间并做三层转发 |
| neutron-dhcp-agent | 控制/网络节点 | 为每个租户子网分配IP |
这个环境下,最重要的Neutron配置项是ML2插件和OVS agent的联动:
# /etc/neutron/plugins/ml2/ml2_conf.ini
[ml2]
type_drivers = local,flat,vlan,vxlan
tenant_network_types = vxlan
mechanism_drivers = openvswitch
[ml2_type_vxlan]
vni_ranges = 1001:200000
[securitygroup]
enable_security_group = True
firewall_driver = openvswitch
enable_security_group 开启安全组功能, firewall_driver 指定OVS agent使用iptables驱动,确保规则落在网卡上而不是只存在于数据库。这里没有用LinuxBridge,是因为OVS的流表排错和VXLAN offload支持都更成熟。修改配置后重启服务并检查agent状态:
systemctl restart neutron-server neutron-ovs-agent neutron-l3-agent
openstack network agent list
重启顺序上,先启neutron-server再启agent,agent会从消息队列读取新配置。 network agent list 输出里alive为True且admin_state_up为True,才算配置就绪。如果agent显示dead,优先看日志定位,不要反复重启。
4.2 创建租户、网络、子网与路由器的完整流程
下面的命令可以在admin账号下批量创建租户A的完整网络资源。先source管理员环境变量,再按顺序执行。
source /root/admin-openrc.sh
# 1. 创建租户(项目)和用户
openstack project create --domain default --description "Tenant A isolation" tenant_a
openstack user create --project tenant_a --password 'TenantAPass' user_a
openstack role add --project tenant_a --user user_a member
# 2. 创建VXLAN网络
openstack network create --project tenant_a \
--provider-network-type vxlan \
--provider-segment 10001 \
--mtu 1450 \
tenant_a_net
# 3. 创建子网
openstack subnet create --project tenant_a \
--subnet-range 192.168.100.0/24 \
--gateway 192.168.100.1 \
--dns-nameserver 223.5.5.5 \
--network tenant_a_net \
tenant_a_subnet
# 4. 创建路由器并把子网接入
openstack router create --project tenant_a tenant_a_router
openstack router add subnet tenant_a_router tenant_a_subnet
openstack router set --external-gateway public tenant_a_router
第1步创建project和user,把user加入project的member角色,但这个角色只决定管理权限,不决定网络隔离。第2步创建VXLAN网络,指定VNI为10001,同时把网络MTU设为1450,这是避免VXLAN封装后分片的关键。第3步创建子网, --gateway 必须落在子网范围内, --dns-nameserver 建议使用可用的公共DNS或内网DNS。第4步创建router,先把租户子网接入router,再给router设置外部网关,这样租户才能访问外部网络。
参数说明: --provider-segment 的语义随网络类型改变,vxlan下表示VNI,vlan下表示VLAN ID,gre下表示GRE key。分不清时会创建出预期之外类型的网络。另外 --mtu 1450 并非所有版本都支持,若CLI不接受,可在网络创建后执行 openstack network set --mtu 1450 。
4.3 租户网络隔离策略的实施
隔离策略不是一条命令,而是确保每个project的网络资源归属正确、路由器不跨租户共享、网络不设shared。可以用配额硬性限制:
openstack quota set --project tenant_a --networks 3 --subnets 4 --routers 1 --ports 20 tenant_a
配额是控制面的硬限制,防止租户无限创建网络。比如给 tenant_a 设了3个网络、4个子网、1个路由器和20个端口,一旦超过,API会拒绝创建并提示Quota exceeded。端口数要结合计算节点实际网卡数量调整,太小会连虚机都起不来。配额不能替代数据面隔离,因为租户之间仍然可能通过router和外部网络互通,所以还要确认归属关系和数据面标识:
openstack network show tenant_a_net | grep -E 'project_id|provider:network_type|provider:segmentation_id'
openstack network show tenant_b_net | grep -E 'project_id|provider:network_type|provider:segmentation_id'
project_id和segmentation_id是关键。VXLAN网络要保证不同租户的segmentation_id不同,如果相同,说明VNI冲突,流量可能串到别的租户网络。project_id不同说明网络确实属于不同项目,这是权限隔离的基础。
给租户创建虚机时,还需要明确安全组。很多人在创建虚机时不指定安全组,导致默认规则把入站全部拒绝,然后误判为网络隔离问题。我会先给租户单独建安全组:
openstack security group create --project tenant_a --description "allow ssh and icmp" tenant_a_sg
openstack security group rule create --project tenant_a --ingress --protocol icmp --remote-ip 0.0.0.0/0 tenant_a_sg
openstack security group rule create --project tenant_a --ingress --protocol tcp --dst-port 22 --remote-ip 0.0.0.0/0 tenant_a_sg
给 tenant_a 单独建一个安全组,而不是用默认的default,是因为默认规则会随版本变化。明确放行ICMP和SSH之后,后续连通性测试才不会被安全组干扰。如果测试跨租户隔离,这条规则应该只加在租户A的安全组上,租户B的安全组保持默认拒绝入站。
4.4 在租户网络内启动虚机
有了网络和安全组之后,启动虚机就很简单:
openstack image list
openstack flavor list
openstack server create --flavor m1.small \
--image cirros-0.6.2-x86_64 \
--network tenant_a_net \
--security-group tenant_a_sg \
vm-a
这里把 --network 指向了租户A的VXLAN网络, --security-group 指定了刚建的安全组。虚机启动后可以看 openstack server show vm-a 的状态;如果一直ERROR,通常是flavor内存不足或镜像不可用。控制台登录可以先用 openstack console url show vm-a 抓VNC地址,再进去手动配置IP或确认DHCP分配。
5. 隔离效果测试与异常排查:连通性、性能与故障模拟
5.1 租户间连通性测试方法
验证隔离是否生效,最直接的是做一组“相同租户互通、跨租户隔离”的测试矩阵。我一般会在租户A内起两个虚机vm-a1、vm-a2,租户B内起vm-b1,分别记录它们的IP,然后用ping和nc测试。
| 测试动作 | 期望结果 | 验证点 |
|---|---|---|
| vm-a1 ping vm-a2 | 通 | 同一租户二层网络转发正常 |
| vm-a1 ping vm-b1 | 不通 | 租户间VXLAN/VLAN隔离生效 |
| vm-b1 ping vm-a1 | 不通 | 双向均隔离 |
| vm-a1 ping 外部网关 | 通(需要router) | 南北向路由正常 |
| 外部PC ping vm-a1 Floating IP | 按安全组规则决定 | 入站访问受安全组控制 |
注意ping不通时,不要急着声称“隔离生效”。第一种可能是安全组默认规则阻止了ICMP,第二种可能是MTU问题导致大包不通小包通,第三种才是二层隔离起效。标准做法是先看安全组规则里有没有放行ICMP,再用 openstack port show 确认端口关联的安全组,最后再确认跨租户的包是否真的走到了同一个bridge。只有排除应用层和配置层因素后,才能把“不通”归因于隔离机制。
5.2 网络流量监控与性能评估
隔离方案不能只看通不通,还要看性能损耗。VXLAN的封装开销在万兆环境下比较明显。评估时我最常用的工具是iperf3,在租户内两个虚机之间跑TCP流:
# 在 vm-a2 上启动服务端
iperf3 -s -p 5201
# 在 vm-a1 上发起测试
iperf3 -c 192.168.100.20 -t 30 -P 4
-t 30 控制测试时长, -P 4 开4个并行流,避免单流打不满。如果测出来带宽和物理网卡差异过大,先看物理网卡是否有fcs或drop计数,再用 ovs-vsctl show 看隧道端口是否UP。iperf测试本身会放大CPU消耗,在低配虚机上不要开过高的P值,否则结果不可信。流量监控也可以配合 ovs-ofctl dump-flows br-int 看流表计数, n_packets / n_bytes 一直没有增长,说明流量没走到对应路径。
5.3 异常状态检测与排查
部署后常遇到的异常包括:DHCP不分配IP、租户网络创建失败、跨主机VXLAN不通、安全组规则不生效。典型排错路径是先控制面,后数据面:
# 检查agent状态
openstack network agent list
# 检查DHCP端口和命名空间
openstack port list --device-owner network:dhcp
ip netns exec qdhcp-<network-id> ip addr
# 检查OVS流表
ovs-vsctl show
ovs-ofctl dump-flows br-int | grep -i 'nw_dst=192.168.100.0'
network agent list 看agent是否alive,这是控制面是否健康的第一步。 port list --device-owner network:dhcp 能看到DHCP端口是否存在,不存在说明DHCP agent没有为该网络创建端口。OVS流表里查 nw_dst 可以确认虚机流量是否被正确转发;流表里完全没有 192.168.100.0/24 相关条目,说明发到网络段的数据包在隧道口就丢了。
| 异常现象 | 可能原因 | 处理动作 |
|---|---|---|
| 虚机无法获取IP | DHCP agent未启动或端口冲突 | 重启neutron-dhcp-agent,检查qdhcp命名空间 |
| 同一宿主机内同租户不通 | 安全组默认规则未放行 | 放行ICMP或绑定自定义安全组 |
| 跨宿主机不通 | VXLAN隧道未建立或MTU问题 | 检查隧道口、UDP 4789连通性和MTU |
| 跨租户竟然能通 | 共享网络或router外部网关错配 | 检查network的shared属性和router归属 |
注意排错时要区分“不隔离”和“不通”。跨租户不通是正确行为;跨租户能通才需要紧张,通常意味着某个子网被错误地设为shared,或者两个租户的路由器被连到了同一个外部网络且错配了CIDR。最后再用一条命令确认二层隔离是否真的失效:在两个租户的虚机里分别执行 ip neigh ,如果出现对方的MAC,说明二层隔离已经失效。
6. 把隔离配置固化为批量建租户的 CLI 脚本
6.1 脚本设计与使用边界
手动执行前面一长串命令能帮助理解,但交付生产环境时,手工操作容易漏参数、错打project。我最终会把整个流程固化成脚本,一个租户跑一次,输出校验结果。下面是简化版本:
#!/usr/bin/env bash
set -euo pipefail
ADMIN_RC="${ADMIN_RC:-/root/admin-openrc.sh}"
source "$ADMIN_RC"
PROJECT_NAME="${1:?Usage: $0 project_name [cidr] [gateway]}"
CIDR="${2:-192.168.100.0/24}"
GATEWAY="${3:-192.168.100.1}"
openstack project create --domain default "$PROJECT_NAME" >/dev/null
openstack network create --project "$PROJECT_NAME" \
--provider-network-type vxlan \
--provider-segment "$(( RANDOM % 100000 + 10001 ))" \
--mtu 1450 \
"${PROJECT_NAME}_net" >/dev/null
openstack subnet create --project "$PROJECT_NAME" \
--subnet-range "$CIDR" \
--gateway "$GATEWAY" \
--dns-nameserver 223.5.5.5 \
--network "${PROJECT_NAME}_net" \
"${PROJECT_NAME}_subnet" >/dev/null
openstack router create --project "$PROJECT_NAME" "${PROJECT_NAME}_router" >/dev/null
openstack router add subnet "${PROJECT_NAME}_router" "${PROJECT_NAME}_subnet"
echo "Tenant $PROJECT_NAME ready: $CIDR"
脚本第一步用 set -euo pipefail 保证任何一条命令失败就退出,避免留下半配置的项目。 source 导入admin凭证, $(( RANDOM % 100000 + 10001 )) 随机挑选一个VNI作为演示,生产环境应改为从已有的IPAM系统获取,避免VNI冲突。 --mtu 1450 是VXLAN环境防分片的关键参数。脚本最后会打印租户的CIDR,方便录入资产信息。
这个脚本只是个起点,实际使用还要添加租户配额、安全组、DHCP检查、失败回滚和日志记录。一个更稳妥的做法是使用OpenStack Heat模板,把项目、网络、子网、路由器和安全组定义在YAML stack里,然后通过 openstack stack create 一次创建,失败时自动回滚。如果不想引入Heat,可以在脚本里写 trap 清理已经创建的neutron资源,捕获异常后删除新建的项目和网络。把这些动作封装成函数后,新租户开通时间可以从十几分钟手工操作降到一条命令。
375



被折叠的 条评论
为什么被折叠?



