简介:这份PDF面向云计算运维人员与OpenStack初学者,系统讲解基于OpenStack搭建私有云的完整实践过程,帮助读者理解从基础环境准备到核心组件部署的落地路径。内容涵盖使用Rancher生成容器作为基础环境、NTP时间同步、NOVA计算服务与NEUTRON网络服务的安装配置,并延伸至Cinder块存储、Glance镜像服务、Horizon控制面板等组件的集成,同时涉及安全监控、自动化部署与测试优化等运维要点,目录结构按compute01、PackStack快速安装等模块分层展开,便于对照查阅。资源包为1个PDF文件,大小约1.64MB,轻量便携,适合随时翻阅。目前已有890人学习,可作为私有云部署实践中的参考手册,帮助读者梳理组件作用与配置思路,降低搭建过程中的理解门槛。
1. 从一台裸机到能跑虚拟机的私有云:OpenStack 搭建到底在搭什么
很多团队第一次动私有云的念头,往往不是因为预算多,而是因为几台闲置的物理服务器加上一堆“测试环境能不能别老崩”的抱怨。你手里可能有两三台机器,想在上面跑几个内部系统、做点 CI、给开发同学开几台随时能重建的虚拟机,这时候 OpenStack 就会被推到台前。它不是一个装完就能用的软件,而是一整套把计算、存储、网络、镜像、认证拼起来的云平台,搭建过程本质上是在给这些组件排布角色、打通链路。这篇内容面向的是有 Linux 基础、想在自己机房或几台物理机上落地一套可用私有云的工程师,重点讲清楚 OpenStack 搭建的选型逻辑、最小可用部署路径、参数怎么定,以及那些文档里不写、但一定会遇到的坑。热词里频繁出现的 openstack kolla、openstack 部署、openstack 安装,其实都指向同一个问题:用哪种方式搭,才能既快又稳。
2. 搭建方式选型:Kolla-Ansible 为什么成了多数人的默认答案
2.1 从源码装、DevStack 到 Kolla,三条路的真实差别
OpenStack 的安装方式大致分三类。第一类是纯手工从源码或系统包逐个组件装,能让你彻底理解每个服务怎么起、配置文件在哪,但一个最小集群没有两三天根本调不通,而且版本一升级就前功尽弃。第二类是 DevStack,它本质是给开发者做单机验证用的,把所有服务塞在一台机器上,重启就乱,绝对不适合当私有云底座。第三类就是 Kolla-Ansible,它把每个 OpenStack 服务做成容器,用 Ansible 编排部署,配置集中在 globals.yml 和 inventory 里,一条命令拉起整套环境。
我一般会直接推荐 Kolla-Ansible,原因很实际:容器化把依赖隔离了,Python 版本冲突、系统库缺失这类玄学问题少了一大半;Ansible 让多节点部署变成改 inventory 的事;升级和回滚有官方 playbook 支撑。代价是你得接受容器这套运维方式,出问题要会看 docker logs,而不是只盯着 /var/log 下的文件。
2.2 部署前的硬件与系统基线
在写任何配置之前,先把基线定死,否则后面全是返工。下面这张表是我在多个项目里总结的最低要求,低于这个配置不是不能跑,是会跑得让你怀疑人生。
| 角色 | 最低配置 | 推荐配置 | 说明 |
|---|---|---|---|
| 控制节点 | 4 核 8G,双网卡 | 8 核 32G,SSD | 跑 API、数据库、消息队列、认证 |
| 计算节点 | 8 核 16G,支持虚拟化 | 16 核 64G,SSD | 实际跑虚拟机,内存决定能开几台 |
| 网络 | 千兆 | 万兆 | 租户网络和存储网络建议分开 |
| 系统 | CentOS 7 / Ubuntu 20.04 | Ubuntu 22.04 | 内核和 Docker 兼容性要提前确认 |
系统层面必须确认三件事:BIOS 里虚拟化指令集已开启, egrep -c '(vmx|svm)' /proc/cpuinfo 返回值大于 0;主机名和 /etc/hosts 在所有节点上一致解析;时间同步服务正常运行,否则认证组件会因为时间偏差直接拒绝请求。
2.3 用 Kolla-Ansible 跑通最小双节点集群
下面这套步骤是我在 Ubuntu 22.04 上反复用过的,控制节点和计算节点分开,先保证能起来,再谈优化。
# 在所有节点执行:安装基础依赖
sudo apt update
sudo apt install -y python3-dev python3-venv libffi-dev gcc libssl-dev git
# 在控制节点创建虚拟环境并安装 kolla-ansible
python3 -m venv /opt/kolla-venv
source /opt/kolla-venv/bin/activate
pip install -U pip
pip install 'ansible>=6' kolla-ansible
# 准备配置文件目录
sudo mkdir -p /etc/kolla
sudo chown $USER:$USER /etc/kolla
cp -r /opt/kolla-venv/share/kolla-ansible/etc_examples/kolla/* /etc/kolla/
cp /opt/kolla-venv/share/kolla-ansible/ansible/inventory/multinode /etc/kolla/inventory
这段命令做三件事:装依赖、建独立 Python 环境避免污染系统、把官方示例配置和 inventory 拷到 /etc/kolla。用虚拟环境是关键,Kolla 对 Ansible 版本敏感,系统自带的 Ansible 经常版本不对导致 playbook 报错。
# 生成随机密码,写入 /etc/kolla/passwords.yml
kolla-genpwd
# 编辑 globals.yml,下面是最小可用的一组关键项
cat > /etc/kolla/globals.yml <<'EOF'
kolla_base_distro: "ubuntu"
kolla_install_type: "source"
openstack_release: "2023.1"
kolla_internal_vip_address: "10.0.0.100"
network_interface: "ens160"
neutron_external_interface: "ens192"
enable_neutron_provider_networks: "yes"
nova_compute_virt_type: "kvm"
EOF
globals.yml 里每一项都别乱填。 kolla_internal_vip_address 是 API 的统一入口,必须是一个没被占用的地址,通常用 keepalived 挂在控制节点上; network_interface 是管理网卡, neutron_external_interface 是给虚拟机出网用的物理网卡,两块网卡不能是同一个。 nova_compute_virt_type 填 kvm,如果嵌套虚拟化环境里 KVM 不可用,才退而求其次填 qemu,性能会差很多。
# 编辑 inventory,声明控制节点和计算节点
cat > /etc/kolla/inventory <<'EOF'
[control]
ctrl01 ansible_host=10.0.0.11
[network]
ctrl01 ansible_host=10.0.0.11
[compute]
comp01 ansible_host=10.0.0.21
[monitoring]
ctrl01 ansible_host=10.0.0.11
[storage]
ctrl01 ansible_host=10.0.0.11
EOF
# 引导服务器,安装 docker 等基础环境
kolla-ansible -i /etc/kolla/inventory bootstrap-servers
# 部署前检查
kolla-ansible -i /etc/kolla/inventory prechecks
# 正式部署
kolla-ansible -i /etc/kolla/inventory deploy
bootstrap-servers 负责装 Docker、配置内核参数、拉基础镜像;prechecks 会检查端口占用、内存、磁盘、网络连通性,这一步报错千万别跳过,它拦下的问题在 deploy 阶段会以更难懂的方式爆出来。deploy 是真正拉起所有容器,第一次跑通常二十分钟到一小时,取决于网络拉镜像的速度。
# 生成 admin 用户的 openrc 文件
kolla-ansible -i /etc/kolla/inventory post-deploy
source /etc/kolla/admin-openrc.sh
# 验证:列出服务状态
openstack compute service list
openstack network agent list
post-deploy 会生成 admin-openrc.sh 并做基础初始化。验证阶段重点看两个命令:compute service list 里 nova-compute 应该是 up 状态,network agent list 里各 agent 应该是 alive。如果 nova-compute 是 down,八成是计算节点上的 libvirt 或消息队列连不上控制节点。
3. 网络与存储:私有云能不能用,八成看这两块
3.1 Neutron 的 provider 网络和租户网络怎么划
OpenStack 网络是新手翻车最集中的地方。Neutron 里有两类网络:provider 网络直接映射到物理网卡,虚拟机接上去就能通外网;self-service 租户网络是 overlay 的,需要路由器做 NAT 才能出网。最小可用场景我建议先只用 provider 网络,把链路跑通再上 overlay。
创建 provider 网络的命令如下,注意 --provider:physical_network 的值要和 neutron 配置里的 bridge mapping 对应。
# 创建外部 provider 网络
openstack network create --share --external \
--provider-physical-network physnet1 \
--provider-network-type flat external-net
# 创建子网,网关指向物理网关
openstack subnet create --network external-net \
--subnet-range 192.168.1.0/24 \
--gateway 192.168.1.1 \
--allocation-pool start=192.168.1.100,end=192.168.1.200 \
--no-dhcp external-subnet
--no-dhcp 是因为 provider 网络里 DHCP 由物理网络负责,OpenStack 不该再插一脚。allocation-pool 要避开物理网络里已用的地址段,否则会出现 IP 冲突这种查起来极其痛苦的问题。
3.2 Cinder 与本地盘:块存储该不该上
Kolla 默认会启用 Cinder,但如果你只有本地盘,Cinder 的 LVM 后端配置不对就会导致创建卷一直卡在 creating。最小场景下,我一般先确认计算节点的 nova 本地盘够用,用 openstack server create 时不挂卷,直接跑实例。等实例能正常起停,再回头配 Cinder。
Cinder LVM 后端需要在计算或存储节点上准备一个独立的卷组,别和系统盘混在一起。配置项在 /etc/kolla/cinder/cinder-volume 里,核心是 volume_group 和 volume_backend_name ,改完用 kolla-ansible -i inventory reconfigure -t cinder 单独重配,不用整集群重来。
3.3 镜像与实例:从 glance 上传到第一台虚拟机
镜像服务 Glance 是很多人忽略的一环。上传镜像时格式选错,后面创建实例会直接失败。
# 下载一个精简的云镜像并上传
wget https://download.cirros-cloud.net/0.6.2/cirros-0.6.2-x86_64-disk.img
openstack image create "cirros" \
--file cirros-0.6.2-x86_64-disk.img \
--disk-format qcow2 \
--container-format bare \
--public
# 创建规格
openstack flavor create --vcpus 1 --ram 512 --disk 5 m1.tiny
# 创建实例
openstack server create --image cirros --flavor m1.tiny \
--network external-net --key-name mykey test-vm
# 查看状态
openstack server list
disk-format 要和镜像实际格式一致,qcow2 是最常见的。创建实例时如果一直卡在 spawning,用 openstack server show test-vm 看 fault 字段,再结合计算节点上 /var/log/kolla/nova/nova-compute.log 定位,绝大多数是网络或镜像下载问题。
4. 避坑与排查:那些让部署卡住的真实问题
4.1 现象:prechecks 报 “Port 5672 is already in use”
原因通常是宿主机上已经装了 RabbitMQ 或之前部署残留的容器。解决方式是 docker ps -a 看有没有旧容器, ss -lntp | grep 5672 确认占用进程,清理干净再跑 prechecks。别用改端口的方式绕过,Kolla 内部组件之间端口是写死的。
4.2 现象:deploy 跑到一半卡在 pull image
原因基本是镜像仓库网络不通或 Docker 没配镜像加速。解决方式是先手动 docker pull 一个基础镜像测试,确认能拉通;如果走内网 registry,要在 globals.yml 里配 docker_registry 和 docker_registry_username 。这一步卡住时不要反复重跑 deploy,先把拉镜像单独解决。
4.3 现象:实例能创建但 ping 不通外网
原因通常是 provider 网络的 bridge mapping 和物理网卡对不上,或者安全组没放行。解决方式是登录计算节点 ip a 看 br-ex 网桥是否绑定了正确的物理网卡,再检查安全组规则里有没有放行 ICMP 和出方向流量。默认安全组只放行同安全组内的流量,新建实例如果不加规则,外网是进不来的。
4.4 现象:nova-compute 状态是 down
原因是计算节点上的 nova-compute 容器起不来,或者消息队列连不上控制节点。解决方式是 docker logs nova_compute 看具体报错,常见的是 /etc/kolla/nova/nova.conf 里 rabbitmq 地址不对,或者计算节点和控制节点时间不同步导致认证失败。时间同步这个问题特别隐蔽, timedatectl 一看就知道。
4.5 现象:重跑 deploy 后部分服务起不来
原因是 Kolla 的幂等性在配置被手动改过之后会失效。解决方式是尽量别手动改容器内的配置文件,所有改动走 /etc/kolla 下的配置再 reconfigure。如果已经乱了,用 kolla-ansible destroy 清掉再重新 deploy,比一个个修快得多。
5. 进阶技巧:让这套私有云真正能长期跑下去
部署成功只是起点,能不能长期稳定运行,取决于你有没有把监控和备份做起来。Kolla 自带 Prometheus 和 Grafana 的开关,在 globals.yml 里把 enable_prometheus 和 enable_grafana 打开,reconfigure 之后就能在 Grafana 里看到各服务的指标。这一步我强烈建议在部署完第一周就做,别等出问题才想起来没有监控数据。
另一个实用技巧是善用 reconfigure 的标签。整套集群重配很慢,但 Kolla 支持按服务重配,比如只改了 Neutron 配置就 kolla-ansible -i inventory reconfigure -t neutron ,只改 Nova 就 -t nova 。这个习惯能让你在调参时少等很多时间。
验证集群健康度,我一般会定期跑这几条命令,把它们写成一个脚本,出问题时先看输出:
source /etc/kolla/admin-openrc.sh
openstack compute service list --service nova-compute
openstack network agent list
openstack volume service list
docker ps --format '{{.Names}}\t{{.Status}}' | grep -v 'Up'
最后一条是看有没有容器不是 Up 状态,比逐个服务查快得多。我自己的习惯是每次改完配置、reconfigure 之后,先跑一遍这个脚本,确认没有异常容器,再去创建实例做端到端验证。这套流程帮我省下了很多“以为改好了其实没生效”的后悔药。私有云搭建这件事,快不是目标,能稳定重建才是。希望帮到你。
448



被折叠的 条评论
为什么被折叠?



