Proxmox VE 踩坑记录

by yxz

最近入了一台独立服务器，如果直接拿来跑项目的话就太浪费资源了。于是打算使用Proxmox VE这款虚拟化管理软件进行VPS管理。

Proxmox VE是一款套开源的虚拟化管理软件，用户可通过网页的方式来管理服务器上使用 kvm 以及 lxc 技术运行的虚拟机。同时提供了一些先进功能的支持，如集群、HA等。

0x00 安装

Proxmox VE是基于Debian进行开发的，主要有两种安装方式。
其一是通过官方提供的iso作为一个全新的系统安装
另一种方式是在已有的Debian系统上安装
手动安装时请务必保证网卡配置正确，若出错的话在不带IPMI的机子上很难处理。

安装完成后即可通过https://ip:8006/访问管理页面

另外，这里记录一下版本升级的方法。由于Proxmox VE是一家商业公司在运营，所以一些功能是需要购买订阅才能使用的，例如说版本更新功能。但是可以通过一些方法绕过限制。注意这些更新方法请勿用于生产环境中。

将软件源更改为测试源

修改/etc/apt/sources.list.d/pve-install-repo.list, 将 pve-no-subscription 修改为pvetest
然后apt三连即可更新为新版本。

apt-get update
apt-get upgrade
apt-get dist-upgrade

0x01 相关设定

对于kvm虚拟化的虚拟机，若想上传需要用到的iso文件，可以直接通过网页端上传，也可以直接将文件放入/var/lib/vz/template/iso/中
如果想对kvm虚拟机的启动参数进行调整，官方提供了api:qm set，具体可参照官方文档
对于lxc虚拟化的虚拟机，可以直接从系统中下载对应发行版的模板，无需自行下载。
可以直接使用LXC自带的api对lxc虚拟机进行管理，注意-n为虚拟机的id。

0x02 网络配置

对于多ip的服务器，本身官方就是按照桥接的方式做好网络配置的，直接在虚拟机中填写分配的ip即可。
对于单ip服务器，可以采用NAT的方法让虚拟机连上外部网络。这里介绍俩种方式。

采用QEMU自带的NAT

对于KVM虚拟机，可以直接在创建虚拟机的时候勾上NAT，这时候就会自动为虚拟机分配一个虚拟的子网并且虚拟机可以通过nat连接到外部网络，基本上是开箱即用。同时也支持端口映射，具体可参考官方wiki下的QEMU port redirection。但之前在使用的过程中，发现这个端口映射并不是很稳定。同时虽然这种方法很简单，但是虚拟机之间是隔离的，无法互通数据，这样就非常不灵活。
同时，LXC虚拟机是没有这种开箱即用的NAT的。

配置iptables创建子网以实现nat

主要思路是创建一个虚拟桥接设备并创建一个子网，然后将所有虚拟机包括宿主机都连接到这个子网内，再开启iptables的NAT功能。
编辑配置文件/etc/interfaces，以下是参考配置

auto vmbr2
iface vmbr2 inet static
    address 10.0.0.254
    netmask 255.255.255.0
    bridge_ports none
    bridge_stp off
    bridge_fd 0
    post-up echo 1 > /proc/sys/net/ipv4/ip_forward
    post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE
    post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE

以上配置创建了vmbr2并且分配了一个子网10.0.0.0/24，同时宿主机(同时亦为网关)在这个子网内的ip为10.0.0.254。然后开启了内核的转发功能与iptables的NAT功能(其中vmbr0为通向外部网络的设备)。
若想添加端口转发直接在iptables中增加相关条目即可。
例如想要将宿主机vmbr0的80端口的tcp连接转发到10.0.0.102的80端口上：
iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 80 -j DNAT --to 10.0.0.102:80
如果想保存转发规则，使之重启后依然有效，则需要在/etc/interfaces相应位置加入

post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 80 -j DNAT --to 10.0.0.102:80
post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 80 -j DNAT --to 10.0.0.102:80

通过以上方法就能组建一个灵活的子网了，kvm虚拟机和lxc虚拟机都可接入，并且都可以有端口转发。由于没有DHCP服务器所以要自行分配ip。注意创建虚拟机的时候将其挂载到vmbr2端口下。
我的服务器只有一个ip，所以内部组网就只能采取这种这种的方法了hhhh。为了充分利用资源，我将80，443端口转发到内部一台虚拟机上，这台虚拟机再使用nginx反代到内网的其它虚拟机，以充分利用单个ip。

启用BBR优化网络

目前的Proxmox VE版本的linux内核版本比较新，已经包含了bbr模块了。

修改sysctl.conf

echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf

保存生效

sysctl -p

检测是否已启用bbr模块

lsmod | grep bbr

如果含有bbr即说明内核内已启用bbr模块