Optimize: 概述

Sat, 15 Nov 2025 00:00:00 +0000

精简 Guest OS

使用 unikernel 或者精简 LInux 发行版（alpine，busybox）
移除不必要的服务和守护进程

Optimize: alpine

Sat, 15 Nov 2025 00:00:00 +0000

背景

由于我们为 microvm 场景定制的内核是 25.9MB 的全内置 (Monolithic) 内核，因此 Rootfs 制作将遵循一个核心原则：彻底剔除所有内核模块和硬件固件。

Alpine 使用 musl libc 和 BusyBox，是目前启动最快的 Linux。

定制脚本

mkdir -p /home/sky/work/code/cloud-hypervisor/rootfs/alphine
cd /home/sky/work/code/cloud-hypervisor/rootfs/alphine

vi build_agent_rootfs_erofs.sh

内容为:

#!/bin/bash
set -e

# --- 配置参数 ---
ROOTFS_NAME="alpine_rootfs.erofs"
WORKING_DIR="./mnt_alpine"
ALPINE_VERSION="3.20.3"
ALPINE_TAR="alpine-minirootfs-${ALPINE_VERSION}-x86_64.tar.gz"
ALPINE_URL="https://dl-cdn.alpinelinux.org/alpine/v3.20/releases/x86_64/${ALPINE_TAR}"

echo "🚀 开始自动化构建 EROFS + DAX 专用 Alpine Rootfs..."

# 1. 依赖检查
if ! command -v mkfs.erofs &> /dev/null; then
    echo "❌ 错误: 未安装 erofs-utils。请运行: sudo apt install erofs-utils"
    exit 1
fi

# 2. 下载原始 Rootfs 包
if [ ! -f "$ALPINE_TAR" ]; then
    echo "📥 下载 Alpine 原始包..."
    curl -L -O "$ALPINE_URL"
fi

# 3. 准备工作目录
echo "📂 准备构建目录..."
sudo rm -rf "$WORKING_DIR"
mkdir -p "$WORKING_DIR"
sudo tar -xzkf "$ALPINE_TAR" -C "$WORKING_DIR"

# 4. 进入 Chroot 进行内部定制
echo "🛠️ 开始内部定制..."
sudo cp /etc/resolv.conf "$WORKING_DIR/etc/resolv.conf"

sudo chroot "$WORKING_DIR" /bin/sh <<EOF
# 设置密码
echo "root:root" | chpasswd

# 1. 基础环境补全
mkdir -p /etc/init.d
mkdir -p /run/openrc
touch /run/openrc/softlevel

# 2. 优化终端：仅保留 hvc0
sed -i '/tty[0-9]/d' /etc/inittab
if ! grep -q "hvc0" /etc/inittab; then
    echo "hvc0::respawn:/sbin/getty -L hvc0 115200 vt100" >> /etc/inittab
fi

# 3. 换源并安装 OpenRC 
echo "https://mirrors.aliyun.com/alpine/v3.20/main" > /etc/apk/repositories
echo "https://mirrors.aliyun.com/alpine/v3.20/community" >> /etc/apk/repositories
apk add --no-cache openrc

# 4. 配置启动项
rc-update add devfs boot
rc-update add local boot
EOF

# 5. 注入 OverlayFS 极速启动逻辑 (针对 DAX 和写层优化)
echo "⚡ 注入 OverlayFS 启动逻辑..."
sudo tee "$WORKING_DIR/etc/init.d/rcS" <<EOF
#!/bin/sh
# 基础虚拟文件系统挂载
mount -t proc none /proc
mount -t sysfs none /sys
mount -t devtmpfs none /dev

# 准备写层 (假设 /dev/vda 是通过 --disk 传入的 Ext4 镜像)
mkdir -p /mnt/write_layer
if mount -t ext4 -o noatime /dev/vda /mnt/write_layer; then
    echo "✅ Writable layer (/dev/vda) detected."
    # 准备 OverlayFS 结构
    mkdir -p /mnt/write_layer/upper /mnt/write_layer/work
    # 将 /var 叠加到写层，使得日志和配置可持久化
    mount -t overlay overlay -o lowerdir=/var,upperdir=/mnt/write_layer/upper,workdir=/mnt/write_layer/work /var
else
    echo "⚠️ Warning: No writable disk detected, using tmpfs for /var."
    mount -t tmpfs tmpfs /var
fi

# 其他临时目录使用内存
mount -t tmpfs tmpfs /tmp
mount -t tmpfs tmpfs /run

echo "------------------------------------------------"
echo "  Welcome to Agent MicroVM (EROFS + DAX)       "
echo "  Status: Rootfs is Read-Only | /var is Writable"
echo "------------------------------------------------"

# 执行正常的 init 流程
exec /sbin/init
EOF

sudo chmod +x "$WORKING_DIR/etc/init.d/rcS"

# 6. 极致清理
echo "🧹 执行最后瘦身清理..."
sudo rm -rf "$WORKING_DIR/lib/modules"/*
sudo rm -rf "$WORKING_DIR/lib/firmware"/*
sudo rm -rf "$WORKING_DIR/var/cache/apk"/*
sudo rm -f "$WORKING_DIR/etc/resolv.conf"

# 7. 构建 EROFS 镜像 (核心步骤)
# -d4: 4KB对齐，DAX 必需
# --fsid=rootfs: 方便内核识别
echo "💎 构建 EROFS 镜像..."
rm -f "$ROOTFS_NAME"
sudo mkfs.erofs -d4 "$ROOTFS_NAME" "$WORKING_DIR"

# 8. 完成
sudo rm -rf "$WORKING_DIR"
echo "✅ 构建完成！镜像文件: ${ROOTFS_NAME}"
ls -lh "$ROOTFS_NAME"

增加执行权限：

chmod +x build_agent_rootfs_erofs.sh

执行：

./build_agent_rootfs_erofs.sh

执行完成后，rootfs 文件会生成在当前目录下，大小为约 10MB。

-rw-r--r-- 1 root root 8.9M Feb 28 09:57 alpine_rootfs.erofs

测试

准备工作

准备工作目录和文件：

mkdir -p /home/sky/work/test/cloudhypervisor/agent
cd /home/sky/work/test/cloudhypervisor/agent
cp /home/sky/work/code/cloud-hypervisor/linux/vmlinux .
cp /home/sky/work/code/cloud-hypervisor/rootfs/alphine/alpine_rootfs.erofs .

准备可写层文件：

# 1. 创建一个 64MB 的原始镜像 (大小可根据日志量调整)
# 使用 seek 可以创建一个空洞文件，逻辑大小 64M，实际初始占用 0
dd if=/dev/zero of=write_layer_template.img bs=1M count=0 seek=64

# 2. 格式化为极致精简的 Ext4
# -O ^has_journal: 关键优化！禁用日志。
#   在只读根镜像+独立写层的架构下，日志会产生双倍 IO 开销，禁用它能大幅提升小文件写入速度。
# -O ^huge_file,^flex_bg: 移除针对大文件系统的冗余特性。
# -m 0: 将保留给 root 用户的 5% 空间设为 0，充分利用 64MB。
mkfs.ext4 -O ^has_journal,^huge_file,^flex_bg -m 0 write_layer_template.img

启动 microvm

mkdir microvm-1
cp write_layer_template.img microvm-1/write_layer.img

sudo /usr/local/bin/cloud-hypervisor \
    --kernel ./vmlinux \
    --memory size=1024M \
    --pmem file=./alpine_rootfs.erofs \
    --disk path=./microvm-1/write_layer.img \
    --cpus boot=1 \
    --console tty \
    --cmdline "console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS"

然后可以用帐号 root/root 登录（帐号密码在前面的脚本中有设置，可修改）。关机时注意 alphine Linux 默认不带 shutdown 命令，关机要用 poweroff 命令，重启可以用普通的 reboot 命令。

如果想增加 shutdown 命令，可以：

apk update
apk add sysvinit
# 之后就能用 shutdown
shutdown -h now
shutdown -r now

先用 poweroff ，不额外安装了。

进程分析

这是启动单个 microvm 的进程信息：

ps -ef | grep cloud
root     1351503 1349610  0 14:50 pts/0    00:00:00 sudo /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS
root     1351505 1351503  0 14:50 pts/1    00:00:00 sudo /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS
root     1351506 1351505  1 14:50 pts/1    00:00:00 /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS
root     1351509 1351506  0 14:50 pts/1    00:00:00 /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS

这是一个多层级进程结构。虽然只运行了一个启动命令，但在 Linux 的 ps 输出中出现了 4 个相关的条目。这是由 sudo 的工作机制、Cloud Hypervisor 的内部架构以及 Linux 线程的处理方式共同决定的。

按照 PID (进程 ID) 和 PPID (父进程 ID) 的链路来拆解，进程链路树状:

PID	PPID	用户	角色	状态描述
1351503	1349610	root	Sudo Shell	`pts/0` 输入命令后产生的第一个 `sudo` 进程。
1351505	1351503	root	Sudo Runner	`sudo` 内部为了安全执行目标程序而分叉（fork）出的运行环境。
1351506	1351505	root	CH Main (核心)	这是真正的 MicroVM 主进程。它负责内存管理、设备初始化。
1351509	1351506	root	CH Worker	这是一个子线程（被 `ps` 显示为进程），通常负责异步 I/O 或 API 处理。

由于存在多余的 sudo 进程，因此大规模部署时不建议用 sudo。考虑到直接用 root 也不够安全，因此最好的解决方式是给运行 cloud hypervisor 的非 root 帐号和 cloud-hypervisor 二进制文件赋予需要的权限。

以 sky 帐号为例，具体需要的操作有：

# 赋予 ch 网络管理、原始 IO 和内存锁定权限
sudo setcap 'cap_net_admin,cap_sys_rawio,cap_ipc_lock+ep' /usr/local/bin/cloud-hypervisor

# 设置设备访问权限
# Cloud Hypervisor 需要访问 /dev/kvm（虚拟化加速）和 /dev/vhost-vsock 等设备
# 将帐号加入 kvm 组
sudo usermod -aG kvm sky
# 为了确保每次开机 /dev/kvm 等设备都能被 sky 访问，创建一条规则
echo 'KERNEL=="kvm", GROUP="kvm", MODE="0660"' | sudo tee /etc/udev/rules.d/99-kvm.rules
echo 'KERNEL=="vhost-vsock", GROUP="kvm", MODE="0660"' | sudo tee -a /etc/udev/rules.d/99-kvm.rules
sudo udevadm control --reload-rules && sudo udevadm trigger

# 确保你的 vmlinux、alpine_rootfs.erofs 以及 microvm-1/ 目录下的所有文件，属主都是 sky
# sudo chown -R sky:sky /home/sky/work/test/cloudhypervisor/agent

去掉 sudo，用 sky 帐号启动：

/usr/local/bin/cloud-hypervisor \
    --kernel ./vmlinux \
    --memory size=1024M \
    --pmem file=./alpine_rootfs.erofs \
    --disk path=./microvm-1/write_layer.img \
    --cpus boot=1 \
    --console tty \
    --cmdline "console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS quiet"

ps的信息如下：

ps -ef | grep cloud

sky      1352498 1351990  0 15:10 pts/0    00:00:00 /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS

sky      1352501 1352498  0 15:10 pts/0    00:00:00 /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS

去掉 sudo 后，现在的 ps 输出变得非常清爽且符合预期。中间那两层中转进程彻底消失了，直接看到的是 Cloud Hypervisor 本身。

PID	PPID	用户	角色	状态描述
1352498	1351990	sky	主进程 (Parent)	这是你手动启动的那个二进制文件，负责资源协调。
1352501	1352498	sky	工作线程 (Child/Thread)	它是主进程派生出的一个轻量级进程（LWP），通常处理 I/O 或信号。

内存分析

sudo pmap -x 1351506
1351506:   /usr/local/bin/cloud-hypervisor --kernel ./vmlinux --memory size=1024M --pmem file=./alpine_rootfs.erofs --disk path=./microvm-1/write_layer.img --cpus boot=1 --console tty --cmdline console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS
Address           Kbytes     RSS   Dirty Mode  Mapping
000055556aece000       4       0       0 -----   [ anon ]
000055556aecf000       8       8       8 rw---   [ anon ]
00007f8d66ff4000       8       0       0 -----   [ anon ]
00007f8d66ff6000    2052       4       4 rw---   [ anon ]
00007f8d671f7000       8       0       0 -----   [ anon ]
00007f8d671f9000    2052      20      20 rw---   [ anon ]
00007f8d673fa000       8       0       0 -----   [ anon ]
00007f8d673fc000    2052       4       4 rw---   [ anon ]
00007f8d675fd000       8       0       0 -----   [ anon ]
00007f8d675ff000    2052    2048    2048 rw---   [ anon ]
00007f8d67800000   10240    2752       0 rw-s- alpine_rootfs.erofs
00007f8d683fd000       8       0       0 -----   [ anon ]
00007f8d683ff000    2052    2048    2048 rw---   [ anon ]
00007f8d68600000 1048576   69632   69632 rw---   [ anon ]
00007f8da87fa000       8       0       0 -----   [ anon ]
00007f8da87fc000    2052       4       4 rw---   [ anon ]
00007f8da89fd000       8       0       0 -----   [ anon ]
00007f8da89ff000    2052    2048    2048 rw---   [ anon ]
00007f8da8c00000     368     368       0 r---- cloud-hypervisor
00007f8da8c5c000    3276    2940       0 r-x-- cloud-hypervisor
00007f8da8f8f000     576     384       0 r---- cloud-hypervisor
00007f8da901f000     600     260     260 rw--- cloud-hypervisor
00007f8da90b5000       8       8       8 rw---   [ anon ]
00007f8da910b000       4       4       4 rw---   [ anon ]
00007f8da910c000       4       0       0 -----   [ anon ]
00007f8da910d000       8       0       0 rw---   [ anon ]
00007f8da910f000       4       4       4 rw---   [ anon ]
00007f8da9110000       4       0       0 -----   [ anon ]
00007f8da9111000       8       0       0 rw---   [ anon ]
00007f8da9113000     124      56      56 rw---   [ anon ]
00007f8da9132000       8       8       8 rw-s-   [ anon ]
00007f8da9134000       8       8       4 rw-s-   [ anon ]
00007f8da9136000       4       0       0 -----   [ anon ]
00007f8da9137000       8       0       0 rw---   [ anon ]
00007f8da9139000      20      16      16 rw---   [ anon ]
00007f8da913e000       4       0       0 -----   [ anon ]
00007f8da913f000       8       0       0 rw---   [ anon ]
00007f8da9141000       4       0       0 -----   [ anon ]
00007f8da9142000       8       0       0 rw---   [ anon ]
00007f8da9144000      60      60      56 rw---   [ anon ]
00007f8da9153000      12       8       8 rw-s-   [ anon ]
00007f8da9156000       4       4       4 rw-s- zero (deleted)
00007f8da9157000      84      80      80 rw---   [ anon ]
00007f8da916c000       4       0       0 -----   [ anon ]
00007f8da916d000       8       0       0 rw---   [ anon ]
00007f8da916f000       4       4       4 rw---   [ anon ]
00007f8da9170000       4       0       0 -----   [ anon ]
00007f8da9171000       8       0       0 rw---   [ anon ]
00007f8da9173000      72      72      72 rw---   [ anon ]
00007f8da9185000       4       0       0 -----   [ anon ]
00007f8da9186000       8       0       0 rw---   [ anon ]
00007f8da9188000       4       4       4 rw---   [ anon ]
00007f8da9189000      16       0       0 r----   [ anon ]
00007f8da918d000       8       4       0 r-x--   [ anon ]
00007ffe2b7bf000     132      60      60 rw---   [ stack ]
---------------- ------- ------- ------- 
total kB         1078736   82920   76464

启动脚本优化

/usr/local/bin/cloud-hypervisor \
    --kernel ./vmlinux \
    --memory size=1024M,shared=on \
    --pmem file=./alpine_rootfs.erofs \
    --disk path=./microvm-1/write_layer.img \
    --cpus boot=1 \
    --console tty \
    --cmdline "console=hvc0 root=/dev/pmem0 ro rootfstype=erofs init=/etc/init.d/rcS quiet mitigations=off lpj=9676800 raid=noautodetect"

参考资料

和 gemini 的交互过程：

https://gemini.google.com/app/604671631189df20

Optimize: debian13

Sat, 15 Nov 2025 00:00:00 +0000

背景

由于我们为 microvm 场景定制的内核是 25.9MB 的全内置 (Monolithic) 内核，因此 Rootfs 制作将遵循一个核心原则：彻底剔除所有内核模块和硬件固件。

Cloud Hypervisor学习笔记 – Guest OS

Optimize: 概述

Optimize: alpine

背景

定制脚本

测试

准备工作

启动 microvm

进程分析

内存分析

启动脚本优化

参考资料

Optimize: debian13

背景