虚拟化

• 1: LibOS
• 1.1: 概述
• 2: 裁剪
• 2.1: 概述

1 - LibOS

1.1 - 概述

介绍1

如果说 MicroVM 是对传统虚拟机的“瘦身”，那么 LibOS (Library OS) 或 Unikernel 则是对操作系统架构的“重构”。

结论是：LibOS 绝对能带来质的飞跃。 在追求极致高密部署（High Density）的道路上，LibOS 是目前理论和实践上的终极方案，它能将密度在 MicroVM 的基础上再提升一个数量级。

以下是 LibOS 为什么能提升密度，以及它如何适配您的 Cloud Hypervisor 方案的详细分析：

1. 核心原理：为什么 LibOS 密度更高？

在您目前的方案中（Host -> Cloud Hypervisor -> Linux MicroVM -> App），虽然 Linux Kernel 已经裁剪得很小，但它仍然是一个通用操作系统。它依然保留了多用户支持、进程调度、复杂的网络栈、文件系统权限管理等应用可能根本不需要的功能。

LibOS 的核心逻辑是：“应用即操作系统”。

• 单一地址空间： LibOS 将“应用程序代码”与“必要的内核功能（如 TCP/IP 栈、内存分配）”编译成一个单一的二进制镜像。
• 消除上下文切换： 在 LibOS 内部，没有 User Space 和 Kernel Space 的区分。系统调用（Syscall）变成了简单的函数调用（Function Call），开销极低。
• 按需链接： 如果你的应用不需要读取磁盘，LibOS 就不包含文件系统驱动；不需要 USB，就不包含 USB 协议栈。

资源消耗对比

2. 技术结合：Cloud Hypervisor + LibOS

好消息是，您不需要更换 Cloud Hypervisor。

Cloud Hypervisor 是基于 KVM 的 VMM，而现代的 LibOS（如 Unikraft, OSv, RustyHermit）通常都支持直接运行在 KVM 上（通常通过 PVH 引导协议）。

您的架构演进路线图可以是：

• 当前阶段： Cloud Hypervisor + Minimal Linux Kernel (MicroVM)
• 下一阶段： Cloud Hypervisor + LibOS Image

在这种模式下，Cloud Hypervisor 依然负责虚拟化硬件接口（Virtio），但 Guest 内部不再运行笨重的 Linux，而是运行一个极简的 LibOS 二进制。

3. LibOS 方案的优缺点权衡

引入 LibOS 虽然能极大提升密度，但也带来了显著的工程挑战。

✅ 优势（Pros）

1. 极致的内存密度： 很多无状态微服务的 LibOS 镜像运行起来只需 <5MB 内存。配合 KSM（内存合并），在 BMS 上部署数千个实例轻而易举。
2. 安全性增强： 攻击面极小。LibOS 没有 Shell，没有 execve，甚至没有多进程概念，攻击者即使利用漏洞进入，也几乎无法进行横向移动或植入后门。
3. 冷启动速度： 毫秒级启动，非常适合 Serverless / FaaS 场景。

❌ 挑战（Cons）

1. 兼容性（最大的痛点）：
   • LibOS 通常不支持 fork() 或 exec()。如果您的应用依赖多进程模型（如 Nginx 多进程模式），则无法直接运行。
   • 对解释型语言（Python, Java, Node.js）的支持需要特定的运行时适配，不如编译型语言（Go, Rust, C++）方便。
2. 调试困难： 没有 Shell，无法 SSH 进去 top 或 ls。调试往往需要依赖日志输出或远程调试接口。
3. 构建链改变： 需要将应用和 LibOS 内核源码一起编译（或者链接），这改变了标准的 CI/CD 流程（不再是 docker build 那么简单）。

4. 推荐关注的 LibOS 项目

如果您想在 Cloud Hypervisor 上尝试 LibOS，建议关注以下几个成熟度较高的项目：

1. Unikraft (强力推荐):
   • 特点： 欧洲系统顶会（EuroSys）孵化的项目，致力于解决 Unikernel 的兼容性问题。它提供了 POSIX 兼容层，很多标准 Linux 应用（如 Nginx, Redis, SQLite）无需修改代码即可编译运行。
   • 适用性： 性能极高，社区活跃，非常适合高密场景。
2. Gramine (原 Graphene):
   • 特点： 这是一个 Library OS，但它的思路是让未修改的 Linux 二进制文件直接运行。它更多是为了 SGX (机密计算) 设计的，但也具备 LibOS 的轻量特性。
   • 适用性： 如果不想重新编译应用源码，这是一个折中方案。
3. Nanos (NanoVMs):
   • 特点： 商业化做得较好，工具链（OPS）非常完善，甚至能直接把现有的 ELF 二进制打包成 Unikernel 镜像。
   • 适用性： 易用性最好，适合快速验证。

总结建议

对于您的“高密部署”目标：

1. 如果是通用业务（客户跑任意代码）： 继续优化 MicroVM (Linux) 是最稳妥的。因为 LibOS 的兼容性还不足以支撑任意业务。
2. 如果是特定业务（如网关、FaaS、特定微服务）： 强烈建议引入 LibOS (特别是 Unikraft)。这将是您在单机 BMS 上突破性能瓶颈、实现成本碾压对手的关键技术。

介绍2

这是一个非常前沿且深入的技术话题。在 BMS (Bare Metal Server) + MicroVM (如 Firecracker, Cloud Hypervisor) 的架构中，引入 LibOS (Library OS，通常以 Unikernel 的形式落地) 技术，是将云计算的“密度”和“速度”推向极致的关键手段。

通常，MicroVM 已经通过精简设备模型和裁剪 Linux Kernel 实现了毫秒级启动和低内存占用，但在 Guest OS 层面，标准的 Linux（即便是裁剪过的 Alpine 或 Clear Linux）仍然存在由于通用操作系统设计带来的冗余。

LibOS 通过彻底改变 Guest OS 的架构，在 MicroVM 内部实现了更深层次的优化。以下是具体的优化逻辑和技术细节：

1. 核心理念差异：通用 OS vs. LibOS

要理解优化机制，首先需要对比两者的运行模式：

• 通用 Linux Guest:
  • 多用户/多进程： 设计上支持多任务，即使只跑一个应用，也要启动 init 进程、systemd、日志守护进程等。
  • 隔离机制： 内核空间与用户空间隔离（Ring 0 vs Ring 3），需要昂贵的上下文切换（Context Switch）。
  • 通用性： 包含大量并不需要的驱动和子系统。
• LibOS (Unikernel):
  • 单应用/单进程： 操作系统作为一个库（Library）与应用程序编译链接在一起，形成一个单一的二进制镜像。
  • 单一地址空间： 不区分内核态和用户态，所有代码运行在同一特权级（通常是 Ring 0）。
  • 定制化： 仅包含应用所需的 OS 功能（如只需 TCP 栈，就不编译文件系统模块）。

2. 优化 MicroVM 启动速度

在 BMS + MicroVM 架构中，LibOS 可以将启动时间从“几百毫秒”压缩到“十几毫秒”甚至更低，主要得益于以下几点：

A. 极小的镜像体积 (Image Size)

• 原理： LibOS 利用静态链接和**死代码消除（Dead Code Elimination）**技术。构建时，编译器会自动剔除应用程序未调用的内核代码。
• 效果： 一个 HTTP Server 的 LibOS 镜像可能只有 几百 KB 到 几 MB。
• 启动优化： 在 MicroVM 启动时，VMM（如 Firecracker）需要将 Guest Kernel 加载到内存。加载 1MB 的 LibOS 远快于加载 20MB+ 的裁剪版 Linux Kernel。这减少了 I/O 开销和内存拷贝时间。

B. 消除初始化冗余 (No Init Process)

• 原理： 传统 Linux 启动需要经过 BIOS/UEFI -> Bootloader -> Kernel Init -> User Space Init (systemd) -> App 的漫长链路。
• LibOS 路径： VMM Entry -> Minimal Hardware Setup -> App Main Function。
• 效果： 跳过了复杂的硬件探测（因为 MicroVM 提供的设备极少）、跳过了文件系统挂载（如果是内存文件系统）、跳过了多用户环境的初始化。应用的主函数几乎是上电即运行。

C. 就地执行 (Execute in Place, XIP) 的潜力

• 由于镜像极小，LibOS 更容易利用 XIP 技术，或者通过 DAX (Direct Access) 直接映射宿主机内存，避免了传统 OS 启动时的解压和复杂的内存布局初始化过程。

3. 优化资源占用 (内存与 CPU)

在 BMS 上，资源密度直接决定了成本。LibOS 在 MicroVM 中的资源效率极高：

A. 内存占用 (Memory Footprint)

• 单一地址空间 (Single Address Space)：
  • 传统 OS： 每个进程都有页表，内核与用户态隔离需要重复映射，存在大量内存碎片和页表开销。
  • LibOS： 因为没有多进程，不需要维护复杂的页表结构，没有用户态/内核态的内存隔离墙。整个虚拟机可能只需要分配刚好够应用运行的物理内存（例如 10MB）。
• 去除非必要组件： 没有 sshd，nfs，udev 等后台进程占用内存。
• 结果： 在一台 128GB 内存的 BMS 上，如果用传统 VM 可能只能跑 1000 个实例，用 LibOS 可能可以跑 10,000 个实例。

B. CPU 效率与上下文切换

• 系统调用消除 (Syscall Elimination)：
  • 传统 OS： 应用程序读写网络需要通过 Syscall 陷入内核（Context Switch），伴随着 CPU 缓存（L1/L2 Cache）和 TLB 的刷新，开销巨大。
  • LibOS： read() 或 write() 只是普通的函数调用。应用直接操作网络栈结构，零开销。
• 零拷贝 (Zero Copy)： 由于应用和内核共享同一内存空间，网络数据包从网卡驱动上来后，不需要在内核缓冲区和用户缓冲区之间拷贝数据，直接处理。

C. 调度器优化

• 在 MicroVM 场景下，BMS 宿主机的 CPU 调度由 KVM/Host OS 负责。
• 如果在 Guest 内部再运行一个复杂的 Linux CFS 调度器，会出现双重调度 (Double Scheduling) 问题，浪费 CPU 周期。
• LibOS 通常采用极简的协作式调度或单线程模型，将调度权完全交给宿主机（VMM），消除了 Guest 内部的调度开销。

4. 架构图解：BMS + MicroVM + LibOS

+---------------------------------------------------------------+
|                      Application Logic                        |
|   (Directly calls network stack, memory allocator, etc.)      |
+---------------------------------------------------------------+
|        LibOS Layer (Unikraft, RustyHermit, OSv, etc.)         |
|  [Net Stack] [FS Drivers] [Memory Mgmt] (Compiled as Lib)     |
+---------------------------------------------------------------+
|                 Single Binary (Unikernel)                     |
+===============================================================+
|            MicroVM Boundary (virtio-net, virtio-blk)          |
+---------------------------------------------------------------+
|         VMM (Firecracker / Cloud Hypervisor / QEMU)           |
+---------------------------------------------------------------+
|              Host Kernel (KVM) / Hypervisor                   |
+---------------------------------------------------------------+
|                   Bare Metal Server (BMS)                     |
+---------------------------------------------------------------+

5. 挑战与权衡

虽然优化效果显著，但在生产环境落地 LibOS 存在显著门槛：

1. 调试困难： 没有 Shell，没有 SSH，无法登录进去 top 或 ls。调试依赖于外部观测（VMM 日志）或专门的调试构建。
2. 兼容性（POSIX 支持）： 许多 LibOS 对 POSIX 标准支持不完整（尽管 Unikraft 等项目正在努力解决）。这意味着现有的应用（如 Nginx, Redis）可能需要重新编译甚至修改代码才能运行。
3. 安全性（攻击面）： 虽然 MicroVM 提供了强隔离，但 LibOS 内部没有 Ring 3 保护。如果应用有缓冲区溢出漏洞，攻击者直接获得该 MicroVM 的最高权限（虽然仍被困在 MicroVM 内，但破坏性比普通 App 大）。

6. 总结：如何落地？

在 BMS + MicroVM 方案中，LibOS 是为了特定高并发、低延迟、高密度场景（如 Serverless 函数计算、NFV 网元）而生的终极优化。

• 优化启动： 靠的是“减法”——减去内核初始化、减去用户态环境、减去动态链接。
• 优化资源： 靠的是“融合”——融合内核与应用、融合地址空间、消除边界开销。

推荐关注的项目：

• Unikraft: 目标是高性能且兼容 POSIX，目前最活跃的 LibOS 项目之一，非常适合配合 Firecracker。
• RustyHermit: 基于 Rust 的 Unikernel，安全性更好。
• Nanos: 试图让运行 Unikernel 像运行 Docker 一样简单。

2 - 裁剪

2.1 - 概述

设备模型最小化：只保留必需的 paravirt 设备（virtio-net、virtio-blk/virtio-fs、vsock），禁用未用的 ACPI/PCI 设备与中断源，减少 emulation 成本。

关闭不必要的设备模拟，如 pci 设备，复杂 I/O

使用 virtio 驱动，减少模拟开销