(KVM连载) 5.1.3 使用virtio_balloon(KVM中的Ballooning)(上)

5.1.3 使用virtio_balloon

1. Ballooning简介

通常来说,要改变客户机占用的宿主机内存,是要先关闭客户机,修改启动时的内存配置,然后重启客户机才能实现。而内存的ballooning(气球)技术可以在客户机运行时动态地调整它所占用的宿主机内存资源,而不需要关闭客户机。

Ballooning技术形象地在客户机占用的内存中引入气球(Balloon)的概念,气球中的内存是可以供宿主机使用的(但不能被客户机访问或使用),所以,当宿主机内存使用紧张,空余内存不多时,可以请求客户机回收利用已分配给客户机的部分内存,客户机就会释放其空闲的内存,此时若客户机空闲内存不足,可能还会回收部分使用中的内存,可能会换出部分内存到客户机的交换分区(swap)中,从而使得内存气球充气膨胀,从而让宿主机回收气球中的内存可用于其他进程(或其他客户机)。反之,当客户机中内存不足时,也可以让客户机的内存气球压缩,释放出内存气球中的部分内存,让客户机使用更多的内存。

很多现代的虚拟机,如KVM、Xen、VMware等,都对Ballooning技术提供支持。关于内存Balloon的概念,其示意图如图5-9所示。

 

linux ballooning

linux ballooning

图5-9 内存Balloon的概念

2. KVM中Ballooning的原理及其优劣势

KVM中Ballooning的工作过程主要如下几个步骤:

1. Hypervisor(即KVM)发送请求到客户机操作系统让其归还一定数量的内存给hypervisor。

2. 客户机操作系统中的virtio_balloon驱动接收到hypervisor的请求。

3. virtio_balloon驱动使客户机的内存气球膨胀,气球中的内存就不能被客户机访问。如果此时客户机中内存剩余量不多(如某应用程序绑定/申请了大量的内存),并不能让内存气球膨胀到足够大以满足hypervisor的请求,那么virtio_balloon驱动也会让尽可能多地提供内存内存使气球膨胀,尽量去满足hypervisor的请求中的内存数量(即使不一定能完全满足)。

4. 客户机操作系统归还气球中的内存给hypervisor。

5. hypervisor可以将从气球中得来的内存分配到任何需要的地方。

6. 如果从气球中得到来内存没有处于使用中,hypervisor也可以将内存返还到客户机中,这个过程为:a. hypervisor发请求到客户机的virtio_balloon驱动;b. 这个请求让客户机操作系统压缩内存气球;c. 在气球中的内存被释放出来,重新让客户机可以访问和使用。

Ballooning在节约内存和灵活分配内存方面有明显的优势,其好处有如下三点。

第一,因为能够控制和监控ballooning,所以ballooning能够潜在地节约大量的内存。它不同于内存页共享技术(KSM是内核自发完成的、不可控),客户机系统的内存只有在通过命令行调整balloon时才会随之改变,所以能够监控系统内存并验证ballooning引起的变化。

第二,Ballooning对内存的调节很灵活,既可以精细的请求少量内存,又可以粗犷的请求大量的内存。

第三,hypervisor使用ballooning让客户机归还部分内存,从而可以缓解其内存压力。而且从气球中回收的内存也不要求一定要被分配给另外某个进程(或另外的客户机)。

从另一方面来说,KVM中ballooning的使用不方便、不完善的地方也是存在的,其缺点也有如下几个。

1. Ballooning需要客户机操作系统加载virtio_balloon驱动,然而并非每个客户机系统都有该驱动(如windows需要自己安装该驱动)。

2. 如果有大量内存从客户机系统中回收,Ballooning可能会降低客户机操作系统运行的性能。一方面,内存的减少,可能会让客户机中作为磁盘数据缓存的内存被放到气球中,从而客户机中的磁盘I/O访问会增加;另一方面,如果处理机制不够好,也可能让客户机中正在运行的进程由于内存不足而执行失败。

3. 目前没有比较方便的、自动化的机制来管理ballooning,一般都是采用在QEMU monitor中执行balloon命令来实现ballooning的。没有对客户机的有效监控,没有自动化的ballooning机制,这可能会让生产环境中实现大规模自动化部署并不很方便。

4. 内存的动态增加或减少,可能会使内存被过度碎片化,从而降低内存使用时的性能。另外,内存的变化会影响到客户机内核对内存使用的优化,比如:内核起初根据目前状态对内存的分配采取了某个策略,而突然由于balloon的效果让可用内存减少了很多,这时起初的内存策略可能就不是太优化的了。

master

Stay hungry, stay foolish.

7 Comments

  1. 反之,当客户机中内存不足时,也可以让客户机的内存气球压缩,释放出内存气球中的部分内存,让客户机使用更多的内存。

    改为
    反之,当客户机中内存不足时,也可以让宿主机的内存气球压缩,

    • 谢谢你的comments。
      不过我感觉很少有听人说host这边的balloon,所以我还是都说对guest balloon的操作。另外,好像host的kernel是不需要对balloon做特别配置的,不太好说host中的ballooning。

  2. 原来如此。 我只是觉得客户内存不足还压缩内存气球 有点别扭 可能有点想当然了。

    我这里有点关于BALLOON驱动代码的问题请教下博主。
    BALLOON对于WINDOWS客户机有专门的驱动
    这个驱动在内存设备初始化和重启时候会创建线程 对内存按照指定的数目进行填充或者释放。调用的是BalloonFill和BalloonLeak。
    释放函数BalloonLeak中有以下片段
    pPageMdl = pPageListEntry->PageMdl;
    MmFreePagesFromMdl(pPageMdl);
    ExFreePool(pPageMdl);

    我很奇怪的是它是如何保证这段内存是可删除 而不是客户机器正在使用的呢?
    可能我忽略哪些信息 希望博主指点下 谢谢。

    • 我对balloon的代码没啥研究,对Window也不熟悉。。
      它大致的原理是:balloon driver申请使用多少内存(多退少补),kernel就会把分配的balloon driver的内存reserve起来不分配给其他任何进程;然后将guest里面那些可以给host用的内存转化为host中的地址,host就可以再次使用了。。

      我略懂Linux,你可以参考如下的(linux的文档): 搜索”balloon“。
      https://github.com/torvalds/linux/blob/master/Documentation/virtual/virtio-spec.txt
      另外,linux中的driver code在: drivers/virtio/virtio_balloon.c

发表评论

电子邮件地址不会被公开。 必填项已用*标注