一、 内存映射与页表

1. 内存映射

我们通常所说的内存容量，指的是物理内存，只有内核才可以直接访问物理内存，进程并不可以。

Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以很方便地访问内存，更确切地说是访问虚拟内存。

虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同字长（单个 CPU 指令可以处理数据的最大长度）的处理器，地址空间的范围也不同。比如最常见的 32 位和64 位系统：

Linux 页表、大页与透明大页_服务器

既然每个进程都有一个这么大的地址空间，那么所有进程的虚拟内存加起来，自然要比实际的物理内存大得多。所以，并不是所有的虚拟内存都会分配物理内存，只有那些实际使用的虚拟内存才分配物理内存，并且分配后的物理内存，是通过内存映射来管理的。内存映射，其实就是将虚拟内存地址映射到物理内存地址。

2. 页表

为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，如下图所示：

Linux 页表、大页与透明大页_linux_02

页的大小只有 4 KB ，导致的另一个问题就是，当物理内存很大时，页表会变得非常大，占用大量物理内存。

4. 页表的简单工作原理

下图是比较简单情况下的示意图，用于描述在32位系统下，页大小为4K时，操作系统如何为进程的虚拟地址和实际物理地址进行转换：

Linux 页表、大页与透明大页_服务器_03

  • 目录表，是用于索引页表的数据结构，其中存储着目录项（共1024个、每个4B，因此目录表共4B*1024=4K ），每个目录项指向一个页表，即可以存储1024个页表。
  • 页表，用来存放物理地址页的起始地址，即页表项（也是共1024个、每个4B，因此一个页表的大小也是4K），由于目录表最多可存1024个页表，因此页表的最大大小是1024*4K=4M。
  • 页表项，每个页表项指向4K的物理内存页，因此页表一共可以指向的物理内存大小为：1024（页表数）*1024（每个页表的页表项数）*4K（一个页表项指向的物理内存大小）=4G

假如一个进程，访问的物理内存有1GB，即262144个内存页，在32位系统中，页表需要262144*4/1024/1024=1MB，而在64位系统下，页表占用的空间增加1倍，即2MB。

对于Linux系统中运行的Oracle数据库，假如数据库的SGA大小12GB，如果一个Oracle Process访问到了所有的SGA内存，其页表大小会是24MB，如果有300个左右的会话，那么这300个连接的页表会达到7200MB，只不过并不是每个进程都会访问到SGA中所有的内存。

页表大小可以通过 /proc/meminfo 的 PageTables部分查看。

为了解决页表项过多的问题，Linux 提供了两种机制，也就是多级页表和大页（HugePage），后面我们以大页为重点。

二、 大页

大页顾名思义，就是比较大的页，通常是2MB。由于页变大了，需要的页表项也就小了，占用物理内存也减少了。

1. 大页的优点

  • 减少页表大小：默认页面大小为 4K，而大页为 2048K，意味着系统需要处理的页面减少了 512 倍。大页的页表在各进程之间可以共享，也降低了页表的大小。
  • 减少页表遍历：大页覆盖更大的连续虚拟地址范围，使得CPU中的TLB（可理解为CPU对页表的CACHE）命中率大大提高，减少了遍历页表以从虚拟地址获取物理地址的次数。
  • 减少页表查找开销：
  • 避免swap：大页内存只能锁定在物理内存中，不可swap，因此没有page-in/page-out机制开销，避免了swap引起的性能影响。
  • 减少了内存开销：由于要处理的页面数量较少，明显减少了页表访问可能出现的瓶颈。

2. 大页的缺点

  • 要预先分配
  • 需要重启主机生效
  • 当服务器内存或SGA调整时，需要对应调整大页设置
  • 如果分配不当（过多、过少、os参数配置错误），反而可能引起严重问题


严重问题可能包括：

  • （绝）大部分大页内存未能使用，严重浪费内存
  • 数据库性能差
  • 系统内存不足或交换过多
  • 数据库实例无法启动
  • 关键系统服务失败
  • 极高的sys cpu使用率

3. 大页的分配方法

  • 检查/proc/meminfo，确认系统支持HugePage

Linux 页表、大页与透明大页_页表_04

  • HugePages Total：系统中配置的大页数。
  • HugePages Free：没有访问过的大页数。
  • HugePages Rsvd：已经分配但是还未使用的页面数。
  • Hugepagesize：大页size，这里为2MB，有的内核配置中可能为4MB。
  • 设置memlock

设定oracle用户可以锁定内存的大小。这个参数在/etc/security/limits.conf文件，单位是KB。开启大页时，这个参数很重要，如果设置过小，可能导致大页无法被用到，白白浪费内存。

根据 What is Memlock and How to Calculate the Values for Memlock? (Doc ID 2511230.1) 文档建议：

  • 未启用大页：至少为3G
  • 启用为大页：至少设置为服务器内存的90%
  • 建议大小：内存大小 > memlock大小 >= 大页总内存 > SGA

例如：

oracle soft memlock 18878464
oracle hard memlock 18878464

重新以oracle用户连接到数据库服务器，使用ulimit -a命令便可看到对应设置

  • 改为AUTO方式管理SGA

对于11g，由于HugePage只能用于共享内存，不能用于PGA，所以不能使用AMM，只能分别设置SGA和PGA。SGA同样只能是AUTO方式管理，需要将SGA_TARGET_SIZE设为大于0的合适值。

  • 查看建议的大页数量

到目前为止，大页只能用于共享内存段等少量类型的内存。一旦将物理内存用作大页，那么这些物理内存就不能作其他用途，比如作为进程的私有内存。因此不能将过多的内存设置为大页，通常将大页用作Oracle数据库的SGA。

 Oracle Linux: Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID 401749.1) 提供了计算建议值的脚本。需要先设置好SGA等参数、启动Oracle、并以Oracle用户执行该脚本

  • 修改/etc/sysctl.conf文件，设置vm.nr_hugepages=建议值，执行sysctl –p命令

vm.nr_hugepages这个参数值为上步计算出的建议值。然后检查/proc/meminfo，如果HugePages_Total小于设置的数量，表明没有足够的连续物理内存用于这些大内存页，需要重启服务器。

  • 重启服务器和数据库，检查大页使用情况

大页是惰性分配的，用到才会分配。随着数据库的使用，可以在/proc/meminfo中查看HugePages_Free是否已经减少。如果已经减少，表明已经使用到HugePage Memory。

三、 透明大页

在一些Linux系统中，transparent hugepage被默认开启，它允许大页做动态的分配，而不是系统启动后就分配好，根据Oracle MOS DOC：1557478.1，transparent hugepage导致了很多的问题，建议将其关闭。

1. 查看是否启用

#未启用应该看到[never]
cat /sys/kernel/mm/transparent_hugepage/enabled

如果这个文件不存在，则检查

#未启用应该看到[never]
cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

如果2个文件都不存在，说明系统内核中移除了THP，例如OEL 7。

2. 关闭透明大页

  • Redhat & Centos
# 重启后失效
echo never > /sys/kernel/mm/transparent_hugepage/enabled 
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 开机时设置never到以上文件中
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local

chmod +x /etc/rc.d/rc.local
  • SUSE Linux（区别在于开机设置never需要配置到的文件不同）
# 重启后失效
echo never > /sys/kernel/mm/transparent_hugepage/enabled 
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 开机时设置never到以上文件中
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/init.d/boot.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/init.d/boot.local

chmod +x /etc/init.d/boot.local

参考

Oracle Memory Management and HugePage （连载二）_ITPUB博客

Oracle Memory Management and HugePage （连载三） _ITPUB博客

Linux大内存页Oracle数据库优化 - 墨天轮

【云和恩墨】性能优化：Linux环境下合理配置大内存页(HugePage) -

《Linux性能优化实战》笔记（八）—— 内存是怎么工作的_Hehuyi_

Linux之关闭大页【即关闭透明大页】_LawsonAbs's Spiritual H

HugePages on Oracle Linux 64-bit (文档 ID 361468.1)

Oracle Linux: Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID 401749.1)
HugePages on Linux: What It Is... and What It Is Not... (Doc ID 361323.1)
What is Memlock and How to Calculate the Values for Memlock? (Doc ID 2511230.1)