关于ext4文件系统概述

原创

mj谈云技术 2022-02-28 14:08:41 ©著作权

文章标签 文件系统数据 文章分类 云计算

©著作权归作者所有：来自51CTO博客作者mj谈云技术的原创作品，请联系作者获取转载授权，否则将追究法律责任

前言:

目前大部分Linux操作系统使用的文件系统是ext4和xfs,今天我们来了解ext4在磁盘中的分布。

1. 容量概念

对于储存几个概念的解析：

sector（扇区） :

磁盘最小的储存单位，可以通过命令行 fdisk-l得知单位每sector的大小（一般是512byte）
机械硬盘HDD的可用空间大小计算公式是 heads(磁头数量)cylinders(柱面数量) sectors(扇区数量) * 每个sector大小（512byte）
所以固态可用空间的总大小是sectors(扇区数量) * 每个sector大小（512byte）。
这几个属性是固定不能修改，但可以通过命令读取得到。因为固态硬盘SSD没有磁头柱面的概念。

// 1073741824 bytes的大小刚好是 sectors * 512 bytes 得出来的
root@xxxxxx:~# fdisk -l /dev/rbd0
Disk /dev/rbd0: 1 GiB, 1073741824 bytes, 2097152 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
Disklabel type: dos
Disk identifier: 0x5510f42b
Device      Boot Start     End Sectors  Size Id Type
/dev/rbd0p1       8192 2097151 2088960 1020M 83 Linux
root@xxxxxx:~#

block (块) :

是文件系统EXT4,FAT32,XFS等最小的储存单位，使用命令 blkid 可查看文件系统类型。
每一个block只能存储一个文件的数据。
当格式化一个文件系统时，如果选择不当，就会造成大量的磁盘空间浪费。
默认操作系统每个block的大小是4k(4096bytes),一个block由连续的sector组成。
一个文件在文件系统中的block不一定是连续的。

inode （索引节点）：

记录文件的权限、属性和数据所在块block的号码
每个文件都有且仅有一个的inode，每个inode都有自己的编号，可以把inode简单地理解为文档索引。

data block （数据区块）：

block可以区分成两种概念，第一就是上述说的文件系统中最小的储存单位（存在1个block存下多个inode的说法），第二也是这里谈及到数据区块。
存储的文件内容，也叫数据区块(data block)，每个block都有自己的编号，Ext2支持的单位block容量仅为1k、2k、4k。
目录的data block保存该目录下所有文件以及子目录的名字，inode编号等信息。

2. Ext4文件系统磁盘布局

Ext4文件系统把整个分区划分成各个block group（块组），每个block group由superblock(超级块)，block group(区块群组)， block bitmap(区块对照表)， inode bitmap(inode 对照表)和group descriptor以及inode table、data block组成。

1024 bytes 的 Group 0 Padding（boot block）只有块组0 有，用于装载该分区的操作系统。MBR 为主引导记录用来引导计算机。在计算机启动时，BIOS 读入并执行 MBR，MBR 作的第一件事就是确定活动分区(这对应于双系统的计算机开机时选择启动项，单系统的直接就能确定了所以就不需要选择)，读入活动分区的引导块(Boot block)，引导块再加载该分区中的操作系统。

官方网站：

https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout

图2为简略图省略了块组描述与预留GDT部分。

关于ext4文件系统概述_文件系统

关于ext4文件系统概述_文件系统_02

superblock(超级块)

记录文件系统(filesystem)的整体信息，包括inode/block的总量、使用量、剩余量、大小、以及文件系统的格式和相关信息。

备注：superblock对于文件系统太重要了，但是文件系统的superblock又只有一个，所以除了第一个block group含有superblock外，后续block group都可能会含有备份的superblock，目的就是为了避免superblock单点无法救援的问题。

block bitmap(区块对照表)

一个block只能被一个文件使用，当我们新增文件时，肯定需要使用新的block来记录文件数据。那么如何快速地知道，哪些block是新的？哪些block是已经使用了的？block bitmap就是这样被设计出来，记录所有使用和未使用的block号码。同样的，当我们删除文件时，先从block bitmap中找到对应的block号码，然后更新标志为未使用，最后释放block。

inode bitmap(inode 对照表)

和block bitmap一样的设计理念，只不过它记录地是已使用和未使用的inode号码，这里就不再敖述了。

group descriptor

描述每个区段(block group)开始和结束的block号码，以及说明每个区段(inodemap、blockmap、inode table)分别介于哪些block号码之间。

inode table

该组所有inode的合集，可以通过inode编号以inode table起始位置作偏移找到inode所在的位置。

data block

上节已叙述，为存放文件或目录数据的地方。

关于ext4文件系统概述_文件系统_03

2.1 获取ext4分区相关信息

可以使用dumpe2fs 打印ext4分区的详细信息。

Inode count:              65280
Block count:              261120
Block size:               4096
Inode size:               256
Blocks per group:         32768
Inodes per group:         8160

可以从以上获取得整个分区inode的数量是65280 block的数量261120，一个block的大小是4K，每个block group有 32768 block (4096 * 32768 大小)

其中一个block 可以存放 4096Bytes (block size) / 2566Bytes (Inode size) = 16 个 inode

一个 block group 有 8160 个 inode

root@xxxxxx:~# dumpe2fs /dev/rbd0p1
dumpe2fs 1.44.1 (24-Mar-2018)
Filesystem volume name:   <none>
Last mounted on:          /mnt/ceph-vol1
Filesystem UUID:          6f074db1-8f6f-4313-851d-fa3c9b7590f8
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype needs_recovery extent 64bit flex_bg sparse_super large_file huge_file dir_nlink extra_isize metadata_csum
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              65280
Block count:              261120
Reserved block count:     13056
Free blocks:              247156
Free inodes:              65267
First block:              0
Block size:               4096
Fragment size:            4096
Group descriptor size:    64
Reserved GDT blocks:      127
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         8160
Inode blocks per group:   510
RAID stride:              1024
RAID stripe width:        1024
Flex block group size:    16
Filesystem created:       Wed Oct 14 17:42:24 2020
Last mount time:          Thu Oct 15 17:35:48 2020
Last write time:          Thu Oct 15 17:35:48 2020
Mount count:              2
Maximum mount count:      -1
Last checked:             Wed Oct 14 17:42:24 2020
Check interval:           0 (<none>)
Lifetime writes:          153 MB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     32
Desired extra isize:      32
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      6a8799b4-6528-499d-9f62-fde45cb8991a
Journal backup:           inode blocks
Checksum type:            crc32c
Checksum:                 0x1ab86e25
Journal features:         journal_64bit journal_checksum_v3
Journal size:             16M
Journal length:           4096
Journal sequence:         0x00000010
Journal start:            1
Journal checksum type:    crc32c
Journal checksum:         0xdc3ea2cb
Group 0: (Blocks 0-32767) csum 0xe2fe [ITABLE_ZEROED]
  Primary superblock at 0, Group descriptors at 1-1
  Reserved GDT blocks at 2-128
  Block bitmap at 129 (+129), csum 0x06292657
  Inode bitmap at 137 (+137), csum 0xc6f39952
  Inode table at 145-654 (+145)
  28533 free blocks, 8143 free inodes, 6 directories, 8143 unused inodes
  Free blocks: 4235-32767
  Free inodes: 18-8160
Group 1: (Blocks 32768-65535) csum 0x4d02 [INODE_UNINIT, ITABLE_ZEROED]
  Backup superblock at 32768, Group descriptors at 32769-32769
  Reserved GDT blocks at 32770-32896
  Block bitmap at 130 (bg #0 + 130), csum 0xfa6bcbac
  Inode bitmap at 138 (bg #0 + 138), csum 0x00000000
  Inode table at 655-1164 (bg #0 + 655)
  27518 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 32898-33791, 38912-65535
  Free inodes: 8161-16320
Group 2: (Blocks 65536-98303) csum 0xba1c [INODE_UNINIT, ITABLE_ZEROED]
  Block bitmap at 131 (bg #0 + 131), csum 0x8c3dbe87
  Inode bitmap at 139 (bg #0 + 139), csum 0x00000000
  Inode table at 1165-1674 (bg #0 + 1165)
  28672 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 69632-98303
  Free inodes: 16321-24480
Group 3: (Blocks 98304-131071) csum 0x579e [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Backup superblock at 98304, Group descriptors at 98305-98305
  Reserved GDT blocks at 98306-98432
  Block bitmap at 132 (bg #0 + 132), csum 0x00000000
  Inode bitmap at 140 (bg #0 + 140), csum 0x00000000
  Inode table at 1675-2184 (bg #0 + 1675)
  32639 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 98433-131071
  Free inodes: 24481-32640
Group 4: (Blocks 131072-163839) csum 0xfc69 [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Block bitmap at 133 (bg #0 + 133), csum 0x00000000
  Inode bitmap at 141 (bg #0 + 141), csum 0x00000000
  Inode table at 2185-2694 (bg #0 + 2185)
  32768 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 131072-163839
  Free inodes: 32641-40800
Group 5: (Blocks 163840-196607) csum 0x0b15 [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Backup superblock at 163840, Group descriptors at 163841-163841
  Reserved GDT blocks at 163842-163968
  Block bitmap at 134 (bg #0 + 134), csum 0x00000000
  Inode bitmap at 142 (bg #0 + 142), csum 0x00000000
  Inode table at 2695-3204 (bg #0 + 2695)
  32639 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 163969-196607
  Free inodes: 40801-48960
Group 6: (Blocks 196608-229375) csum 0x18c8 [INODE_UNINIT, BLOCK_UNINIT, ITABLE_ZEROED]
  Block bitmap at 135 (bg #0 + 135), csum 0x00000000
  Inode bitmap at 143 (bg #0 + 143), csum 0x00000000
  Inode table at 3205-3714 (bg #0 + 3205)
  32768 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 196608-229375
  Free inodes: 48961-57120
Group 7: (Blocks 229376-261119) csum 0x9bc0 [INODE_UNINIT, ITABLE_ZEROED]
  Backup superblock at 229376, Group descriptors at 229377-229377
  Reserved GDT blocks at 229378-229504
  Block bitmap at 136 (bg #0 + 136), csum 0xde491fa2
  Inode bitmap at 144 (bg #0 + 144), csum 0x00000000
  Inode table at 3715-4224 (bg #0 + 3715)
  31615 free blocks, 8160 free inodes, 0 directories, 8160 unused inodes
  Free blocks: 229505-261119
  Free inodes: 57121-65280

2.2 Ext4块数据属性

要定位文件在磁盘的位置，首先要清楚ionde 和data block的数据内容。

在 Ext4 中除日志以外的数据都是以小端法存储的。

不过多对查找文件内容不起作用的部分进行叙述。

2.2.1 superblock 超级块

superblock记录有关封闭文件系统的各种信息，例如块计数、inode计数、支持的功能、维护信息等等。

如果设置了sparse_super feature标志，则超级块和组描述符的冗余副本仅保留在组号为0或3、5或7的幂次方的组中。如果未设置该标志，则所有组中都会保留冗余副本。

超级块校验和是根据包含FS UUID的超级块结构计算的。

ext4超级块在struct ext4_super_block中的布局如下：

关于ext4文件系统概述_数据_04

关于ext4文件系统概述_数据_05

2.2.2 Block Group Descriptors 块组描述

详细查询官网。

在一个块组中，拥有固定位置的数据结构只有超级块和块组描述符。

flex_bg 和 meta_bg 并不是互斥关系。

ext4 64-bits 特性未开启时占用 32 bytes，开启时占用 64 bytes。

2.2.3 Inode Table inode表

inode存储与文件相关的所有元数据（时间戳、块映射、扩展属性等）

inode表是struct ext4_inode的线性数组。该表的大小足以存储至少sb.s_inode_size * sb.s_inodes_per_group字节。

包含inode的块组的编号可以计算为（inode_number-1）/sb.s_inodes_per_group，并且组表中的偏移量为（inode_number-1）%sb.s_inodes_per_group。没有inode 0。

关于ext4文件系统概述_数据_06

关于ext4文件系统概述_文件系统_07

关于ext4文件系统概述_数据_08

2.2.4 Extent Tree 文件的储存方式

每个extent节点由一个头部和多个body组成，无论是索引节点还是叶子节点，甚至是直接存储在inode中的extent节点。当一个文件占用的extent数量较少的时候，其extent可直接存储在inode.i_block[ ]中，当extent数量超过inode.i_block[ ]的存储容量的时候（由上图inode结构表可知，inode.i_block最大值是60bytes，去除了extent_header 12bytes之后剩下48bytes只够存4个extent），ext4便会用B树来组织所有的extent。B树上的每个节点，无论是索引节点还是叶子节点，其主体包含两个部分：extent_header和extent_body。每个节点包含一个extent_header和多个extent_body。

B树上的节点能存在 block size(4096bytes) - extent_header(12bytes) / extent_body(12bytes) = 340个extent 远比indoe上的4个大！

ext4_extent_idx 就是索引节点，他指向的是下个节点或者叶子，叶子ext4_extent 才具有指向文件内容的data block的信息。

关于ext4文件系统概述_文件系统_09

关于ext4文件系统概述_文件系统_10

The extent tree header is recorded in struct ext4_extent_header, which is 12 bytes long:

关于ext4文件系统概述_数据_11

Internal nodes of the extent tree, also known as index nodes, are recorded as struct ext4_extent_idx, and are 12 bytes long:

关于ext4文件系统概述_文件系统_12

Leaf nodes of the extent tree are recorded as struct ext4_extent, and are also 12 bytes long:

关于ext4文件系统概述_文件系统_13

2.2.5
ext4_dir_entry/ext4_dir_entry2 目录存放

目录也是文件, 也有 inode, inode 指向一个块, 块中保存各个文件信息, ext4_dir_entry 包括文件名和 inode, 默认按列表存

ext4_dir_entry

关于ext4文件系统概述_数据_14

ext4_dir_entry_2

关于ext4文件系统概述_数据_15

2.2.6 Hash Tree 目录储存方式

线性目录项不利于系统性能提升。因而从ext3开始加入了快速平衡树哈希目录项名称。如果在inode中设置EXT4_INDEX_FL标志，目录使用哈希的B树（hashed btree ，htree）组织和查找目录项。为了向后只读兼容Ext2，htree实际上隐藏在目录文件中。

Ext2的惯例，树的根总是在目录文件的第一个数据块中。“.”和“..”目录项必须出现在第一个数据块的开头。因而这两个目录项在数据块的开头存放两个struct ext4_dir_entry_2结构，且它们不存到树中。

根结点的其他部分包含树的元数据，最后一个hash->block map查找到htree中更低的节点。如果
dx_root.info.indirect_levels不为0，那么htree有两层；htree根结点的map指向的数据块是一个内部节点，由一个minor hash索引。Htree中的内部节点的minor_hash->block map之后包含一个零化的(zeroed out) structext4_dir_entry_2找到叶子节点。叶子节点包括一个线性的struct ext4_dir_entry_2数组；所有这些项都哈希到相同的值。

如果发生溢出，目录项简单地溢出到下一个叶子节点，哈希的least-significant位（内部节点的map）做相应设置。以htree的方式遍历目录，计算要查找的目录文件名称的哈希值，然后使用哈希值找到对应的数据块号。如果树是flat，该数据块是目录项的线性数组，因而可被搜索到；否则，计算文件名称的minor hash，并使用minor hash查找相应的第三个数据块号。第三个数据块是目录项线性数组。

Htree的根：struct dx_root

Htree的内部节点：struct dx_node

Htree 树根和节点中都存在的 Hashmap：struct dx_entry

关于ext4文件系统概述_文件系统_16

关于ext4文件系统概述_数据_17

The root of the htree is in struct dx_root, which is the full length of a data block:

关于ext4文件系统概述_文件系统_18

Interior nodes of an htree are recorded as struct dx_node, which is also the full length of a data block:

关于ext4文件系统概述_文件系统_19

If metadata checksums are enabled, the last 8 bytes of the directory block (precisely the length of one dx_entry) are used to store a struct dx_tail, which contains the checksum. The limit and count entries in the dx_root/dx_node structures are adjusted as necessary to fit the dx_tail into the block. If there is no space for the dx_tail, the user is notified to run e2fsck -D to rebuild the directory index (which will ensure that there’s space for the checksum. The dx_tail structure is 8 bytes long and looks like this:

关于ext4文件系统概述_数据_20

关于ext4文件系统概述_文件系统_21

2. 通过dd了解文件在磁盘中的内容

把ext4分区挂载到ceph-vol1目录上，可以直接通过查看分区每个block的数据来了解文件系统中的各个概念。

root@xxxxxx:/mnt/ceph-vol1# tree ./
./
├── AAA
│   ├── 123
│   ├── 13344
│   ├── MN212142_9392.csv
│   ├── random_data
│   └── tiantian
├── lost+found
├── random_data
└── test.txt
root@xxxxxx:/mnt/ceph-vol1# stat ./
  File: ./
  Size: 4096            Blocks: 8          IO Block: 4096   directory
Device: fb01h/64257d    Inode: 2           Links: 4
Access: (0755/drwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2020-10-22 09:21:12.342641001 +0800
Modify: 2020-10-22 09:21:11.526615694 +0800
Change: 2020-10-22 09:21:11.526615694 +0800
 Birth: -
root@xxxxxx:/mnt/ceph-vol1# stat test.txt
  File: AAA/test.txt
  Size: 52              Blocks: 8          IO Block: 4096   regular file
Device: fb01h/64257d    Inode: 12          Links: 1
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2020-10-15 17:36:05.266403535 +0800
Change: 2020-10-22 09:21:11.526615694 +0800
 Birth: -
root@xxxxxx:/mnt/ceph-vol1# dumpe2fs /dev/rbd0p1
*****
Group 0: (Blocks 0-32767) csum 0xe2fe [ITABLE_ZEROED]
  Primary superblock at 0, Group descriptors at 1-1
  Reserved GDT blocks at 2-128
  Block bitmap at 129 (+129), csum 0x06292657
  Inode bitmap at 137 (+137), csum 0xc6f39952
  Inode table at 145-654 (+145)
  28533 free blocks, 8143 free inodes, 6 directories, 8143 unused inodes
  Free blocks: 4235-32767
  Free inodes: 18-8160
***

得知 ceph-vol1的innode编号是2 目录下有个AAA目录，当中text.txt的inode编号是12。

通过以下线路获取text.txt的内容

从 Group Descriptors —> inode table —-> ceph-vol1 inode —> ceph-vol1 extent Data block 获得 ceph-vol1 的信息
从 ceph-vol1 extent Data block —> test.txt inode—> test.txt Data block 获得text.txt内容

第一步读取超级块信息，获得根目录ceph-vol1信息。

从文档磁盘以及ext4概念得知，块组第0组必定有超级块的信息，使用DD命令读取对应的偏移量。

读取超级块数据

关于ext4文件系统概述_文件系统_22

块的大小是4096bytes，skip是0 ，偏移量是0x400(1024的Group 0 Padding) 使用DD命令读取

dd if=/dev/rbd0p1 bs=4096 skip=0 | hexdump -C -n 3000
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000400  00 ff 00 00 00 fc 03 00  00 33 00 00 74 c5 03 00  |.........3..t...|  //superblock起始
00000410  f3 fe 00 00 00 00 00 00  02 00 00 00 02 00 00 00  |................|
00000420  00 80 00 00 00 80 00 00  e0 1f 00 00 f4 17 88 5f  |..............._|
00000430  f4 17 88 5f 02 00 ff ff  53 ef 01 00 01 00 00 00  |..._....S.......|
00000440  00 c8 86 5f 00 00 00 00  00 00 00 00 01 00 00 00  |..._............|
00000450  00 00 00 00 0b 00 00 00  00 01 00 00 3c 00 00 00  |............<...|
00000460  c6 02 00 00 6b 04 00 00  6f 07 4d b1 8f 6f 43 13  |....k...o.M..oC.|
00000470  85 1d fa 3c 9b 75 90 f8  00 00 00 00 00 00 00 00  |...<.u..........|
00000480  00 00 00 00 00 00 00 00  2f 6d 6e 74 2f 63 65 70  |......../mnt/cep|
00000490  68 2d 76 6f 6c 31 00 00  00 00 00 00 00 00 00 00  |h-vol1..........|
000004a0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*

代入supperblock的结构体得到

Total inode count = 65280

Total block count = 261120

Blocks per group = 32768

Inodes per group = 8160

与 dumpe2fs /dev/rbd0p1 得出结果一致，证明直接读取磁盘数据的偏移量计算是正确的。

关于ext4文件系统概述_文件系统_23

读取Group Descriptors块组描述符表

要获取第0组块的块描述，可以增大偏移量跳过超级块的位置，把skip改成1 获得块描述的信息

注意：所有块组的描述块都是放在一起。起始第一个block刚好对应第0组块。

root@xxxxxx:~# dd if=/dev/rbd0p1 bs=4096 skip=1 | hexdump -C -n 3000
00000000  81 00 00 00 89 00 00 00  91 00 00 00 75 6f cf 1f  |............uo..|  //看这一行
00000010  06 00 04 00 00 00 00 00  57 26 52 99 cf 1f fe e2  |........W&R.....|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  29 06 f3 c6 00 00 00 00  |........).......|
00000040  82 00 00 00 8a 00 00 00  8f 02 00 00 7e 6b e0 1f  |............~k..|
00000050  00 00 05 00 00 00 00 00  ac cb 00 00 e0 1f 02 4d  |...............M|
00000060  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000070  00 00 00 00 00 00 00 00  6b fa 00 00 00 00 00 00  |........k.......|
00000080  83 00 00 00 8b 00 00 00  8d 04 00 00 00 70 e0 1f  |.............p..|
00000090  00 00 05 00 00 00 00 00  87 be 00 00 e0 1f 1c ba  |................|
000000a0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
000000b0  00 00 00 00 00 00 00 00  3d 8c 00 00 00 00 00 00  |........=.......|
000000c0  84 00 00 00 8c 00 00 00  8b 06 00 00 7f 7f e0 1f  |................|
000000d0  00 00 07 00 00 00 00 00  00 00 00 00 e0 1f 9e 57  |...............W|
000000e0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|

关于ext4文件系统概述_文件系统_24

这样就获取得到组0的inode table的起始位置145 与dumpe2fs /dev/rbd0p1一致。

读取inode table 与 inode信息

root@xxxxxx:~# dd if=/dev/rbd0p1 bs=4096 skip=145 | hexdump -C -n 2000
00000000  00 00 00 00 00 00 00 00  01 c8 86 5f 01 c8 86 5f  |..........._..._|
00000010  01 c8 86 5f 00 00 00 00  00 00 00 00 00 00 00 00  |..._............|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000070  00 00 00 00 00 00 00 00  00 00 00 00 9e c7 00 00  |................|
00000080  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000100  ed 41 00 00 00 10 00 00  88 de 90 5f 87 de 90 5f  |.A........._..._|  //此处目录
00000110  87 de 90 5f 00 00 00 00  00 00 04 00 08 00 00 00  |..._............|
00000120  00 00 08 00 0c 00 00 00  0a f3 01 00 04 00 00 00  |................|
00000130  00 00 00 00 00 00 00 00  01 00 00 00 81 10 00 00  |................|
00000140  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00000170  00 00 00 00 00 00 00 00  00 00 00 00 7f 57 00 00  |.............W..|
00000180  20 00 1f 92 38 12 8e 7d  38 12 8e 7d a4 25 b1 51  | ...8..}8..}.%.Q|
00000190  01 c8 86 5f 00 00 00 00  00 00 00 00 00 00 00 00  |..._............|
000001a0  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................

可以通过公式推得出，这个

block group = (inode_number - 1) / sb.s_inodes_per_group

inode table index = (inode_number - 1) % sb.s_inodes_per_group

byte address in the inode table = (inode table index) * sb->s_inode_size

得出00000100的位置是ceph-vol1 indoe数据, 00000128则是i_block[EXT4_N_BLOCKS=15] extent tree的起始位置。

关于ext4文件系统概述_数据_25

ceph-vol1 的inode 只有一个 extent 并且是叶子节点指向data block，目录inode的data block是Directory Entries结构体 struct dx_root,

i_block开头再偏移12bytes 得出extent 指向的data block编号 0x1081 (4225)

读取目录extent数据

root@xxxxxx:~# dd if=/dev/rbd0p1 bs=4096 skip=4225 | hexdump -C -n 2000
00000000  02 00 00 00 0c 00 01 02  2e 00 00 00 02 00 00 00  |................|
00000010  0c 00 02 02 2e 2e 00 00  0b 00 00 00 24 00 0a 02  |............$...|
00000020  6c 6f 73 74 2b 66 6f 75  6e 64 00 00 0c 00 00 00  |lost+found......|
00000030  10 00 08 01 74 65 73 74  2e 74 78 74 0d 00 00 00  |....test.txt....|
00000040  14 00 0b 01 72 61 6e 64  6f 6d 5f 64 61 74 61 77  |....random_dataw|
00000050  0e 00 00 00 a4 0f 03 02  41 41 41 01 2e 74 65 73  |........AAA..tes|
00000060  74 2e 74 78 74 2e 73 77  78 00 00 00 00 00 00 00  |t.txt.swx.......|
00000070  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000007d0

extent 数据中包含了当前目录，上一级目录，当前子目录和当前目录文件的信息

当前目录

ext4_dir_entry_2

关于ext4文件系统概述_数据_26

lost+found

ext4_dir_entry_2

关于ext4文件系统概述_文件系统_27

test.txt

ext4_dir_entry_2

关于ext4文件系统概述_数据_28

可以得出 test.txt的inode编号与 stat 结果是一致为 12

读取文件indoe 以及 extent

再次回到上面inode table

把 12代入 inode_number

block group = (inode_number - 1) / sb.s_inodes_per_group

inode table index = (inode_number - 1) % sb.s_inodes_per_group

byte address in the inode table = (inode table index) * sb->s_inode_size

得

block group = 0

inode table index = 11

byte address in the inode table = 11 * 256 = 0xB00

root@xxxxxx:~# dd if=/dev/rbd0p1 bs=4096 skip=145 | hexdump -C -n 30000
*
00000b00  a4 81 00 00 34 00 00 00  05 18 88 5f 87 de 90 5f  |....4......_..._| //此处
00000b10  01 18 88 5f 00 00 00 00  00 00 01 00 08 00 00 00  |..._............|
00000b20  00 00 08 00 01 00 00 00  0a f3 01 00 04 00 00 00  |................|
00000b30  00 00 00 00 00 00 00 00  01 00 00 00 81 80 00 00  |................|
00000b40  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*

找到0xf30a位置再确认extent，得出data block 编号是 0x8081 (32897) ，便可知道text.txt的内容

dd if=/dev/rbd0p1 bs=4096 skip=32897 | hexdump -C -n 1000
00000000  68 65 6c 6c 6f 20 77 6f  72 6c 64 6c 73 6c 73 6c  |hello worldlslsl|
00000010  73 6c 73 20 2d 2d 2d 2d  2d 2d 2d 2d 20 66 75 63  |sls -------- fuc|
00000020  6b 20 66 75 66 75 66 66  66 66 66 66 66 0a 66 64  |k fufufffffff.fd|
00000030  64 66 64 0a 00 00 00 00  00 00 00 00 00 00 00 00  |dfd.............|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000003e8
root@xxxxxx:/mnt/ceph-vol1/AAA# cat test.txt
hello worldlslslsls -------- fuck fufufffffff
fddfd

使用debugfs工具直接找出内容

使用debugfs 可以直接获得文件/目录 data block 指向
ext4_extent/ext4_dir_entry2 的编号

root@xxxxxx:/mnt/ceph-vol1/AAA# debugfs /dev/rbd0p1
debugfs 1.44.1 (24-Mar-2018)
debugfs:stat ./
Inode: 14   Type: directory    Mode:  0755   Flags: 0x80000
Generation: 2546967618    Version: 0x00000000:00000007
User:     0   Group:     0   Project:     0   Size: 4096
File ACL: 0
Links: 5   Blockcount: 8
Fragment:  Address: 0    Number: 0    Size: 0
 ctime: 0x5f91560e:e4814ef8 -- Thu Oct 22 17:51:10 2020
 atime: 0x5f915612:a96762a8 -- Thu Oct 22 17:51:14 2020
 mtime: 0x5f91560e:e4814ef8 -- Thu Oct 22 17:51:10 2020
crtime: 0x5f8916fe:3c52facc -- Fri Oct 16 11:43:58 2020
Size of extra inode fields: 32
Inode checksum: 0x704ebab8
EXTENTS:
(0):4231
debugfs:stat ./test.txt
Inode: 12   Type: regular    Mode:  0644   Flags: 0x80000
Generation: 3671053201    Version: 0x00000000:00000001
User:     0   Group:     0   Project:     0   Size: 52
File ACL: 0
Links: 1   Blockcount: 8
Fragment:  Address: 0    Number: 0    Size: 0
 ctime: 0x5f90de87:7d8e1238 -- Thu Oct 22 09:21:11 2020
 atime: 0x5f915207:02d0eb1c -- Thu Oct 22 17:33:59 2020
 mtime: 0x5f881801:d53ae608 -- Thu Oct 15 17:36:01 2020
crtime: 0x5f86ca79:4762b4f8 -- Wed Oct 14 17:52:57 2020
Size of extra inode fields: 32
Inode checksum: 0xa5bced70
EXTENTS:
(0):32897

3. ceph object分布与 ext4 块对应关系

ext4分区最小单位是一个block默认是4KB，在磁盘上是8个连续的sector。ceph的oject大小默认是4M 等于可以保存 1024个 block，8192个 sector。

关于ext4文件系统概述_数据_29

Disk /dev/rbd0: 1 GiB, 1073741824 bytes, 2097152 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 4194304 bytes / 4194304 bytes
Disklabel type: dos
Disk identifier: 0x5510f42b
Device      Boot Start     End Sectors  Size Id Type
/dev/rbd0p1       8192 2097151 2088960 1020M 83 Linux

以上述的text.txt验证

起始Sector(start) = 分区start + block number 8 = 8192 + 32897 8 = 271368

结束Sector(end) = 分区start + (block number + 1) 8 - 1 = 8192 + 32898 8 - 1 = 271375

root@xxxxxx:~# dd if=/dev/rbd0 bs=512 skip=271368 | hexdump -C -n 1000
00000000  68 65 6c 6c 6f 20 77 6f  72 6c 64 6c 73 6c 73 6c  |hello worldlslsl|
00000010  73 6c 73 20 2d 2d 2d 2d  2d 2d 2d 2d 20 66 75 63  |sls -------- fuc|
00000020  6b 20 66 75 66 75 66 66  66 66 66 66 66 0a 66 64  |k fufufffffff.fd|
00000030  64 66 64 0a 00 00 00 00  00 00 00 00 00 00 00 00  |dfd.............|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
000003e8

sector 在 ceph object中是连续

起始Object(start) = 起始Sector(start) / 8 = 33921

结束Object(end) = 结束Sector(end) / 8 = 33921

偏移量 = 起始Sector(start) % 8192

常用命令参考