系统物理架构图怎么画 物理架构图详解

在之前的博客我们了解了达梦数据库的逻辑结构，如下：

本篇我们了解一下达梦数据库的物理结构。

1 DM物理结构架构图

DM 数据库使用了磁盘上大量的物理存储结构来保存和管理用户数据。典型的物理存储结构包括：用于进行功能设置的配置文件；用于记录文件分布的控制文件；用于保存用户实际数据的数据文件、重做日志文件、归档日志文件、备份文件；用来进行问题跟踪的跟踪日志文件等。

2 具体文件说明

2.1 配置文件

配置文件是 DM 数据库用来设置功能选项的一些文本文件的集合，配置文件以 ini 为扩展名，它们具有固定的格式，用户可以通过修改其中的某些参数取值来达成如下两个方面的目标：

启用/禁用特定功能项；

针对当前系统运行环境设置更优的参数值以提升系统性能。

DM系统中配置存储路径如下：

[[e-mail] cndba]$ pwd

/dm/dmdbms/data/cndba

[[e-mail] cndba]$ ll *.ini

-rw-r--r-- 1 dmdba dinstall 890 2月 23 2029 dmarch_example.ini

-rw-r--r-- 1 dmdba dinstall 1966 2月 23 2029 dmdcr_cfg_example.ini

-rw-r--r-- 1 dmdba dinstall 631 2月 23 2029 dmdcr_example.ini

-rw-r--r-- 1 dmdba dinstall 43490 2月 23 2029 dm.ini

-rw-r--r-- 1 dmdba dinstall 1537 2月 23 2029 dminit_example.ini

-rw-r--r-- 1 dmdba dinstall 2070 2月 23 2029 dmmal_example.ini

-rw-r--r-- 1 dmdba dinstall 1277 2月 23 2029 dmmonitor_example.ini

-rw-r--r-- 1 dmdba dinstall 288 2月 23 2029 dmmpp_example.ini

-rw-r--r-- 1 dmdba dinstall 1679 2月 23 2029 dmtimer_example.ini

-rw-r--r-- 1 dmdba dinstall 2146 2月 23 2029 dmwatcher_example.ini

-rw-r--r-- 1 dmdba dinstall 1241 2月 23 2029 dmwatch_example.ini

-rw-r--r-- 1 dmdba dinstall 522 2月 23 2029 dmwmon_example.ini

-rw-r--r-- 1 dmdba dinstall 636 2月 23 2029 sqllog_example.ini

-rw-r--r-- 1 dmdba dinstall 479 2月 23 2029 sqllog.ini

[[e-mail] cndba]$

2.1.1 DM 数据库服务配置

1) dm.ini

每创建一个 DM 数据库，就会自动生成 dm.ini 文件。dm.ini 是 DM 数据库启动所必须的配置文件，通过配置该文件可以设置 DM 数据库服务器的各种功能和性能选项，具体配置内容参考官方手册。

参数属性分为三种：静态、动态和手动。

静态，可以被动态修改，修改后重启服务器才能生效。

动态，可以被动态修改，修改后即时生效。动态参数又分为会话级和系统级两种。会话级参数被修改后，新参数值只会影响新创建的会话，之前创建的会话不受影响；系统级参数的修改则会影响所有的会话。

手动，不能被动态修改，必须手动修改 dm.ini 参数文件，然后重启才能生效。

https://www.cndba.cn/cndba/dave/article/3571

动态修改是指 DBA 用户可以在数据库服务器运行期间，通过调用系统过程SP_SET_PARA_VALUE()、SP_SET_PARA_DOUBLE_VALUE()和SP_SET_PARA_STRING_VALUE()对参数值进行修改。

2) dmmal.ini

dmmal.ini 是 MAL 系统的配置文件。dmmal.ini 的具体配置内容参考官方手册。需要用到 MAL环境的实例，所有站点 dmmal.ini 需要保证严格一致。

3) dmarch.ini

dmarch.ini 用于本地归档和远程归档。dmarch.ini 的具体配置内容参考官方手册。

归档类型 ARCH_TYPE 有以下几种：

本地归档 LOCAL(一台主库最多配 8 个)

远程实时归档 REALTIME(一台主库最多配 8 个)

远程异步归档 ASYNC(一台主库最多配 8 个)

即时归档 TIMELY(一个主库最多配 8 个)

远程归档 REMOTE(一个主库最多配 8 个)

配置名[ARCHIVE_*]表示归档名，在配置文件中必须唯一。

不能存在相同实例名的不同归档；

不能存在 DEST 相同的不同归档实例；

ARCH_TIMER_NAME 为定制的定时器名称，定时器配置见 dmtimer.ini；

ARCH_SPACE_LIMIT 表示归档文件的磁盘空间限制，如果归档文件总大小超过这个值，则在生成新归档文件前会删除最老的一个归档文件。

4)dm_svc.conf

DM 安装时生成一个配置文件 dm_svc.conf，不同的平台所在目录有所不同。

32 位的 DM 安装在 Win32 操作平台下，此文件位于%SystemRoot%/system32目录；

64 位的 DM 安装在 Win64 操作平台下，此文件位于%SystemRoot%/system32目录；

32 位的 DM 安装在 Win64 操作平台下，此文件位于%SystemRoot%/SysWOW64目录；

在 Linux 平台下，此文件位于/etc 目录。

dm_svc.conf 文件中包含 DM 各接口及客户端需要配置的一些参数，具体的配置项见官方手册。

dm_svc.conf 配置文件的内容分为全局配置区和服务配置区。全局配置区在前，服务配置区在后，以“[服务名]”开头，可配置除了服务名外的所有配置项。服务配置区中的配置优先级高于全局配置区。

https://www.cndba.cn/cndba/dave/article/3571

下面是一个 dm_svc.conf 的例子：

# 以#开头的行表示是注释

# 全局配置区

O2000=(192.168.0.1:5000,192.168.0.2:5236)

O3000=(192.168.0.1:5236,192.168.0.3:4350)

TIME_ZONE=(+8:00)

LOGIN_ENCRYPT=(0)

DIRECT=(Y)

# 服务配置区

[O2000]

TIME_ZONE=(+9:00)

LOGIN_MODE=(2)

SWITCH_TIME=(3)

SWITCH_INTERVAL=(10)

需要说明的是，如果对 dm_svc.conf 的配置项进行了修改，需要重启客户端程序，修改的配置才能生效。

5)sqllog.ini

sqllog.ini用于sql日志的配置。当把INI参数SVR_LOG置为1，才会打开SQL日志。

如果在服务器启动过程中，修改了sqllog.ini文件。修改之后的文件，只要调用过程SP_REFRESH_SVR_LOG_CONFIG() 就会生效。sqllog.ini的详细配置参考官方手册。

2.1.2 复制配置

1) dmrep.ini

dmrep.ini 用于配置复制实例，具体内容请见“数据复制”章节。dmrep.ini 的配置参考官方手册。

2) dmllog.ini

dmllog.ini 用于配置逻辑日志，具体内容请见“数据复制”章节。dmllog.ini 的配置参考官方手册。

3) dmtimer.ini

dmtimer.ini 用于配置定时器，用于数据守护中记录异步备库的定时器信息或数据复制中记录异步复制的定时器信息。dmtimer.ini 的配置项参考官方手册。

2.2 控制文件

每个 DM 数据库都有一个名为 dm.ctl 的控制文件。控制文件是一个二进制文件，它记录了数据库必要的初始信息，其中主要包含以下内容：

数据库名称；

数据库服务器模式；

OGUID 唯一标识；

数据库服务器版本；

数据文件版本；

数据库的启动次数；

数据库最近一次启动时间；

表空间信息，包括表空间名，表空间物理文件路径等，记录了所有数据库中使用的表空间，数组的方式保存起来；

控制文件校验码，校验码由数据库服务器在每次修改控制文件后计算生成，保证控制文件合法性，防止文件损坏及手工修改。

在服务器运行期间，执行表空间的 DDL 等操作后，服务器内部需要同步修改控制文件内容。如果在修改过程中服务器故障，可能会导致控制文件损坏，为了避免出现这种情况，在修改控制文件时系统内部会执行备份操作。备份策略如下：

策略一 在修改 dm.ctl 之前，先执行一次备份，确定 dm.ctl 修改成功后，再将备份删除，如果 dm.ctl 修改失败或中途出现故障，则保留备份文件。

策略二 在修改 dm.ctl 成功之后，根据 dm.ini 中指定的CTL_BAK_PATH/CTL_BAK_NUM 对最新的 dm.ctl 执行备份，如果用户指定的CTL_BAK_PATH 是非法路径，则不再生成备份文件，在路径有效的情况下，生成备份文件时

根据指定的 CTL_BAK_NUM 判断是否删除老的备份文件。

注意：

如果 dm.ctl 文件存放在裸设备上，则【策略一】不会生效。

如果指定的 CTL_BAK_PATH 是无效路径，则【策略二】也不会生效。

如果【策略一】和【策略二】的条件都满足，则都会生效执行，否则只执行满足条件的备份策略，如果都不满足，则不会再生成备份文件。

如果是初始化新库，在初始化完成后，会在“SYSTEM_PATH/CTL_BAK”路径下对原始的 dm.ctl 执行一次备份。

[[e-mail] cndba]$ pwd

/dm/dmdbms/data/cndba

[[e-mail] cndba]$ cat dm.ini |grep CTL_BAK_PATH

CTL_BAK_PATH = /dm/dmdbms/data/cndba/ctl_bak #dm.ctl backup path

[[e-mail] cndba]$ cat dm.ini |grep CTL_BAK_NUM

CTL_BAK_NUM = 10 #backup number of dm.ctl, allowed to keep one more backup file besides specified number.

[[e-mail] cndba]$

[[e-mail] cndba]$ cd ctl_bak/

[[e-mail] ctl_bak]$ ls

dm_20290224013249_265624.ctl dm_20290224014119_653643.ctl dm_20290224111729_374986.ctl dm_20290224111731_879257.ctl

dm_20290224013821_311967.ctl dm_20290224014219_797546.ctl dm_20290224111731_865190.ctl dm_20290224111731_884214.ctl

dm_20290224013830_249992.ctl dm_20290224014227_973018.ctl dm_20290224111731_873016.ctl dm_20290224111731_889071.ctl

[[e-mail] ctl_bak]$

2.3 数据文件

数据文件以 dbf 为扩展名，它是数据库中最重要的文件类型，一个 DM 数据文件对应磁盘上的一个物理文件，数据文件是真实数据存储的地方，每个数据库至少有一个与之相关的数据文件。在实际应用中，通常有多个数据文件。

当 DM 的数据文件空间用完时，它可以自动扩展。可以在创建数据文件时通过 MAXSIZE参数限制其扩展量，当然，也可以不限制。但是，数据文件的大小最终会受物理磁盘大小的限制。在实际使用中，一般不建议使用单个巨大的数据文件，为一个表空间创建多个较小的数据文件是更好的选择。

数据文件按数据组织形式，可以分为如下几种：

1. B 树数据

行存储数据，也是应用最广泛的存储形式，其数据是按 B 树索引组织的。普通表、分区表、B 树索引的物理存储格式都是 B 树。

一个 B 树包含两个段，一个内节点段，存放内节点数据；一个叶子段，存放叶子节点数据。其 B 树的逻辑关系由段内页面上的记录，通过文件指针来完成。

当表上没有指定聚簇索引时，系统会自动产生一个唯一标识 rowid 作为 B 树的 key 来唯一标识一行。https://www.cndba.cn/cndba/dave/article/3571

2. 堆表数据

堆表的数据是以挂链形式存储的，一般情况下，支持最多 128 个链表，一个链表在物理上就是一个段，堆表采用的是物理 rowid，在插入过程中，rowid 在事先已确定，并保证其唯一性，所以可以并发插入，插入效率很高，且由于 rowid 是即时生成，无需保存在物理磁盘上，也节省了空间。

3. 列存储数据

数据按列方式组织存储，每个列包含 2 个段，一个段存放列数据，一个段存放列的控制信息，读取列数据时，只需要顺序扫描这两个段。在某些特殊应用场景下，其效率要远远高于行存储。

4. 位图索引

位图索引与 B 树索引不同，每个索引条目不是指向一行数据，而是指向多行数据。每个索引项保存的是一定范围内所有行与当前索引键值映射关系的位图。

数据文件中还有两类特殊的数据文件：ROLL 和 TEMP 文件。

1). ROLL 文件

ROLL 表空间的 dbf 文件，称为 ROLL 文件。ROLL 文件用于保存系统的回滚记录，提供事务回滚时的信息。回滚文件整个是一个段。每个事务的回滚页在回滚段中各自挂链，页内则顺序存放回滚记录。

2). TEMP 文件

TEMP.DBF 临时数据文件，临时文件可以在 dm.ini 中通过 TEMP_SIZE 配置大小。当数据库查询的临时结果集过大，缓存已经不够用时，临时结果集就可以保存在TEMP.DBF 文件中，供后续运算使用。系统中用户创建的临时表也存储在临时文件中。

2.4 重做日志文件

重做日志，又叫 REDO 日志，指在 DM 数据库中添加、删除、修改对象，或者改变数据，DM 都会按照特定的格式，将这些操作执行的结果写入到当前的重做日志文件中。重做日志文件以 log 为扩展名。每个 DM 数据库实例必须至少有 2 个重做日志文件，默认日志名称是数据库名加编号，两个日志文件循环使用。

[[e-mail] cndba]$ pwd

/dm/dmdbms/data/cndba

[[e-mail] cndba]$ ll -lh *.log

-rw-r--r-- 1 dmdba dinstall 256M 2月 24 2029 cndba01.log

-rw-r--r-- 1 dmdba dinstall 256M 2月 23 2029 cndba02.log

-rw-r--r-- 1 dmdba dinstall 823 2月 23 2029 dminit20290223224934.log

-rw-r--r-- 1 dmdba dinstall 12 2月 23 2029 rep_conflict.log

[[e-mail] cndba]$

重做日志文件主要用于数据库的备份与恢复。异常情况下，比如电源故障、系统故障、介质故障，或者数据库实例进程被强制终止等，数据库缓冲区中的数据页会来不及写入数据文件。这样，在重启 DM 实例时，通过重做日志文件中的信息，就可以将数据库的状态恢复到发生意外时的状态。https://www.cndba.cn/cndba/dave/article/3571

重做日志文件对于数据库是至关重要的。它们用于存储数据库的事务日志，以便系统在出现系统故障和介质故障时能够进行故障恢复。在 DM 数据库运行过程中，任何修改数据库的操作都会产生重做日志，例如，当一条元组插入到一个表中的时候，插入的结果写入了重做日志，当删除一条元组时，删除该元组的事实也被写了进去，这样，当系统出现故障时，通过分析日志可以知道在故障发生前系统做了哪些动作，并可以重做这些动作使系统恢复到故障之前的状态。https://www.cndba.cn/cndba/dave/article/3571

https://www.cndba.cn/cndba/dave/article/3571

2.5 归档日志文件

日志文件分为联机日志文件和归档日志文件。DM 数据库可以在归档模式和非归档模式下运行。只有当数据库处于归档模式下，才将联机日志文件中的内容保存到硬盘中，形成归档日志文件。

重做日志文件就是联机日志文件。联机日志文件指的是系统当前正在使用的日志文件，创建数据库时，联机日志文件通常被扩展至一定长度，其内容则被初始化为空，当系统运行时，该文件逐渐被产生的日志所填充。对日志文件的写入是顺序连续的。然而系统磁盘空间总是有限，系统必须能够循环利用日志文件的空间，为了做到这一点，当所有日志文件空间被占满时，系统需要清空一部分日志以便重用日志文件的空间，为了保证被清空的日志所“保护”的数据在磁盘上是安全的，这里需要引入一个关键的数据库概念——检查点。当产生检查点时，系统将系统缓冲区中的日志和脏数据页都写入磁盘，以保证当前日志所“保护”的数据页都已安全写入磁盘，这样日志文件即可被安全重用。

归档日志文件，就是在归档模式下，重做联机日志被连续拷贝到归档日志后，所生成了归档日志文件。归档日志文件以归档时间命名，扩展名也是 log。但只有在归档模式下运行时，DM 数据库在重做联机日志文件时才能生成归档日志文件。https://www.cndba.cn/cndba/dave/article/3571

采用归档模式会对系统的性能产生影响，然而系统在归档模式下运行会更安全，当出现故障时其丢失数据的可能性更小，这是因为一旦出现介质故障，如磁盘损坏时，利用归档日志，系统可被恢复至故障发生的前一刻，也可以还原到指定的时间点，而如果没有归档日志文件，则只能利用备份进行恢复。https://www.cndba.cn/cndba/dave/article/3571

归档日志还是数据守护功能的核心，数据守护中的备库就是通过重做日志来完成与主库的数据同步的。

2.6 逻辑日志文件

如果在 DM 数据库上配置了复制功能，复制源就会产生逻辑日志文件。逻辑日志文件是一个流式的文件，它有自己的格式，不受页，簇和段的管理。

逻辑日志文件内部存储按照复制记录的格式，一条记录紧接着一条记录，存储着复制源端的各种逻辑操作。用于发送给复制目的端。

2.7 备份文件

备份文件以 bak 为扩展名，当系统正常运行时，备份文件不会起任何作用，它也不是数据库必须有的联机文件类型之一。

当客户利用管理工具或直接发出备份的 SQL 命令时，DM Server 会自动进行备份，并产生一个或多个备份文件，备份文件自身包含了备份的名称、对应的数据库、备份类型和备份时间等信息。同时，系统还会自动记录备份信息及该备份文件所处的位置，但这种记录是松散的，用户可根据需要将其拷贝至任何地方，并不会影响系统的运行。

https://www.cndba.cn/cndba/dave/article/3571

2.8 跟踪日志文件

用户在 dm.ini 中配置 SVRLOG 和 SVR_LOG_SWITCH_COUNT 参数后就会打开跟踪日志。跟踪日志文件是一个纯文本文件，以“dm_commit日期_时间”命名，默认生成在 DM安装目录的 log 子目录下面，管理员可通过 ini 参数 SVR_LOG_FILE_PATH 设置其生成路径。

[[e-mail] cndba]$ pwd

/dm/dmdbms/data/cndba

[[e-mail] cndba]$ cat dm.ini|grep SVR_*

SVR_LOG_NAME = SLOG_ALL #Using which sql log sys in sqllog.ini

SVR_LOG = 0 #Whether the Sql Log sys Is open or close. 1:open, 0:close.

DW_MAX_SVR_WAIT_TIME = 0 #Maximum time in seconds that server will wait for DMWATCHER to startup

CHECK_SVR_VERSION = 1 #Whether to check server version

[[e-mail] cndba]$

跟踪日志内容包含系统各会话执行的 SQL 语句、参数信息、错误信息等。跟踪日志主要用于分析错误和分析性能问题，基于跟踪日志可以对系统运行状态有一个分析，比如，可以挑出系统现在执行速度较慢的 SQL 语句，进而对其进行优化。

系统中 SQL 日志的缓存是分块循环使用，管理员可根据系统执行的语句情况及压力情况设置恰当的日志缓存块大小及预留的缓冲块个数。当预留块不足以记录系统产生的任务时，系统会分配新的用后即弃的缓存块，但是总的空间大小由 ini 参数SVR_LOG_BUF_TOTAL_SIZE 控制，管理员可根据实际情况进行设置。

打开跟踪日志会对系统的性能会有较大影响，一般用于查错和调优的时候才会打开，默认情况下系统是关闭跟踪日志的。若需要跟踪日志但对日志的实时性没有严格的要求，又希望系统有较高的效率，可以设置参数SQL_TRACE_MASK和SVR_LOG_MIN_EXEC_TIME 只记录关注的相关记录，减少日志总量；设置参数 SVR_LOG_ASYNC_FLUSH 打开 SQL 日志异步刷盘提高系统性能。https://www.cndba.cn/cndba/dave/article/3571

2.9 事件日志文件

DM 数据库系统在运行过程中，会在 log 子目录下产生一个“dm实例名日期”命名的事件日志文件。事件日志文件对 DM 数据库运行时的关键事件进行记录，如系统启动、关闭、内存申请失败、IO 错误等一些致命错误。事件日志文件主要用于系统出现严重错误时进行查看并定位问题。事件日志文件随着 DM 数据库服务的运行一直存在。

事件日志文件打印的是中间步骤的信息，所以出现部分缺失属于正常现象。

[[e-mail] log]$ pwd

/dm/dmdbms/log

[[e-mail] log]$ tail -5 dm_DAVE_202902.log

2029-02-24 11:17:31 [INFO] database P0000006857 main_thread backup control file /dm/dmdbms/data/cndba/dm.ctl to file /dm/dmdbms/data/cndba/ctl_bak/dm_20290224111731_884214.ctl succeed

2029-02-24 11:17:31 [ERROR] database P0000006857 main_thread ctl_read_from_file fail: read header fail. path: '/dm/dmdbms/data/cndba/ctl_bak/dm_20290224013249_265624.ctl'

2029-02-24 11:17:31 [INFO] database P0000006857 main_thread backup control file /dm/dmdbms/data/cndba/dm.ctl to file /dm/dmdbms/data/cndba/dm_20290224111731_888309.ctl

2029-02-24 11:17:31 [INFO] database P0000006857 main_thread backup control file /dm/dmdbms/data/cndba/dm.ctl to file /dm/dmdbms/data/cndba/ctl_bak/dm_20290224111731_889071.ctl succeed

2029-02-24 11:22:29 [INFO] database P0000006857 main_thread ckpt info adjust: ckpt_lsn(42700), ckpt_fil(0), ckpt_off(8765952), cur_lsn(42700), next_seq(17115), cur_free(8766976)

[[e-mail] log]$

2.10 数据重演文件

调用系统存储过程 SP_START_CAPTURE 和 SP_STOP_CAPTURE，可以获得数据重演文件。重演文件用于数据重演，存储了从抓取开始到抓取结束时，DM 数据库与客户端的通信消息。使用数据重演文件，可以多次重复抓取这段时间内的数据库操作，为系统调试和性能调优提供了另一种分析手段。