转载

ASM 翻译系列第三十六弹：ACFS磁盘组的重平衡操作

原作者：Bane Radulovic

译者：    魏兴华

审核：    魏兴华
DBGeeK联合出品

原文链接：http://asmsupportguy.blogspot.sg/2014/02/acfs-disk-group-rebalance.html

ACFS disk group rebalance

从Oracle 11.2版本开始，可以在ASM磁盘组之上创建通用的集群文件系统，被称为Oracle ASM Cluster File Systems或Oracle ACFS。要想创建一个ACFS文件系统，首先需要在ASM磁盘组之上创建特定的卷，这个卷在OS上是一个块设备，ACFS文件系统就创建于这些块设备之上。

 

本篇文章主要是关于对ACFS卷文件的重平衡、镜像和区管理的介绍。

 

首先说明一下测试使用的环境信息：

64-bit Oracle Linux 5.4, in Oracle Virtual Box

Oracle Restart and ASM version 11.2.0.3.0 - 64bit

ASMLib/oracleasm version 2.1.7 Set up ACFS volumes

Set up ACFS volumes

由于我的环境使用的是单实例的Oracle Restart ，因此我需要手工来load ADVM/ACFS 的驱动。（在RAC环境下是自动load的，不需要手工干预）。

64-bit Oracle Linux 5.4, in Oracle Virtual Box

# acfsload start

ACFS-9391: Checking for existing ADVM/ACFS installation.

ACFS-9392: Validating ADVM/ACFS installation files for operating system.

ACFS-9393: Verifying ASM Administrator setup.

ACFS-9308: Loading installed ADVM/ACFS drivers.

ACFS-9154: Loading 'oracleoks.ko' driver.

ACFS-9154: Loading 'oracleadvm.ko' driver.

ACFS-9154: Loading 'oracleacfs.ko' driver.

ACFS-9327: Verifying ADVM/ACFS devices.

CFS-9156: Detecting control device '/dev/asm/.asm_ctl_spec'.

ACFS-9156: Detecting control device '/dev/ofsctl'.

ACFS-9322: completed

#

我们首先需要创建一个磁盘组进而才能在其上构建ACFS文件系统。

$ sqlplus / as sysasm 

SQL> create diskgroup ACFS

disk 'ORCL:ASMDISK5', 'ORCL:ASMDISK6'

attribute 'COMPATIBLE.ASM' = '11.2', 'COMPATIBLE.ADVM' = '11.2'; 

Diskgroup created. 

SQL> 

虽然从技术上说，可以支持在一个ASM磁盘组里既存放数据库文件也存放ACFS文件，但是我推荐的使用方式是，为ACFS卷使用独立的ASM磁盘组，这样不但提供了功能/角色的分离，而且对数据库文件来说还存在着潜在的性能益处。

 

接下来我们检查一下所有磁盘组的AU Size：

SQL> select group_number "Group#", name "Name", allocation_unit_size "AU size"

from v$asm_diskgroup_stat; 

     Group# Name        AU size

---------- -------- ----------

         1 ACFS        1048576

         2 DATA        1048576

SQL>

上面显示两个磁盘组都是1MB的AU Size，后面当我们讨论卷文件区大小的时候还会提到它。

 

接下来我们在之前创建的ACFS磁盘组中创建一些卷：

$ asmcmd volcreate -G ACFS -s 4G VOL1

$ asmcmd volcreate -G ACFS -s 2G VOL2

$ asmcmd volcreate -G ACFS -s 1G VOL3

获取卷信息

$ asmcmd volinfo -a

Diskgroup Name: ACFS 

 Volume Name: VOL1

 Volume Device: /dev/asm/vol1-142

 State: ENABLED

 Size (MB): 4096

 Resize Unit (MB): 32

 Redundancy: MIRROR

 Stripe Columns: 4

 Stripe Width (K): 128

 Usage:

 Mountpath: 

  Volume Name: VOL2

 Volume Device: /dev/asm/vol2-142

 State: ENABLED

 Size (MB): 2048

 Resize Unit (MB): 32

 Redundancy: MIRROR

 Stripe Columns: 4

 Stripe Width (K): 128

 Usage:

 Mountpath:

   Volume Name: VOL3

 Volume Device: /dev/asm/vol3-142

 State: ENABLED

 Size (MB): 1024

 Resize Unit (MB): 32

 Redundancy: MIRROR

 Stripe Columns: 4

 Stripe Width (K): 128

 Usage:

 Mountpath: 

 $

卷在创建后会自动的enable，主机重启后，对于oracle restart环境，我们需要手工装载ADVM/ACFS驱动，再enable我们所创建的卷。

NASM files for ACFS support

ASM会为每一个卷创建一个卷文件。在一个冗余的磁盘组中，每一个卷都会有一个dirty region logging (DRL)文件。

 

可以通过以下查询获得一些卷文件的信息：

 SQL> select file_number "File#", volume_name "Volume", volume_device "Device", size_mb "MB", drl_file_number "DRL#"

from v$asm_volume; 

  File# Volume Device               MB DRL#

------ ------ ----------------- ----- ----

   256 VOL1   /dev/asm/vol1-142  4096  257

   259 VOL2   /dev/asm/vol2-142  2048  258

   261 VOL3   /dev/asm/vol3-142  1024  260 

 SQL>

除了卷名称，设备名和卷大小以外，还显示了每一个卷设备的ASM文件编号256，259，262，以及和这个ASM文件相关的DRL文件号，例如上面输出结果中的257，258，259。

 

译者注：相当于每一个卷的创建会在ASM磁盘中产生2个文件，一个文件是其卷本身，一个是和卷相关的DRL文件。

Volume file extents

我们可以通过内部视图x$kffxp查看其中一个卷文件的区分布信息：

SQL> select xnum_kffxp "Extent", au_kffxp "AU", disk_kffxp "Disk"

from x$kffxp

where group_kffxp=2 and number_kffxp=261

order by 1,2; 

    Extent         AU       Disk

---------- ---------- ----------

         0       6256          0

         0       6256          1

         1       6264          0

         1       6264          1

         2       6272          1

         2       6272          0

         3       6280          0

         3       6280          1

...

       127       7272          0

       127       7272          1

2147483648       6252          0

2147483648       6252          1

2147483648 4294967294      65534 

259 rows selected. 

SQL>

首先要注意的是，每一个区都被做了镜像，因为这个卷是在一个normal冗余的磁盘组中。

 

我们也观察到卷文件261有128个区，卷的大小是1个G，这意味着每一个区有8MB或者说8个AU，这里的关键是每个卷文件有它自己的区大小，这一点跟标准的ASM文件不一样，它不会从磁盘组继承区大小。

 

对于ASM文件来说，在ASM 11.1版本之前，extent的大小是固定的，等于AU的大小，在ASM 11.1版本之后，出现了可变extent，可变extent的出现是为了更好的支持大数据文件，减少对ASM和数据库实例的SGA要求、提升创建文件和打开文件等操作的性能，初始化的extent大小等于磁盘组的AU_SIZE设定值，随着一个文件分配的extent越来越多，extent的size会按照4或16倍的AU_SIZE增大。这个特性在文件新建或者resize的时候自动起作用，当然ASM磁盘组的属性值COMPATIBLE.ASM 和COMPATIBLE.RDBMS要设置为大于等于11.1。

ASM based cluster file systems

我们现在可以基于上面创建的卷来在其上构建ACFS文件系统了（当然需要通过root用户来操作）:

# mkdir /acfs1

# mkdir /acfs2

# mkdir /acfs3 

# chmod 777 /acfs? 

# /sbin/mkfs -t acfs /dev/asm/vol1-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol1-142

mkfs.acfs: volume size     = 4294967296

mkfs.acfs: Format complete. 

# /sbin/mkfs -t acfs /dev/asm/vol2-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol2-142

mkfs.acfs: volume size     = 2147483648

mkfs.acfs: Format complete. 

# /sbin/mkfs -t acfs /dev/asm/vol3-142

mkfs.acfs: version         = 11.2.0.3.0

mkfs.acfs: on-disk version = 39.0

mkfs.acfs: volume          = /dev/asm/vol3-142

mkfs.acfs: volume size     = 1073741824

mkfs.acfs: Format complete. 

# mount -t acfs /dev/asm/vol1-142 /acfs1

# mount -t acfs /dev/asm/vol2-142 /acfs2

# mount -t acfs /dev/asm/vol3-142 /acfs3 

# mount | grep acfs

/dev/asm/vol1-142 on /acfs1 type acfs (rw)

/dev/asm/vol2-142 on /acfs2 type acfs (rw)

/dev/asm/vol3-142 on /acfs3 type acfs (rw)


拷贝一些文件到新创建的文件系统中：

$ cp diag/asm/+asm/+ASM/trace/* /acfs1

$ cp diag/rdbms/db/DB/trace/* /acfs1

$ cp oradata/DB/datafile/* /acfs1 

$ cp diag/asm/+asm/+ASM/trace/* /acfs2

$ cp oradata/DB/datafile/* /acfs2 

$ cp fra/DB/backupset/* /acfs3


检查使用的空间是否有变化：

$ strings /tmp/ASMspfile.backup

 $ df -h /acfs?

Filesystem         Size  Used Avail Use% Mounted on

/dev/asm/vol1-142  4.0G  1.3G  2.8G  31% /acfs1

/dev/asm/vol2-142  2.0G  1.3G  797M  62% /acfs2

/dev/asm/vol3-142  1.0G  577M  448M  57% /acfs3

ACFS disk group rebalance

我们增加一个盘到ACFS磁盘组中，由于这个操作改变了磁盘组的配置，会触发磁盘组的重平衡操作，我们观察一下重平衡操作的过程：

SQL> alter diskgroup ACFS add disk 'ORCL:ASMDISK4'; 

 Diskgroup altered. 

 SQL>


从alert 文件中获得重平衡操作进程ARB0的PID号：

$ crsctl stat res ora.asm -p | egrep "ASM_DISKSTRING|SPFILE"

$ tail alert_+ASM.log

Sat Feb 15 12:44:53 2014

SQL> alter diskgroup ACFS add disk 'ORCL:ASMDISK4'

NOTE: Assigning number (2,2) to disk (ORCL:ASMDISK4)

...

NOTE: starting rebalance of group 2/0x80486fe8 (ACFS) at power 1

SUCCESS: alter diskgroup ACFS add disk 'ORCL:ASMDISK4'

Starting background process ARB0

Sat Feb 15 12:45:00 2014

ARB0 started with pid=27, OS id=10767

...

然后通过tail命令查看ARB0进程的跟踪文件获得重平衡的过程信息：

$ tail -f ./+ASM_arb0_10767.trc 

 *** ACTION NAME:() 2014-02-15 12:45:00.151

ARB0 relocating file +ACFS.1.1 (2 entries)

ARB0 relocating file +ACFS.2.1 (1 entries)

ARB0 relocating file +ACFS.3.1 (42 entries)

ARB0 relocating file +ACFS.3.1 (1 entries)

ARB0 relocating file +ACFS.4.1 (2 entries)

ARB0 relocating file +ACFS.5.1 (1 entries)

ARB0 relocating file +ACFS.6.1 (1 entries)

ARB0 relocating file +ACFS.7.1 (1 entries)

ARB0 relocating file +ACFS.8.1 (1 entries)

ARB0 relocating file +ACFS.9.1 (1 entries)

ARB0 relocating file +ACFS.256.839587727 (120 entries) 

 *** 2014-02-15 12:46:58.905

ARB0 relocating file +ACFS.256.839587727 (117 entries)

ARB0 relocating file +ACFS.256.839587727 (1 entries)

ARB0 relocating file +ACFS.257.839587727 (17 entries)

ARB0 relocating file +ACFS.258.839590377 (17 entries) 

 *** 2014-02-15 12:47:50.744

ARB0 relocating file +ACFS.259.839590377 (119 entries)

ARB0 relocating file +ACFS.259.839590377 (1 entries)

ARB0 relocating file +ACFS.260.839590389 (17 entries)

ARB0 relocating file +ACFS.261.839590389 (60 entries)

ARB0 relocating file +ACFS.261.839590389 (1 entries)

...

我们看到重平衡的过程是针对每一个ASM文件做重平衡，这一行为跟数据库文件的重平衡是完全一致的，ASM的1-9号元信息文件首先被重平衡，ASM然后重平衡卷文件256，DRL文件257，如此继续。

 

从这一点可以看出,ASM重平衡是卷文件而不是存储在操作系统中的文件。

Disk online operation in an ACFS disk group

当ASM的磁盘offline时，ASM会创建一个staleness目录，用来跟踪这个offline的磁盘哪些区发生了变化，一旦磁盘重新online，就可以使用这些信息做一个快速的镜像同步。

 

但是这个功能在11.2版本对卷文件还是不可用的，一旦磁盘online，ASM会重建整个磁盘(offline）的上的内容。

 

但是在12.1版本以后，对于卷文件也支持了快速镜像同步功能。

Conclusion

ASM磁盘组可以被使用来构建一个通用的集群文件系统ACFS，通过在磁盘组之上创建ASM卷来做到这一点，它所暴露给操作系统的就是一个标准的块设备。

 

对于做了冗余的磁盘组来说，可以在系统级别起到保护用户文件的作用，ASM通过对于卷文件的每个区做镜像来达到数据保护的目的，卷文件有它自己的区大小，它不会从ASM磁盘组上继承区大小。

 

最后，ASM磁盘组的重平衡级别是ASM的每个卷文件，而不是操作系统级别看到的一个个的OS文件。

正文到此结束
所属分类： 编程技术

热门推荐

相关文章

阿里云首购8折
说给你听

本文目录
随机标签
书籍教程
Java入门教程 bootstrap3 CSS springboot-demo Apache基础教程 php ionic 教程 Python mysql教程 eclipse Ubuntu VPS系统配置 AngularJS 教程 Struts2教程 MongoDB教程 Redis教程 Spring教程 Git教程 Jenkins进阶系列 openfire参考指南 Java设计模式 HBase教程 Maven教程 hibernate教程 Docker 教程 memcached教程 Quartz指南 SpringCloud ANTLR教程 Hive教程 java实例教程 Ant教程 Hazelcast教程 Elastic-Job-Lite XStream教程 深入浅出MyBatis SVN教程 ibaties教程 rabittmq教程 WebService CXF学习 Hadoop教程 solr教程 JPA教程 ActiveMQ中文指南 Java内存模型 dubbo教程 Linux入门视频教程
近期评论
  1. 1 Spring Boot集成Spring AI实现快速接入openAI
  2. 2 Spring Boot集成Spring Session快速入门Demo
  3. 3 Spring Boot集成RabbitMQ快速入门Demo
  4. 4 Spring Boot集成Quartz快速入门Demo
  5. 5 Spring Boot集成Mybatis Plus快速入门Demo
  6. 6 Spring Boot集成zipkin快速入门Demo
  7. 7 能用365块大洋去解决的事，千万不要用时间
  8. 8 Spring Boot集成atomikos快速入门Demo
  9. 9 Spring Boot集成fastdfs快速入门Demo
  10. 10 Spring Boot集成Https快速入门Demo
网站信息
  • 文章总数：155,467 篇
  • 文件总数：468,744 个
  • 标签总数：2,268 个
  • 分类总数：90 个
  • 留言数量：2,542 条
  • 在线人数：691 人
  • 运行天数：4,197天
  • 最后更新：2024年04月24日22点
Loading...

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

[HBLOG]公众号 HBLOG HBLOG