华为OceanStor 18000系列高端存储系统SmartTier技术白皮书

2024年1月18日发(作者：宝沃哪个国家的汽车品牌)

华为OceanStor 18000系列高端存储系统

SmartTier技术白皮书

文档版本

发布日期

2013-7-31

华为技术有限公司

OceanStor高端存储系统SmartTier技术白皮书

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

商标声明

和其他华为商标均为华为技术有限公司的商标。

本文档提及的其他所有商标或注册商标，由各自的所有人拥有。

注意

您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。

由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。

华为技术有限公司

地址：

网址：

客户服务邮箱：

客户服务电话：

深圳市龙岗区坂田华为总部办公楼邮编：518129

support@

4008302118

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书目录

1 分级存储技术概述 ..................................................................................................................... 1

1.1 分级存储技术背景 .................................................................................................................................. 1

1.2 分级存储技术分类 .................................................................................................................................. 1

2 SmartTier的设计思路 .............................................................................................................. 4

2.1 华为智能数据分级SmartTier概述.......................................................................................................... 4

2.2 SmartTier设计思路 .................................................................................................................................. 4

3 SmartTier功能和原理 .............................................................................................................. 6

3.1 性能统计 ................................................................................................................................................. 6

3.2 性能分析 ................................................................................................................................................. 6

3.3 数据迁移 ................................................................................................................................................. 7

3.4 性能预测 ................................................................................................................................................. 9

4 SmartTier的技术特点 ............................................................................................................ 10

4.1 先进的SSD迁移优化 ............................................................................................................................10

4.2 多样的定制迁移策略 .............................................................................................................................10

4.3 灵活的精细数据管理 .............................................................................................................................13

4.4 细粒的迁移时间管理 .............................................................................................................................15

4.5 独创的分级规划预测 .............................................................................................................................16

5 缩略语表/Acronyms and Abbreviations ............................................................................. 19

华为专有和保密信息

iii

OceanStor高端存储系统SmartTier技术白皮书修订记录/Change History

修订记录/Change History

日期

20130731

修订版本

V1.0

描述

作者

张晖栋/90003861，

秦烜/204091

20131014

V1.1

更名

秦烜/204091

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 1 分级存储技术概述

1.1 分级存储技术背景

分级存储技术概述

在当今IT领域，企业和管理部门遇到的数据存储挑战往往是容量、性能和价格的要求。企业一方面面临购买的存储设备跟不上数据的增长速度，总是面临着存储空间不足带来的麻烦；另一方面，企业保存的数据越来越多，严重影响了IT系统的性能。

对企业的业务应用来讲，并不是所有的数据都具有相同的使用价值。随着时间的推移，有些数据被频繁访问，而有些数据很少被访问，有些数据甚至在最近几年内都没有被访问到。

经过科学的统计和分析发现，数据信息的使用价值是有其生命周期规律可循的。通常新生成的信息会经常被访问，使用价值高。随着时间的推移，这些新生信息的使用频率不断下降，直到多年不被访问。这种信息的使用价值也将逐年较低。这些大量的低使用价值数据既占用了高性能、高可靠的宝贵的系统资源、严重影响性能，又占用了大量存储空间，但往往这些数据又由于政策法规、数据仓库建设等原因不能删除。如何解决这些不常用的数据的保存问题，是目前企业面临的数据管理问题之一。企业通常使用备份或归档系统将长期不访问的数据从高成本的存储阵列上迁移到低成本的归档设备中。但是面对数据爆炸增长带来的大量低访问周期数据，如何解决存储问题依然面临诸多的问题：

? 缺乏对数据生命周期灵活有效的管理。数据的庞大带来管理越来越复杂，难以依靠人力将数据及时灵活地分配至合理的存储空间

? 大量低周期访问数据占用了宝贵的高性能存储介质空间，为了保证新数据的访问性能，需不断购买新的高性能存储设备扩容。

如何解决上述问题，是企业发展过程中必须要思考的问题，尤其是在IT系统建设初期，尤其要考虑好数据生命周期管理的问题。自动分级存储技术通过对数据进行迁移，将数据存放到合适的存储空间中，很好的解决了上述客户遇到的问题，越来越广泛地被应用在各行各业。

1.2 分级存储技术分类

分级存储技术通过数据迁移完成数据的分级存储。目前，分级存储技术主要分为静态迁移和动态迁移两类。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 1 分级存储技术概述

静态迁移

所谓静态迁移或手工迁移，是系统维护人员根据当前存储系统运行的状态、各个业务系统的压力情况，手动将数据从一个LUN中迁移到另外一个LUN中。这样可以使系统能达到最佳的运行状态，提升系统的资源使用效率。通常采用克隆技术、RAID组在线变更、LUN在线迁移等技术完成静态迁移的目标。

但由于静态迁移需要人工干预，会造成诸多问题：

1. 需要维护人员对各个业务系统的情况非常了解的情况下才能实施，这样增加了维护的难度；

2. 由于迁移前的实施准备周期很长，造成每次迁移耗时较长，迁移过程严重影响业务的性能；

3. 迁移是以LUN为单位进行迁移，但对于关键应用，如Oracle来讲，其热点数据与非热点数据可能在同一个LUN中，手动迁移将无法区别热点数据与非热点数据，达不到迁移效果；

因此这种技术目前在应用时并不广泛，尤其是在核心关键应用中。

自动迁移

为了能够真正提升高性能存储介质的利用率，如何让高性能存储介质能根据业务的需求自动进行分配，是业界越来越多需要考虑的问题，自动分级存储技术应用而生。

基于闪存的固态硬盘（SSD）和其他形式的介质使这个问题变得越发显著。基于闪存的介质每秒能完成的随机读取操作甚至比最快的旋转介质还多25到100倍，但是要到这样的性能，每GB的成本要高出15到20倍。这就让很多人都打算将基于闪存的介质用于处理“热”数据（高需求的活动数据），从而从这些投资中获得最大回报。

这正是自动分级存储技术的用武之地。自动分级存储技术能根据系统当前对某些文件或者块的访问频率，识别出热点与非热点数据，根据热点与非热点数据分配不同的存储介质，将频繁访问的热点数据自动迁移到高性能的存储介质中，而将低周期访问的非热点数据自动迁移到大容量，低成本的存储介质中。自动存储分级技术可以免去人工管理数据的复杂度，同时迁移粒度达到文件级或者块级，真正提高了存储系统的资源使用效率，让使用者从昂贵的高性能资源中获得最大收益，使用较少的总投资即可实现既定性能需求。

自动分级存储技术的应用可以满足多项重要需求：

1. 通过数据存放流程的自动化最大程度地减少或消除对手动数据管理的需求。目标是将繁琐的性能管理过程转变为自动完成的后台活动。

2. 通过优化昂贵存储资源的使用和节约管理员的时间降低存储和数据中心成本。对基于闪存的介质，应尽量减少需要配备的数量。此外，对许多应用程序来说，为其配置的磁盘数量不仅要考虑提供足够的容量，更要考虑实现必要的性能。如果热数据能自动迁移至性能更高的存储介质中，则不再需要这种过量配置，从而可以减少SAS磁盘数量，并使大部分数据驻留在容量更高的NL-SAS磁盘上。这将在节省电耗成本和散热成本的同时释放宝贵的机架空间。

3. 无需过量分配资源即可提高应用程序性能。大多数数据中心的最终目标就是无需为每个应用程序永久分配昂贵的资源即可获得同样或更好的应用程序性能。许多应用程序在活跃时（季度末、假期等）都有可预测的峰值，而在其他时间则活跃

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 1 分级存储技术概述

度较低。理想情况下，自动化存储分层解决方案可以应对这些峰值以及还可能发生的不可预测峰值。

4. 针对共享 IT 基础架构更好地协调存储和服务器扩展能力。高级服务器虚拟化让根据需求变化动态调整服务器资源成为可能。自动化存储分层可以提供类似等级的存储灵活性，支持动态扩展 I/O。

自动分级存储技术有望取代繁琐的手动数据管理，并使高级虚拟化和云环境大大受益。

目前自动存储分层包括基于块的，基于文件的，基于对象的。

OceanStor高端存储系统的分级存储特性简称为SmartTier（智能数据分级），是基于块的自动动态分级存储。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 2 SmartTier的设计思路

2.2 SmartTier设计思路

SmartTier的设计思路

2.1 华为智能数据分级SmartTier概述

SmartTier（智能数据分级）软件是华为公司在RAID2.0+技术之上自主研发的分级存储软件，它自动将不同活跃度的数据和不同特点的存储介质动态匹配，从而提高存储系统性能并降低用户成本。

OceanStor高端存储系统支持的存储介质包括SSD 硬盘、SAS硬盘和NL（Near Line）-SAS 硬盘。不同存储介质在存储成本和存储性能方面的差异很大，这导致用户难以在存储成本和存储性能之间权衡：

1. SSD硬盘的响应时间很短，每单位存储请求处理成本很低，但每单位存储容量成本很高；

2. NL-SAS硬盘每单位存储容量成本较低，但响应时间很长且每单位存储请求处理成本很高；

3. SAS硬盘介于以上两者之间。

经过多年的技术积累，并结合当前市场客户的实际需要，华为公司正式向市场推出了自主研发的OceanStor高端存储系统的智能数据分级软件，简称SmartTier。

在设计SmartTier时，需要考虑以下几个用户面临的普遍挑战：

? 高性能，多承载：业务多样化，业务性能要求差异化；

? 灵活性，易用性：配置便捷，自动调整数据，选择最合适的介质；

? 高效率，低功率：绿色节能，高效利用空间；

简单来说，SmartTier需要做到在合适的时间，把合适的数据放置到合适的地方。

SmartTier进行LUN级别的智能化数据存放管理，将LUN数据按照默认4MB (512KB

~ 64MB可调)的粒度划分，该粒度被称为“数据迁移粒度extent”。SmartTier以“extent”为单位，统计和分析数据的活跃度，将不同活跃度的数据和不同特点的存储介质动态匹配，并通过数据迁移将活跃度高的“繁忙”数据迁移至具有更高性能的存

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 2 SmartTier的设计思路

储介质（如SSD 硬盘），将活跃度低的“空闲”数据迁移至具有更高容量且更低容量成本的存储介质（如NL-SAS 硬盘）。

SmartTier经历的数据监控、排布分析、数据迁移三个阶段，如下图所示：

其中，数据监控、排布分析阶段由存储系统自动完成，数据迁移阶段通过用户手动触发或根据用户配置的定时策略触发。

SmartTier提高存储系统性能并降低用户成本，满足企业对性能和容量的双重需求，避免历史数据占用昂贵的存储介质，保证企业有效投入，消除无用容量带来的能耗开销，降低企业TCO，得到最优性价比。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 3 SmartTier功能和原理

3.1 数据监控

SmartTier功能和原理

SmartTier按照应用对性能的需求，将SSD，SAS和NL-SAS三种类型磁盘分别对应高性能存储层，性能存储层和容量存储层。每个存储层可以单独使用，也可以根据需要两两组合，或者三者组合在一起组成存储池提供数据存储空间。SmartTier通过性能统计、分析后，根据数据访问频率自动迁移数据。

数据监控由存储系统的I/O监控模块完成。

SmartTier允许自定义I/O监控的时间段，在指定的时间段内，对写入和读取的数据进行统计。随着数据生命周期的推移，数据的活跃度会发生变化，存储系统根据两个extent的活跃度来判断一个数据块比另一个更“热”或更“冷”。每个extent的活跃度通过统计数据块的性能指标得出。

具体实现原理如下：

? 在I/O监控时段内，对每个下发的I/O都会进行记录，为性能分析和性能预测提供用于分析的数据源。记录的信息以extent为单位，包括：读写访问频率、I/O大小，I/O顺序度等信息。

? I/O监控模块采用全内存方案实时记录系统中各个extent的I/O访问情况，每个存储控制器最大可以监控512TB的存储池空间。

? I/O监控模块按天进行I/O监控统计信息的加权操作，弱化历史业务对当前业务的影响。

3.2 排布分析

排布分析由存储系统的数据排布分析模块完成。

排布分析阶段使用数据监控数据进行性能分析，分析结果会对存储池中的每个extent排名，排名由高至低，从同一个存储池中的最热extent开始，直到最冷extent（排名仅在同一个存储池中进行），最终生成数据迁移方案。SmartTier在数据迁移之前根据最近一次生成的数据迁移方案决定extent的迁移方向。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 3 SmartTier功能和原理

具体实现原理如下：

1. 以I/O监控模块生成的每个extent的性能统计信息作为输入，根据Pool中各个Tier的容量，按照数据块的热度确定出每个Tier放置extent的I/O计数阈值（确定阈值时，按照最热的数据块放在最高性能层级的原则进行）。

2. 对大于阈值的extent进行排序，选出最热的extent优先进行迁移。

3. 在数据排布时，针对SSD的性能属性制定了相应的策略，对于SSD中变顺序的extent制定了主动下迁到HDD的策略（详细资料参考4.4章节）。

3.3 数据迁移

数据迁移由存储系统的数据迁移模块完成。

数据迁移实现存储系统冷热数据的重新分布，使得随机热点数据尽可能多的分布在高性能层和性能层，冷点数据和顺序度高的数据分布在容量层，在满足业务性能需求的前提下，最大程度降低存储系统TCO，为用户节约成本。

SmartTier有2种迁移触发模式：手动触发迁移模式和定时触发迁移模式。手动触发的优先级高于自动迁移。手动触发迁移模式可以根据需要立即触发迁移，定时触发迁移模式是根据事先设定好的迁移开始时间和持续迁移时段来自动触发迁移，可以事先设置每周的哪些天的什么时间开始触发迁移及迁移允许持续的时长。下图是个设置定时触发模式的界面：

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 3 SmartTier功能和原理

此外，SmartTier可设置高/中/低三档迁移速度，进行迁移的动态控速。其中，低档迁移速度上限为10MB/S，中档迁移速度上限为20MB/S，高档迁移速度上限为100MB/S。

基本原理：

1. 数据迁移模块根据迁移策略启动数据迁移。在用户定义的迁移时间段内，自动完成数据迁移；

2. 数据迁移模块根据数据排布分析模块生成的数据迁移方案，把数据按迁移粒度在不同的存储层之间移动，最终达到用户数据按冷热程度、顺序随机度重新排布的目的；

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 3 SmartTier功能和原理

3. 数据迁移模块根据当前存储池的负载和用户设置的数据迁移速率进行迁移的动态控速；

4. 数据迁移时，extent是迁移的最小单位，迁移过程中不影响业务数据的访问。每个extent的迁移，是从源extent中读取数据写入到目的extent的过程。在迁移过程中，读I/O访问会从源extent中读取数据，写I/O会同时写源extent和目的extent。在迁移完成后会修改源extent和目的extent的元数据，修改完成后读写I/O会访问目的extent，源extent将被释放。

3.4 预测分析

预测分析由存储系统的预测分析模块完成。

预测分析模块是基于概率学公式做出的预测，采用的都是全随机、概率相等的假设，与用户真实的业务模型会有一定差异。

SmartTier 能够检查存储池的监控数据，分析LUN级别的业务负载对称性，以兼顾性能和成本的方式，提供最佳的存储层容量策略模型。用户可以根据存储层容量策略模型调整各个存储层的硬盘配置。查看存储层容量策略模型需要首先开启性能统计功能。

其实现原理如下：

1、预测分析只对迁移策略为自动迁移的LUN进行预测分析处理。因为手动迁移为特定场景，其策略的设定并不是依赖数据的活跃程度决定数据存放的位置。

2、预测分析模块以I/O监控模块生成的每个extent的性能统计信息作为输入，根据每个数据块上的平均读写IO size，和平均读写IOPS，以及用户配置的各个层级的预测属性（RAID级别，逻辑成员盘数），使用统计学公式计算出每个数据块上落入的I/O最后形成的总硬盘读写I/O。

3、根据用户配置的各个层级的硬盘的性能属性和容量，以及前面计算出的当前Pool中所有数据块产生的硬盘读写I/O，使用试探法计算每个层级需要的对应硬盘个数，根据试探的多种组合，找出性价比最高的组合对应的容量配置比。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

4.1 先进的SSD迁移优化

SmartTier的技术特点

SmartTier不仅仅通过识别单个数据块的访问冷热度来迁移数据，还结合数据流模型和各种磁盘介质的特点，针对SSD的性能属性优化了迁移策略，最大化SSD盘的投资收益比。

使用NVRAM为基础的固态硬盘（SSD）的工作原理迥异于传统的机械硬盘，使得它具有诸多与生俱来的优势：

1) SSD盘数据存储采用电子器件，没有传统机械硬盘的高速旋转部件，所以噪音和能耗都显著降低，同时抗震能力大幅提升；

2) SSD盘数据访问采用随机访问，没有传统机械硬盘的寻到时间，访问延时约为0.1ms以内；

但是，SSD盘也有一个难以回避的缺点：每TB的成本远高于传统机械硬盘。因此，SSD盘往往应用在整个存储系统对性能要求最高的业务中。

为了更加合理的使用SSD盘，保证资本投入可以获得最大的收益，不同于普通的动态分级存储功能，SmartTier在大量实验室数据流模型试验的基础上，结合理论计算，得到了不同磁盘介质对各种数据流模型满足度的结果，即SSD盘对随机小数据的访问性能提升最显著，而顺序大数据的访问性能则使用SAS机械硬盘就基本可以满足要求，SSD盘的性价比的优势相对于SAS存储介质不那么明显。

在识别出冷热数据识别的同时，SmartTier还会在进行数据迁移前根据识别到的数据流模型，例如数据读写顺序度，数据读写块大小等因素，结合各介质不同的特点，考虑数据迁移策略。对于读比例较高的热的小数据块会优先考虑将其迁移到SSD介质上，而对于SSD介质上的顺序度变高的数据块会主动下迁到SAS磁盘上，将空余出来的SSD磁盘空间用于更能提升性能的数据流。

4.2 多样的定制迁移策略

SmartTier在同一个存储池中允许支持1~3个存储层级。其中，高性能存储层支持SSD磁盘，性能存储层支持SAS磁盘，容量存储层支持NL-SAS磁盘。根据应用业务的需求，可以任意组合。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书

高性能存储层

配置

不配置

性能存储层

不配置

配置

容量存储层

不配置

4 SmartTier的技术特点

推荐应用场景

业务要求极高的随机读写操作次数（IOPS）和极低的时延

1）业务要求较高的随机读写操作次数（IOPS）和较低的时延

2）业务要求较高的顺序读写带宽

业务要求大容量的数据存储需要，但对性能要求不高

业务要求较高的随机读写操作次数（IOPS）和较低的时延，并且有明显的热点数据分布规律（20%数据占据80%访问量）

业务有明显的热点数据分布规律（20%数据占据80%访问量），且其他80%的数据访问对性能要求不高

业务要求大容量的数据存储需要，对性能要求不高，但又有明显的热点数据分布规律（20%数据占据80%访问量）

常用配置，使用自动分配和自动迁移策略让系统自动识别热点，并自动重排数据分布

不配置

配置

不配置

配置

不配置

配置不配置配置

不配置配置配置

配置配置配置

SmartTier允许根据应用对性能的要求，设置新数据写入LUN时的初始容量分配策略，并按照策略将新写入的数据分配在相应存储层。

初始容量分配策略包括四类：自动分配、优先从高性能层分配、优先从性能层分配、优先从容量层分配。每种分配策略的作用如下：

名称说明

自动分配策略是所有存储池LUN在创建时就采用的默认设置。自动分配策略表示存储系统依次按照性能层、容量层、高性能层将LUN的新写入数据分配在存储池中。

优先从高性能层分配表示LUN的新写入数据会直接分配至高性能层，只有当高性能层无可用容量时，才会分配至其他存储层。

推荐应用场景

常用配置，不清楚业务的特征时推荐选择。

1）业务要求首次写入的时延极低；

2）业务有大量随机新数据的写入操作。

自动分配

优先从高性能层分配

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书

优先从性能层分配表示LUN的新写入数据会直接分配至性能层，只有当性能层无可用容量时，才会分配至其他存储层。

优先从容量层分配表示LUN 的新写入数据会直接分配至容量层，只有当容量层无可用容量时，才会分配至其他存储层。

4 SmartTier的技术特点

业务要求较高的性能，且高性能层需要用于更核心的热点数据访问

业务需要存储大量数据，对性能要求不高

优先从性能层分配

优先从容量层分配

此外，SmartTier还允许设置LUN的迁移策略，包括“自动迁移”、“向高性能层迁移”、“向低性能层迁移”、“不迁移”四种方式。每种迁移策略的作用如下：

名称说明

自动迁移策略是创建LUN 时采用的默认数据迁移策略。SmartTier 根据存储池中数据块的排名结果进行数据迁移。自动迁移依据I/O

监控得出的分析数据进行迁移，因此必须启用I/O 监控并设置业务监控时段后，自动迁移才能生效。

推荐应用场景

自动迁移

向高性能层迁移

向低性能层迁移

不迁移

业务数据有较明显的忙周期。冷热数据并存，并且希望自动将访问频率大的数据放到高性能层上，以便从整体上提升系统的性能。

1）业务要求响应时间、IOPS等性能很高，其数据块将被具有向高性能层迁移策略的数据块对高性能层优先迁移至高性能和性能层存储容量有第一高的优先权。当设置层和性能层，例如为向高性能层迁移的LUN 容量比高性能层OLTP 数据库；

（或性能层）存储容量更大时，相对更活跃的2）业务不管该数据的数据块将优先占用高性能层（或性能层）存储访问频率如何，一容量。

旦需要访问都要求在极短时间内得到响应。

1）业务对性能要求不不论这些LUN 是什么活动级别，SmartTier 敏感，例如文件共会将他们的数据块优先迁移至性能层和容量享服务；

层。 2）业务的数据访问频率很小

不希望LUN上的数据根不迁移策略表示SmartTier 不会迁移LUN 的据访问量在各层级自动任何数据块。只有当LUN 的数据迁移策略改迁移，只希望LUN上的变后，SmartTier 才会对LUN 进行数据迁数据保存在初始分配的移。

层级上

通过组合LUN的初始分配策略与数据迁移策略，SmartTier可以达成更加精确的设置以满足多变的业务需求。

自动分配优先从高性能层分配优先从性能层分配

1）新增数据对访问性能要求较高，且新增量1）新数据的总量不不小；

大，但首次写入2）高性能层需要要求快速响应；

用于更频繁访2）访问频率高的数问数据的存据要求有更高的储；

性能

3）访问频率高的数据要求有更高的性能

优先从容量层分配

自动迁移

常用配置，不清楚业务的特征时推荐选择。

1）有大量新增数据需要存储，对访问性能的要求不高；

2）访问频率高的数据要求有更高的性能

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书

业务对性能的要求极高。如果优先从高性能层分配且高性能层上可用空间充足时，这种策略和“不迁移”的效果一样；如果高性能层上空间不足时，LUN的初始分配空间就会分配在高性能层和性能层，“向高性能层迁移”策略可以使性能层上的数据最终会被迁移到高性能层上。

业务首次写入时要求极短的响应时间，尤其是大量随机小数据的写入，但是后期数据的访问频率很低

业务要求不论数据是否频繁访问，一旦对数据有读写操作，都需要有极短的响应时间，尤其是对随机访问的小数据

4 SmartTier的技术特点

向高性能层迁移

不清楚业务的特征，但希望尽可能使用高性能层以提升业务性能

业务要求较高的性能，一旦高性能层N/A

有空闲的空间，就（不建议这样配置，实将访问频繁的数据际意义不大）

迁移到高性能层已提高性能。

向低性能层迁移

业务的首次写入对性能要求不明确，但后期数据的访问频率很低

不迁移

N/A

（不建议这样配置，实际意义不大）

业务首次写入时要求较短的响应时N/A

间，或者较高的带（不建议这样配置，实宽，但是后期数据际意义不大）

的访问频率很低

业务要求不论数据是否频繁访问，一业务只是要求能够大量旦对数据有读写操存储数据，对数据的访作，都需要有较短问没有性能上的要求

的响应时间，或者较高的带宽

4.3 灵活的精细数据管理

SmartTier将LUN数据按照一定粒度划分，该粒度被称为“数据迁移粒度extent”。数据迁移过程中，存储池以extent为单位识别数据活跃度并将整个extent迁移至其他存储层。

数据迁移粒度的作用范围是单个存储池，取值范围为512KB～64MB，默认值是“4MB”。数据迁移粒度设置后不可更改。

数据迁移粒度越小，存储资源的使用效率越高，因为此时，冷数据“跟随”热数据或最活跃数据进行迁移，并毫无益处地耗费存储资源的可能性也越小。但是，这并非意味着较小的数据迁移粒度总是适合所有业务环境，例如流媒体业务、视频监控业务。推荐采用的最佳做法是使用默认值4MB。

当业务数据大小的平均值比较小，且对于迁移的速度没有强烈要求时，设置时建议采用较小的extent，这种情况下热点识别的准确性较高，存储资源的利用率也比较高。当业务数据大小的平均值比较大，或者希望需要迁移数据尽快完成，设置时可以采用较大的extent。如果业务数据大小的平均值比较小，采用的extent粒度又比较大，这种情况下非热点会随着热点进行迁移，非热点也会占用一部分高性能的存储介质，从而导致存储资源不能得到合理的利用。如果业务数据大小的平均值比较大，采用的extent粒度比较小，这种情况下热点数据的迁移不能在短时间内完成，从而导致SmartTier的优势不能在短时间内得到发挥。

除了迁移粒度的选择，SmartTier还提供迁移速度的配置。数据迁移速率用于控制存储层之间数据迁移的处理进度。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

数据迁移速率的作用范围是所有存储池，包括“高”、“中”、“低”，默认值是“低”。数据迁移速率设置后可以更改。

? 高：每小时数据迁移量约为300 GB ～ 350 GB

? 中：每小时数据迁移量约为60 GB ～ 72 GB

? 低：每小时数据迁移量约为30 GB ～ 36 GB

当数据迁移速率为“高”时，SmartTier将以尽可能快的速度迁移尽可能多的数据。由于数据迁移会产生一定的后端开销，这可能使I/O 响应时间变长，具体取决于需要迁移的数据量。但是，各个存储层之间的数据迁移将会在较短时间内完成。

当数据迁移速率为“低”时，不会影响I/O 响应时间，但完成数据迁移可能需要较长时间。

下图显示了某存储池在相同业务负载下，在高性能层和性能层之间对相同数据量实施数据迁移，当数据迁移速率分别为“高”、“中”、“低”时，I/O 响应时间的变化情况。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

当业务处于繁忙状态时，推荐采用的最佳做法是设置较保守的数据迁移速率（“低”）。

当业务处于空闲状态时，可以将数据迁移速率设置为更激进的级别（“中”或“高”），这将允许SmartTier更快速、动态的针对业务负载的细微变化做出调整。SmartTier还会自动检测系统当前负载，并根据系统负载，动态调整迁移速度。

4.4 细粒的迁移时间管理

SmartTier可根据用户业务场景特点对每个存储池设置业务监控时段和数据迁移的时段。

? 业务监控时段

业务监控时段指SmartTier进行统计I/O的日期和时间范围。定义业务监控时段旨在区分存储池处于业务空闲状态和业务活动状态的时间段，并仅统计业务活动状态时间段的性能指标。

业务监控时段的作用范围是单个存储池，默认情况是全天候统计性能指标。用户可以将其定义为每周的某些天及某时间段。开启IO监控后，SmartTier在数据迁移时间段内，每一小时一次对性能统计数据进行性能分析。业务监控时段设置后可以更改。推荐采用的最佳做法是使用默认业务监控时段。如果多个应用程序处于活动状态，但它们处于活动状态的时间各不相同，则默认业务监控时段也应保持不变。

如果应用程序很长时间将处于非活动状态，或应用程序在某时间段产生的IO不是用户的主业务（例如后台备份、数据同步），则业务监控时段应排除该时间段，以排除该IO数据对冷热数据识别的影响。

可以通过设置迁移触发模式指定数据迁移的时段，迁移触发模式的作用范围是单个存储池，包括“手动”和“定时”两种方式，默认方式是“手动”。手动方式可在任一时刻设置时间段进行数据迁移，定时方式只能在预先设置的时间段进行数据迁移。迁移触发模式设置后可以更改。

用户可以根据业务特点对每个存储池进行业务监控时段和数据迁移时段的配置，达到既保证监控到有效的业务活动时性能又能在对主业务影响较小的时间段内完成数据迁移的效果，最终保证系统性能在主业务时间段内达到最好。例如用户主业务是每天的8：00~18：00，用户可以设置监控时段为每天的8：00~18：00，设置定时触发模式，定时触发的时间为这个时间段外的其他时间段，例如1：00~4：00，这样的配置既能监控到用户的主业务，准确识别出用户主业务的热点数据，又能在用户主业务时间段外完成数据迁移，使数据迁移对用户主业务的影响达到最小。

? 迁移触发模式

迁移触发模式用于指定启动数据迁移的方式。迁移触发模式的作用范围是单个存储池，包括“手动”和“定时”两种方式，默认方式是“手动”。手动方式可在任一时刻设置时间段进行数据迁移，定时方式只能在预先设置的时间段进行数据迁移。迁移触发模式设置后可以更改。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

当重新配置存储池时，例如新增加一个存储层，或当LUN 属性改变且新属性需要被立即实现时，或当活跃数据随时间不断变化且在较长时间内在各个存储层均衡分布时，用户可能需要手动启动数据迁移。手动启动数据迁移时，SmartTier 首先对当前性能统计数据进行性能分析，并根据该性能分析结果决定数据块的迁移方向。

如果使用定时方式，需要预先设置数据迁移时间。数据迁移时间用于指定允许SmartTier在各个存储层之间进行数据迁移的日期和时间范围。手动方式或定时方式下，SmartTier 数据迁移均作为低优先级任务在存储系统后台运行。

在迁移时段内，如果迁移任务已完成，当以下两种情况发生时，SmartTier 会立即再次启动数据迁移：

? 向存储池中扩容了新的层级。

? 修改了LUN 的迁移策略。

推荐采用的最佳做法是将数据迁移时间设置在业务空闲状态时间段，例如每天凌晨1

点～ 4 点。

不论使用手动方式或定时方式，数据迁移时间段内（例如数据迁移时间为凌晨1 点～

4点，持续3 个小时）SmartTier 可能发生下一次的每一小时一次的性能分析（例如凌晨2点），且此时SmartTier 根据上一次性能分析结果（凌晨1 点）正在进行的数据迁移未全部完成。该下一次性能分析会将未完成迁移的数据块与其他数据块一起重新排名，SmartTier 将根据该最新排名继续进行数据迁移。

4.5 独创的分级规划预测

SmartTier可根据用户业务场景特点对每个存储池设置业务监控时段和数据迁移的时段。

SmartTier提供的配置预测分析功能可以根据检查结果提供兼顾性能和成本的存储层容量策略模型。

确定最佳的存储层容量策略的方法是检查存储池的业务负载对称性。

各个存储层的存储容量总和即为存储池的存储容量。最理想的存储层容量策略是各个存储层的存储容量比例为1：1：1，因为该策略允许将各个存储层100%的数据升级或

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

降级至其他任一存储层。但在实际应用中该策略通常并不合适，由于某些原因可能需要限制访问某个特定存储层。

例如，为防止单一应用程序消耗所有SSD 硬盘资源，限制高性能层存储容量可能是合适的。这种情况下，推荐使用包含较小比例的高性能层存储容量策略。同样，某些应用程序短时间内会进入非活动状态，存储系统将其数据识别为冷数据而迁移至容量层。当这些应用程序再次处于活动状态时，可能只能使用最低级别的存储层性能。对于此类应用程序，推荐使用包含较小比例的容量层存储容量策略。

确定最佳的存储层容量策略的方法是检查存储池的业务负载对称性。业务负载不对称定义了随着时间推移数据使用的不对称，表示存储池上占较小百分比的数据可能正在为大多数业务负载提供服务。

按照业界有名的二八理论， 80%的访问数据集中在20%的空间上，所以对于大部分业务，真正的热点只占总数据量的20%。分级存储预测功能是通过对用户当前业务负载特点的分析，将负载高的数据预测分配到高性能层或者性能层，将负载非常低或者完全为0的数据预测分配到容量层，在满足用户当前业务性能需求且保证总价格最低的情况下，给出用户存储池中的所有业务数据在各层分布最合理的预测比例，以指导用户后续进行合理的配置。预测分析的功能不受实际pool配置的层级数的限制，即使只有1层的pool也可以进行预测分析。

下图显示了某存储池的存储层容量策略模型。该策略模型包括了各个存储层的存储容量推荐比例、推荐比例下各个存储层的IOPS和带宽。

华为专有和保密信息

OceanStor高端存储系统SmartTier技术白皮书 4 SmartTier的技术特点

华为专有和保密信息

缩略语表/Acronyms and Abbreviations

表5-1 缩略语清单

英文缩写

SSD

TCO

LUN

RAID

SATA