虚拟存储整合技术在新疆油田公司的应用
新疆油田公司数据中心 金云华 朱玉凤 王晓军
新疆油田公司近年来逐步建立了由决策层、管理层、执行层和支撑层构成的信息化管理体系，成功地研发了油田数据管理平台、油田空间数字平台、业务流程管理平台等数字油田信息平台，
新疆油田公司虚拟存储整合技术解决方案
。同时，收集整理了自1941年以来的油田生产数据，目前拥有数据78TB，各类应用系统120套及强大的数据库服务器和应用服务器。为了实现油田数据的共享，充分发挥数据在油田各行业中的作用，各二级单位数据和应用需要逐渐实现集中管理，并对现有资源进行整合。目前，油田公司数据中心存储设备主要有4套：用于油田公司中心数据库数据存储的容量为6TB的HDS 9585；用于为地球科学和钻井系统及上游生产信息系统(A1A2系统)数据存储的容量为24TB的EMC CX700、一套IBM 3584自动带库以及一套IBM 3494自动带库。为了充分利用这4套设备资源，便于应用和管理，需要对这4套存储设备进行整合，做到统一规划、数据共享。
生产经营数据存储设备使用现状及需求分析
2004年，油田公司数据中心先后购置了一台容量为6TB的HDS 9585数据存储和三台Sun E4900数据库服务器，实现了中心数据库集群，使勘探、开发、经营、管理数据实现集中管理。
由于HDS 9585和EMC CX700存储设备相互独立，且各系统发展不均衡，导致某些系统建设之初规划了很大的容量和很高的性能，但实际运行过程中却没有那么大的需求，而另一些应用建设之初却陷入了容量和性能不足的困境，而其他系统富裕的资源却不能拿来使用，导致HDS 9585存储必须升级扩容，而EMC CX700存储资源却被闲置的局面，各存储资源不能做到统一规划，协调利用。此外，由于HDS 9585和EMC CX700存储设备厂商不同而形成了数据孤岛，资源不能互通和有效利用，同时为系统的维护管理、性能优化、故障排查、数据迁移、容灾备份等都带来极大的不便和困难。
因此，油田公司需要建设一套集中统一的高性能、高可靠性的存储平台。新平台必须能够对原有的异构存储环境进行整合，能将原有的存储设备作为新存储平台的外部存储设备，使新的存储设备和原有的存储设备形成一个统一完整的存储池，由新的存储设备进行统一管理，最大限度地发挥原有存储资源的再利用能力。同时，新的平台能够提高原有存储环境的整体运行性能，整个存储环境对各业务透明，存储平台可以根据各业务的特性和需要，灵活分配存储容量、处理能力等各种资源，确保关键业务的稳定可靠运行。借助新的存储平台，存储设备能方便扩容，各存储设备能够方便地进行无缝的数据迁移，并且实现集中的存储备份，并满足未来容灾的需要。
存储整合技术思路
在存储整合过程中，需要着重考虑以下几方面原则：
平台整合 整合不但要满足数据中心目前和未来集中存储的需要，还要对已有系统的存储环境进行最大限度地整合，实现服务器的集中访问、数据资源的集中存储和处理。
高性能 新的存储平台整合了所有的应用后，必须具备强大的处理能力，能消除原有存储设备的性能瓶颈。
可扩充性 应确保在原有的系统平台上扩展和实现新功能、新业务的增加。
高可靠性 存储平台具有高可靠性，支持服务器平台的高可用性集群技术；具备先进的容灾设计；充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力。
高可用性 在存储和其他应用系统尽量不停机的情况下，实现扩容、维护、升级等服务，提高性能以满足新的业务需求，具备7×24连续工作的能力，系统的可用性应能达到100%，可以实现磁盘数据的在线不停机备份。
可管理性 要求配置实时性能监测管理软件，可对CPU使用率、内存使用率、交换区使用情况、I/O操作、队列状态、磁盘空间、卷磁盘错误、系统事件、系统中各进程对系统资源占用等性能和操作数据等服务器性能进行实时监控、管理和调配。
技术先进性 系统设计采用当前先进而成熟的技术，不仅可以满足现实工作的需求，也应把握未来存储整合的发展方向。
虚拟化存储设计方案
根据以上分析，公司决定采用日立数据系统(HDS)有限公司企业级存储产品TagmaStore NSC55网络存储控制器或Universal Storage Platform. V(USP V)作为数据中心存储整合的核心设备，配合HDS的存储管理软件、数据快照镜像软件，形成一套完整、高效的存储整合解决方案。本项目采用SAN架构进行整个存储系统的建设，存储网络将分为服务器层、网络交换层和集中存储平台三个层次。
服务器层 需要对公司数据中心各业务系统的服务器进行改造，增加光纤通道主机卡HBA，使这些主机具有访问存储网络的能力。
网络交换层 采用Brocade企业级大吞吐量的SAN交换机，保证服务器和外部存储设备到网络存储控制器的高速连接。
集中存储平台 这是本次存储整合系统建设最核心的部分。我们采用HDS TagmaStore USP V网络存储控制器，为其配置1块前后端混合处理板，提供16个4GB的前端主机接口和8个后端磁盘接口，为其配置5GB控制缓存和16GB数据缓存，在其内部配置20块300GB FC磁盘共计6TB裸容量，作为整个集中存储环境的基础。
对于数据中心正在使用的HDS 9585和EMC CX700等设备，可以通过SAN交换机直接连接到USP V的后端，作为它的外部存储设备，通过HDS UVM通用卷管理软件，可以把外部存储设备的逻辑卷直接映射到USP V上去，由USP V统一管理和使用，而对前端服务器来说所有的工作都是透明的。通过USP V的存储整合，整个存储平台提供给服务器访问的是由USP V统一管理的存储空间，存储容量包括6TB的USP V内部容量和30TB外部容量（分布在HDS 9585的6TB、EMC CX700的24TB），最大限度地保护了油田公司的投资，同时未来可以很轻松地根据各业务的繁忙程度、数据量增长情况、性能需求等灵活地进行存储资源的再分配，真正实现数据分级存储和应用优化存储。
由于采用USP V进行了存储环境的整合，就可以很方便地通过USP V对原来异构的存储设备进行集中的数据备份和容灾。本次我们在备份中心选择IBM 3494(40TB)作为近线备份设备，可选用HDS AMS 200存储产品作为远程实时数据备份的存储设备，将AMS 200通过油田公司已有的光纤链路直接连接到数据中心的SAN交换机上，并且将AMS 200也作为USP V的外部设备来管理和使用。同时，选择HDS Insystem Replication Suite系统内数据复制套件来实现数据的快照/镜像复制，将数据中心各个业务系统的数据通过镜像的方式复制到AMS 200上进行保存，当数据中心发生故障时，可迅速从AMS 200上进行数据恢复，或直接将应用系统服务器连接到AMS 200，先恢复业务的正常运作，
电脑资料
《新疆油田公司虚拟存储整合技术解决方案》(http://meiwen.anslib.com)。项目实施：整合原有存储，形成统一平台
从附图中可以看出，以HDS USP V作为核心搭建的存储系统架构由三个层面组成：应用主机层，集中了所有的业务系统主机；核心存储和虚拟化引擎层，由HDS USP V搭建；异构存储池，由系统中的若干利旧设备，如HDS、EMC等厂商的各档存储设备组成。
上述的三层架构实现的存储优化拓展功能包括：
1．核心引擎——满足高性能及高可靠性需求。在上述三层架构中，HDS USP V智能控制器系统和磁盘子系统由HDS公司进行统一设计，传承了延续数代的高可靠性技术和高性能技术，因此完全能够担负起整个存储系统的核心指挥职能。
2．存储分区——增强数据可靠性及访问性能。目前核心关键数据保存在HDS USP V的内置磁盘上。为了进一步保证各省关键业务的存储响应时间，HDS USP V可以端口、Cache以及磁盘为单位，划分独立的存储分区，形成数个存储子系统与各业务相对应，在每个子系统内部存储资源的访问可以被相应的应用业务所独享，保证关键业务系统具有稳定的I/O服务质量。
3．存储整合——通过存储虚拟化技术实现利旧整合。在HDS USP V自带虚拟化引擎的驱动下，异构存储池被映射成HDS USP V的内部存储资源。应用主机层不必关心异构存储池的设备组成，只需使用面向HDS USP V的统一接口就能够透明的访问异构存储池资源。
4．分级存储——通过存储虚拟化技术实现数据自动分级转移部署。非关键的业务数据、以及随着时间发展重要性渐渐降低的历史数据被HDS USP V虚拟化引擎逐步迁移到异构存储池中，关键业务数据、最新业务数据在HDS USP V的自带内置硬盘空间上进行保留。
5．应急系统联机恢复——通过存储虚拟化技术实现在线应急恢复。利用HDS USP V进行数据迁移的功能，虚拟化之后的CX700作为应急系统启用后，可在主机业务运行的情况下，在线转移回到HDS USP V主存储系统，无需调度生产业务系统的停机。
6.异构系统灾备——通过存储虚拟化技术实现异构数据统一复制。HDS USP V虚拟化引擎的异构容灾技术，支持异构存储池中的任意存储设备进行远程互备，大大简化了容灾系统的部署和管理。
无缝数据迁移，真正实现数据分级存储
数据迁移是企业IT经常面对的工作，本次需要面对的是存储领域的数据迁移。在采用了HDS的USP V网络存储控制器之后，所有的数据复制问题显得非常简单。仅仅需要将原有的光纤存储设备挂接到USP V的后端，然后修改原有设备的LUN属性使得USP V能够看到外部设备，此时应用系统既可以进行数据访问，而USP V数据迁移软件可以自动在后台进行，当迁移完成后用户就可以释放外部存储设备上的空间。通过HDS的USP V网络存储控制器不但可以将外部存储设备的数据无缝平滑的迁移到内部，还可以很方便的将USP VU内部的数据迁移到外部存储设备上去或者在两个外部设备之间进行数据迁移。这样，我们就可以根据各个应用的生命周期，灵活的进行数据部署，确保最有效地存储资源分配给了最关键的业务系统，或是在业务系统最关键的反展阶段能够获得最高效的存储资源。
存储分区保证关键业务
经过对油田公司数据中心各个业务系统的运行特点进行分析，发现油田公司数据中心各个业务系统具有很大的不均衡性，某些业务可能产生的效益非常高非常关键，而另一些业务却十分低。因此，对于效益非常高的关键应用就有必要给予特别的关照，给予足够的系统资源，保证这些应用的连续不间断运行。HDS USP V的虚拟分区技术正好可以满足这一要求。
USP V独有的存储虚拟分区技术，通过选配分区软件，可以将一台USP V分成多个专用虚拟存储机，每个专用虚拟存储机都拥有专用的高速缓存、前端主机通道、后端磁盘通道、磁盘组等存储资源，可以为油田公司数据中心中最关键的业务分配独立的分区，不同分区之间可以实现完全隔离和安全保证，确保最重要的应用能够享受到最好的服务质量。如下图所示：
设备配置说明
1、数据中心核心存储平台HDS USP V：
配置20快300GB 10Krpm双活端口光纤磁盘，存储阵列物理容量共6TB，采用RAID1（2D＋2D）数据保护方式，系统可用容量为3TB
配置16GB数据缓存（Cache），5GB控制缓存
配置一对前后端混合处理板，包括16口2GB/4GB FC前端接口
配置了1对16口主机接口板，共32个2Gbps主机端口
配置1块300GB10Krpm全局热备盘
2、USP V存储系统软件：
配置Resource Manager资源管理套件，包含SAN环境下LUN安全管理的软件许可SANtinel，包含性能优化的软件许可FlashAccess
配置USP V存储系统内数据复制套件，包括ShadowImage数据镜像软件和QuickShadow数据快照软件，共15TB软件许可，可以通用于USP V内部数据卷和外部存储数据卷
Hitachi Dynamic Provisioning（日立动态配置）软件、增强型Universal Volumn Manager（通用卷管理软件）在企业级虚拟层实现了动态精细化预配置功能，使用户首次能够在一个整合的解决方案中就可同时获得外部存储虚拟化的益处，根据自身所预期的未来需求合理分配虚拟磁盘存储，而无需预先分配专用的物理磁盘存储,通过对主机的容量欺骗来实现存储容量动态的最大化利用。许可容量15TB，用于管理HDS 9585和EMC CX700和新购的AMS 200这些外部设备
3．灾备中心存储设备HDS AMS 200：
配置双控制器，2GB缓存
配置48块300GB FC硬盘或等同量SATA盘，裸容量10.8TB，采用（6D＋2P）RAID6组来进行数据保护，共计7.2TB可用容量
配置2块300GB FC硬盘或400GB SATA磁盘为为全局热备盘
整合方案具体连接方案
原有服务器的光纤连接不动,将原有的HDS9585V和EMC CX700各自的8个主机端口分别连接到HDS USP V虚拟化引擎上。将HDS USP V的16个4Gb主机端口分别连接到，原有交换机上空出的（因存储系统的端口调整到HDS USP V上）4个FC端口上。
新疆油田公司是中国西部最大的石油生产企业，隶属于中国石油天然气集团公司，主要从事准噶尔盆地及其外围盆地油气资源的勘探开发、集输、销售等业务。随着公司信息化建设的推进，新疆油田公司制订了以发展数字油田、绿色油田、人文油田为目标的发展方针。其中数字油田就是实现管理现代化，达到管理系统化、生产自动化、信息网络化、分析智能化。