虚拟存储技术在流媒体管理系统中优势与缺陷

　　摘要：虚拟存储是存储技术发展的重要方向之一。目前虚拟存储技术取得了很大进展,很多产品化的解决方案已经出现。就虚拟存储技术在流媒体管理系统中不同应用来分析两种典型虚拟存储结构各自的优势与缺陷。

　　关键词：虚拟存储; 媒体资产管理; 应用;

　　Abstract：

　　Virtual storage technique can extend existing data management policies to meet changing and increasing storage requirements,it has made great progress since being put forward.There are many products and solutions.This article describes differently applications on the virtual storage technology in the media property management system,and analyzes the advantages and characters for two kinds of typical virtual storages structure.

　　Keyword：

　　Virtual Storage;Media PropertyManagement;

　　引言

　　虽然虚拟存储技术已经有了很长的发展历史,但目前人们对其关注程度正不断加强。从SUN公司提出的“存储就是计算机”这句口号很容易可以了解其原因。虚拟存储技术可以解决海量信息科学管理的需求,可以解决提高存储空间利用率的需求,同时能够满足屏蔽异构操作环境的需求和自动与智能存储管理的需求。因此,虚拟存储不已仅仅是研究机构和产品开发商所关注的领域,也成为了各个与数据信息存储相关行业所关注的焦点。

　　时至今日,虽然对虚拟存储的研究已经得到了长足的发展,应用也越来越普及,但是仍然没有制定出一个统一的标准,各个厂商对虚拟存储的看法和理解也各有不同。综合各方观点,大致可以得出:虚拟存储是指将不同类型的存储物理媒介和不同层面的存储子系统通过软硬件技术转化到统一的用户存储应用界面的技术。它实际上是逻辑化存储,是一种高效、智能地管理数据的方式。它对实际设备进行逻辑化处理,并将逻辑视图呈现给用户,既可充分利用设备的优势,又可克服设备的局限性。目前,虚拟存储技术主要应用于企业级存储用户和存储网络。它对硬盘驱动器、RAID、磁带库和光盘库等存储设备进行虚拟,使用户能够在存储容量、性能、可靠性、连通性和易管理性方面更随心所欲地使用存储系统。

　　1 虚拟存储的实现方式

　　下面,我们从虚拟化存储的实现方式上来分析不同的虚拟存储技术:

　　1.1 主机级虚拟存储

　　外部设备都被转化成连续顺序的逻辑存储区间。设备的逻辑视图在服务器上实现,除了容量大小,其他的物理存储属性都被屏蔽。用户可利用虚拟管理软件对它们进行管理,最终将实际设备转化为逻辑卷的形式使用。此种虚拟存储技术的优点是可在不需要硬件支持的条件下实现形式多样的存储管理,如多种级别的软阵列。它还可以通过集群技术将共享存储空间扩展到多台服务器。这对于改善存储系统的可管理性,提高存储的安全性和可靠性很有益处。其缺点是扩展性差,调度工作会影响服务器的应用性能。

　　1.2 设备级虚拟存储

　　设备级虚拟技术包含两个方面。一个是对存储设备物理特性的仿真,它主要包括磁盘仿真技术和磁带仿真技术。磁盘仿真技术主要指利用磁带设备仿真实现磁盘设备的技术。管理软件将磁带介质视作线性连续的逻辑块区间,并利用它来构建虚拟磁盘。在读写时,程序将发往虚拟磁盘的I/O命令调度到磁带驱动器执行。这种处理方式可以通过增加磁带容量的方式来扩展磁盘存储容量,从而降低存储系统的成本。磁带仿真技术主要指利用磁盘存储空间仿真实现磁带设备的技术。管理软件将磁盘设备的逻辑块空间视作线性连续的字节流空间,或者磁带设备支持的大小可变的块空间,并将它划分为多条磁带进行处理。由于磁盘设备的I/O速率比磁带设备要快得多,因此它可以加快磁带备份的速度。这种方法有利于提高磁盘或者磁带的利用率,但是技术还不太成熟,仍有许多问题需要研究。设备级虚拟技术的另一个方面是实现虚拟存储设备。它可将磁盘驱动器、RAID、SAN设备等组合成新的存储设备。由于虚拟化管理软件嵌入在硬件实现,可提高虚拟化处理和虚拟设备I/O的效率。例如可利用压缩算法的嵌入式处理模块,对写入/读出存储设备的数据进行压缩/解压处理,从而既增大了设备的存储容量,又提高了存储设备的I/O速率。可在内部集成高性能的I/O通道控制器和Buffer/Cache模块实现I/O操作的并行处理和缓冲调度。

　　1.3 网络级虚拟存储

　　网络级虚拟存储通过在主机、交换机或路由器上执行虚拟化模块实现。网络是实现虚拟存储中最具有逻辑含义的部分,被认为能实现最为“开放”的虚拟化。当管理费用成为关注的焦点时,网络级虚拟方法要比通过纯软件实现的主机级虚拟方法好得多。主机级虚拟方法需要在每台主机上安装、配置和维护软件,其费用取决于共享存储的主机数量,因而在投资和管理上都比较累赘。网络级虚拟存储可以提供一种中央虚拟化方式将网络中的存储资源集中起来进行管理,仅需要少量的管理人员。

　　三种虚拟存储技术可以单独使用,也可以在同一个存储系统中配合使用。对于一个大型的存储环境,综合应用三种虚拟方法能发挥整体优势,取得最好的效益。

　　2 虚拟存储系统特点及应用分析

　　目前我国的虚拟化存储尚处在应用阶段。虽然还没有到自主开发的阶段,但是技术应用已经达到了一个比较高的层次。虚拟化存储在许多领域得到了深入的应用。下面就该技术应用相对比较广泛和深入的电视节目存储系统做一具体介绍和分析。随着数字化技术在电视领域不断深入的应用,电视节目数字化程度不断提高,对节目存储的需求也产生了很大的变化,目前各电视机构新建的新闻资源共享系统和节目非线性编辑网络系统都着重使用了虚拟存储技术。随之而来的流媒体管理系统更是在虚拟存储基础上建立的海量节目数据信息管理共享系统。

　　下面分别就两种基于不同结构的虚拟存储系统在流媒体管理系统中的应用进行分析。

　　图1 基于对称式存储器池结构

　　2.1 基于对称式存储器池结构

　　如图1所示,虚拟存储的控制交换设备直接存在于服务器和存储设备之间,用运行在虚拟存储控制设备中的管理软件来管理和配置所有的存储设备,组成一个大型的存储池,其中的若干存储设备以一个逻辑分区的形式被系统中所有的服务器访问。

　　该结构的优点在于:

　　a.虚拟存储控制设备有多个数据通道与存储设备连接,多个存储设备并发工作,所以系统总的存储设备访问速度可以达到较高的水平。b.设备非常集中,因此系统的安装和管理非常简便。c.存储设备对主机是透明的。

　　图2 基于SDD的媒体资产网络结构

　　但是,这种结构也有它的不足之处,主要体现在以下几个方面:

　　a.所有服务器对存储设备的访问都要经过控制交换设备的通道。控制交换设备容易成为整个系统的带宽瓶颈。b.数据传输和控制设备在整个系统中是一个单点失效点,它的故障将导致整个系统的瘫痪。c.系统扩展性相对较差。

　　在该流媒体管理系统的设计中大量地使用了IT技术。其中大容量、高速共享存储网络、虚拟存储技术及分级存储管理技术是组成该存储子系统的核心技术。由于媒体数据存储共享系统中视音频资料所具有的巨大数据量,使得存储子系统的成本问题显得十分突出。SDD(SAN Data Director,简称SDD)是一种新型的集中存储设备,它的核心技术是SAN技术,其实质是对称式虚拟存储技术。它将交换、缓存、RAID、I/O、ASIC以及数据和文件的管理集于一身,并可以完成数据和网络的管理,为数据交换提供高带宽、高容错的集中存储访问。SDD内部有二个完全相同的组件,称之为HSTD(High Speed Traffic Directors)。每个HSTD有四个100MB/s带宽流量的数据交换端口,称之为HOST。一个SDD拥有二个HSTD的800MB/s带宽。HOST端口可直接与服务器、工作站相连,也可与光通道交换机相连。每个HSTD还有一个60芯的数据总线用于和硬盘阵列相连完成数据交换。SDD具有5GB容量的数据缓存能力,为整个系统读写公用,从而保证大量数据的持续读写性能。如图2是使用IBM存储服务的基于SDD的媒体资产网络结构图。

　　2.2 非对称式虚拟存储技术

　　非对称式虚拟存储技术又称通道外虚拟存储技术。如图3所示。主要通过软件手段实现虚拟存储控制,其虚拟存储控制器独立于数据传输通道之外,数据和控制信息在传输通道上分离虚拟存储控制器不直接参与数据的传输,运行在其上的虚拟存储控制软件对存储设备进行统一管理和配置并形成逻辑存储单元和存储设备映射表,任何服务器在初始化时,均要通过虚拟存储控制器获得存储设备的映射表并实现对虚拟存储单元的访问。

　　非对称式虚拟存储系统的优点:

　　a.可将不同物理硬盘阵列进行逻辑组合以实现虚拟存储,并可将多个硬盘阵列控制器端口绑定提高系统的可用带宽。b.在交换机端口数量足够的情况下,可在一个网络内安装冗余备份的两台虚拟存储设备。c.系统配置非常灵活,具有较高的开放性和可扩展性。d.系统的安全性较高,虚拟存储控制器位于数据传输通道之外虚拟存储控制器出现故障,不会引起存储系统的数据传输通道阻塞。e.由于服务器通过连接设备直接访问存储设备,因此存储虚拟化后不会带来任何延迟。f.存储系统对于操作系统和应用系统都是透明的,因此存储系统的管理比较方便。

　　但是非对称式虚拟存储系统也存在着一些缺点:

　　a.由于虚拟存储控制器保存有存储设备信息映射表,如果虚拟存储控制器发生故障,则新加入设备无法获得映射表,无法访问存储系统。b.需要FC光纤通道接口卡来实现与存储设备的数据读写。c.该方案本质上属于磁盘阵列群结构一旦磁盘阵列群中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径失效,都会导致相应的虚拟存储控制器离线并丢失其数据。d.可用带宽的提高通过磁盘阵列端口绑定来实现,因此很难实现几百兆以上的可用带宽。e.由于不同品牌或型号的磁盘阵列的性能不完全相同,出于虚拟化的目的将不同品脾或型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。

　　结束语

　　虚拟存储是存储技术发展的重要方向之一。目前,虚拟存储技术取得了很大进展,很多产品化的解决方案已经出现。通过对虚拟存储技术特征的分析,有助于我们更好地理解虚拟存储技术,并为我们在流媒体管理系统的应用设计中提供有益的帮助。

　　参考文献
　　[1]吴卫东.存储虚拟化技术[C].中国电影电视技术学会论文,2004.
　　[2]张江陵,冯丹.海量信息存储[M].北京:科学出版社,2003.
　　[3]谭毓安,曹元大.SAN存储虚拟化技术[R].NCIS2002第十二届全国信息存储学术会议.
　　[4]S2A9500 WHITE PAPER,Data Direct Net-works,2005.
　　[5]王萌,郑雪峰.一种使用存储代理机制的非对称虚拟存储系统[J].微计算机信息,2006.