1 分布式存储架构规划
随着计算机技术的飞速发展，对数据的存储和保护变得越来越重要。从软盘存储数据到磁盘存储数据，信息化数据采用Raid1、5、6、10等Raid模式保护数据；采用同城或异地容灾备份解决方案进行数据的保护；采用虚拟存储网关实现双数据中心等一系列的数据保护措施。近些年来，随着各种分布式架构技术的涌现，分布式存储技术越趋成熟，分布式存储系统由此诞生。
分布式存储系统是大量普通PC服务器通过网络互连，对外作为一个整体提供各种存储服务，主要具有横向扩展性、高性能、易用等特性。分布式存储架构一般都是基于Linux操作系统（OS）的基础，采用Hadoop、OpenStack Cinder、swift、Ceph、ClusterFS、ServerSAN、vSAN等技术，实现数据、状态信息的持久化，在自动迁移、容错、并发读写的过程中保证数据的一致性，发生故障时有很高的容错性和并行快速故障重建。这次实践中的分布式存储采用软件定义存储（SDD）方式构建存储池，对外提供存储访问服务，使用标准的iSCSI、NFS、CIFS、FTP、HTTP等协议提供存储接口，既为虚拟化架构提供块存储读写，又构建远程FTP应用，也为特殊应用提供HTTP访问模式的文件读写模式，为备份系统提供存储空间，以及为警务云盘提供各种数据的读写访问。
从分布式系统的特性出发，结合目前比较成熟的商业化软件，来合理规划警务云分布式存储架构。在分布式存储架构规划中，实践分两步走：第一步，同一数据中心中跨机柜部署，从功能方面、性能方面进行严格测试；第二步，不同数据中心跨机房部署，同样从两个方面进行严格测试。测试效果需要达到有效地进行存储节点横向扩展和数据自动同步、存储节点的挂起不影响业务的访问、快速将性能指标和故障反馈到运维界面等效果，提供块存储、文件存储、对象存储等服务。
2 分布式存储实践部署
在完成分布式存储架构规划后，开始付于实践，分两步部署并进行业务测试，在进行分布式存储规划部署中，网络在分布式存储运行过程中其中首为重要，因此在进行实践部署中，首先进行了网络规划。
从网络和服务器两个层面，分别进行跨机柜和跨机房部署，在跨机房部署中，实施难度更高，要求TCP的平均往返时延RTT（Round-Trip Time）最大5ms，最好是裸纤，数据吞吐量最低要求万兆。
（1）跨机柜部署。如图1所示，将业务网络、存储网络、管理网络区分开，让层次更加明显，避免了不同网络之间的互相干扰。网络都采用iStack堆叠，采用双链路冗余保护，数据存储服务器分别数据在3个机柜中，每机柜部署两台X86架构服务器，分布式存储控制节点2台（主备模式，配置为2颗E5-2620v3CPU、128GB内存、2×600GBSAS硬盘、2×10G万兆网口、4×1GBRJ45口、1个IPMI口），存储服务器节点6台（配置为2颗E5-2620v3CPU、128GB内存、2×240GBSSD硬盘、2×800GBSSD硬盘、24×4TBSATA硬盘、4×10G万兆网口、4×1GBRJ45口、1个IPMI口）。2块240GBSSDRaid1模式部署分布式操作系统，2块800GBSSD用于存储读写缓存空间，加速读写；剩余SATA盘，按比例划分存储空间，为自定义副本提供存储空间，从而实现跨机柜部署。
图1 跨机柜部署
（2）跨机房部署。部署可靠的网络专线，采用万兆单模光纤网络将两个数据中心网络打通，包括业务网络、存储网络、管理网络。使用TRILL、SPB、VPLS、EVI、OTV等技术基于3层的二层网络环境，本次网络部署采用华为网络的TRILL实现大二层网络。网络架构如图2所示，同一数据中心的网络交换机采用iStack部署，不同数据中心网络采用TRILL打通大二层网络，网络包括业务网路、存储网络、管理网络。分布式存储的控制节点继续采用主备模式，数据中心1部署一台分布式存储控制节点（主），同时部署服务器3台（配置同上），数据中心2部署一台分布式存储控制节点（备），同样部署服务器3台（配置同上）。操作系统安装、Raid的安装部署同跨机柜相同，而在自定义副本中，跨机房机柜内副本定义，从而实现跨机房部署。
图2 跨机房部署
3 不同业务应用性能测试
在完成分布式存储的结构部署后，为验证分布式存储高可靠性、稳定性，以及满足业务额需求，通过搭建不同业务系统进行性能对比测试，并根据测试结果，为下一阶段的部署规划提供参照依据。
分别部署Oracle数据库和WEB应用服务器。将分布式存储通过块存储直接挂在虚拟化物理主机中，在分布式存储中运行KVM云主机，分别部署Oracle Orion（Orion Version10.2.0.1.0）软件和Apache Tomcat（Version7.0）WEB应用云主机，进行性能测试。Oracle Orion通过多组测试结果得出平均值，吞吐量为230.92MBPS，IOPS为1783，IO平均响应时间为5.20ms。WEB应用通过LoadRunner工具进行访问量压力测试，LoadRunner模拟2000用户数，每秒平均点击次数2937，模拟时间24小时，平均吞吐量每秒7.81MB。
同时，对运行在分布式存储的云主机使用IOZone软件进行读写性能测试，测试结果超过根据磁盘读写理论值计算的预期值。
根据实际测试结果同Oracle普通业务要求进行对比，该分布式存储满足普通网站访问，数据存储的基本需求。
4 分布式存储与传统的存储架构的应用差异
在传统的存储架构中，FCSAN架构主要用于数据库系统和虚拟化平台，针对海量的视频、图片等数据的存储采用IPSAN、NAS架构，对数据的保护都采用Raid和热备。分布式存储采用行业标准接口（SMI-S或OpenStack Cinder）进行存储接入，数据分散，利用软件定义存储，实现对存储数据的管理、计算、监控、分析等多种功能，单节点Raid保护、节点间多副本保护，直接提供FTP、NFS、CIFS、iSCSI等存储服务。
布式存储与传统SAN、NAS存储的差异主要表现在以下5个方面：
（1）性能保障。FC SAN同分布式存储相同磁盘模式下，FC SAN由存储控制器进行读写，有Cache缓存优势，读写优势明显。在分布式存储加入SSD高速缓存后，分布式存储性能有成倍地增加，在读写速度方面可以匹敌传统的FC SAN构存储，优于NAS存储。
（2）扩展性方面。分布式存储的易扩展性优于传统FC SAN存储架构。
（3）更高的可靠性。由于分布式存储架构的分散性，数据存储在不同节点中，而且采用多副本或数据冗余比进行数据保护，确保数据安全，而传统架构存储主要是通过Raid技术进行数据保护，如果Raid组受到破坏，极易导致数据的丢失。
（4）分级存储。支持高速存储和低速存储分开部署，或者任意比例混布。
（5）易于维护。分布式存储硬件都采用X86架构，硬件故障易于排查，软件层面，利用成熟的分布式存储软件平台，实时监测所有节点软件及IO运行情况。
鉴于分布式存储的性能，将分布式存储部署划分3个等级：高性能存储级、应用存储级、数据存储级。高性能存储级由全部配置SSD盘服务器组成的集群，提供高性能IO读写的应用，比如Oracle、MySQL等数据库读写与分析；应用存储级由全部配置SAS盘服务器组成的集群，为应用系统或者WEB等应用提供IO读写；数据存储级由全部配置大容量的SATA盘服务器组成的集群，为图片、视频、文件存储等应用提供存储空间，主要体现在警用执法视频存储、车辆视频图片存储、历史归档电子文件存储，以及数据备份等应用方面。
分布式存储架构对传统独立控制器存储架构（普遍使用机械硬盘）是一个很大的冲击，可以实现块存储、文件存储、对象存储等多种功能，在普通应用领域将逐步体现出优于传统的存储架构模式，如海量数据达到PB级别时，分布式存储更加体现读写优势，为数据安全提供更加有力的保护，同时分布式架构为运维能力和技术水平提出了更高的要求标准和规范。
5 结语
综上所述，随着云计算和大数据技术的不断发展和成熟，在警务业务的不断革新的过程中，分布式存储架构将会为各种警务系统的发展提供数据保护，提供更加可靠、性能更加稳定的存储空间。
参考文献
[1]胡辉毅．云存储在公安监控中的应用[J]．中国有线电视，2015，（8）.
[2]邱旭华．浅谈云存储技术在公安领域的应用[J]．中国安防，2013，（8）.
（作者邱少杰系无锡市公安局工程师）
