RDMA详解_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
上传于|0|0|暂无简介
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩3页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢1291人阅读
InfiniBand相关技术（30）
本文是转载文章:原文网址
这两天了解了一些 parallel file system 比如 PVFS2/OrangeFS,& Lustre，它们都声称支持 InfiniBand 网络连接技术，好奇之下查了下，发现这个技术规范很牛逼，另外也因此知道了 RDMA 技术，指不通过 OS 内核以及 TCP/IP 协议栈在网络上传输数据，因此延迟非常低，CPU 消耗非常少。
两篇讲述 InfiniBand 的趣文：
关于Infiniband的一些介绍 InfiniBand：还会有多少人想起我？
看起来 InfiniBand, FibreChannel, 10Gbps Ethernet 竞争的硝烟还有一阵日子可看。
有好几种规范来达到：
InfiniBand: 这是正统，InfiniBand 设计之初就考虑了 RDMA，InfiniBand 从硬件级别保证可靠传输;: 基于 TCP or SCTP 做 RDMA，利用 TCP or SCTP 达到可靠传输，对网络设备的要求比较少;: 基于 Ethernet 做 RDMA，消耗的资源比 iWARP 少，支持的特性比 iWARP 多，需要FCoE做可靠传输。从wikipedia的评价看 RoCE 还是比正统的 InfiniBand 差点。
上面三种实现都是需要硬件支持的，IB 需要支持 IB 规范的网卡和交换机，iWARP 和 RoCE 都可以使用普通的以太网交换机，但是需要支持 iWARP 或者 RoCE 的网卡。软件上 Solaris、Linux、Windows 都有支持，在 API 层面这篇文章有个入门的介绍：，可以使用http://www.openfabrics.org/提供的 libibverbs 库(Debian Linux 有提供)，这个库似乎也支持 Windows 上的原声 RDMA API &Network Direct&。另外也有一些其它 API 规范，比如
组织制定的 kDAPL(让 kernel driver 可以访问 RDMA 功能) 和 uDAPL(让 user space 进程可以访问 RDMA 功能), OpenGroup 制定的 IT-API 和 RNICPI:
另外 IETF 制定了 iSCSI Extensions for RDMA(iSER) 和 SDP(Sockets Direct Protocol, 基于 RDMA 替换 TCP 的流式传输层协议, RDMA 本身提供了可靠传输机制) 两个协议。Java 7 引入了对 SDP 的支持:
，Apache Qpid 消息队列也支持 RDMA： .
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：1374884次
积分：21795
积分：21795
排名：第324名
原创：579篇
转载：257篇
译文：296篇
评论：44条
文章：21篇
阅读：10326
阅读：10736
文章：35篇
阅读：33840
文章：28篇
阅读：36561
文章：83篇
阅读：97533
(1)(25)(15)(33)(14)(37)(37)(38)(44)(25)(15)(50)(20)(15)(5)(3)(15)(31)(47)(28)(31)(19)(20)(23)(43)(17)(43)(41)(59)(34)(81)(22)(22)(21)(4)(5)(28)(87)(2)(2)(10)(11)(1)(1)(7)英特尔白皮书：扩展全球最流行的处理器架构_滚动新闻_科技时代_新浪网
不支持Flash
英特尔白皮书：扩展全球最流行的处理器架构
通过不断为计算机架构添加新的功能，协助业内企业提供具有较强性能及丰富特性的高级应用，英特尔在创新方面的经验可谓源远流长。从最初的英特尔8086 处理器，到英特尔酷睿2 双核处理器中的追加 SIMD 流指令扩展 3(Supplemental SSE3)技术，英特尔始终领导着业内最流行、使用最广泛的计算机架构 ― 英特尔架构的功能的不断扩展。秉承上一代产品的创新特性，英特尔架构的最新扩展将构成 SSE2 出现以来最具影响力的指令集，它表明英特尔在快速推出产品的道路中将实现又一次重大飞跃，未来数年，英特尔将提供具有强大性能、丰富功能，以及高能效特性的优异产品。
这些新指令构建于现有的 Intel(R) 64 指令集架构(ISA)之上，并支持在所有规模的市场中推出微处理器，从而为广泛的 32 位和 64 位应用提供卓越的性能和出色的能效表现。这些新指令包括：
*SIMD 流指令扩展 4 (SSE4)
对于大多数应用而言，这种指令提供的构建模块具有更出色的能效表现，可提供更为广泛的能力和更强大的性能。
*应用目标加速器
将为目标应用提供低延迟、低功耗、固定功能等能力奠定坚实的基础。
在英特尔宏伟的发展蓝图中，这些指令的出现代表了下一代芯片工艺和处理器架构的性能已经提高到了一个全新高度。包括图形、视频编码和处理、三维图像、游戏在内的诸多应用及 Web 服务器和应用服务器都将从中收益。此外，许多高性能应用也将受益于这些指令，如数据采掘、数据库、复杂搜索和模式匹配算法、音频、视频、图像和数据压缩算法、解析和基于状态机的算法以及其他更多应用。
本白皮书将简要介绍 ISA 的相关知识，并对 SSE4 矢量化编译器和媒体加速器、高效加速字符串和文本处理以及应用目标加速器等新指令进行说明。
引领指令集新变革
英特尔利用 ISA 使其微体系结构更强大，同时在各代处理器之间保持了必要的应用级兼容性。保持指令集兼容性的有力证明就是英特尔(R) 酷睿(TM)2 双核处理器。这款处理器采用了与前代英特尔(R) 奔腾(R) D 处理器几乎相同的 ISA 版本，尽管二者的内部设计不尽相同，但英特尔(R) 酷睿(TM)2 双核处理器却具有应用级兼容性。几乎所有构建用于支持英特尔(R) 奔腾(R) D 处理器的应用无需任何更改，即可运行于英特尔(R) 酷睿(TM)2 双核处理器之上。更妙的是，几乎所有运行于英特尔(R) 酷睿(TM)2 双核处理器上的应用都能够获得卓越的性能，并拥有出色的能效表现。与英特尔制程技术与微体系结构一样，英特尔指令集也在持续演进，并保持着稳步的发展步伐。对于每一次新演进：
1. 英特尔对现有的指令进行了更新，使其从最新的微体系结构改进中获得最大优势，且无需任何更改即可为现有应用带来更强大的性能和更出色的能耗表现。
2. 此外，英特尔还推出新指令集，专门用于优化广泛的现有应用和新应用的性能，并满足降低功耗的需求，为了高效地利用这些新指令的优势，还需要利用英特尔及其他厂商提供的最新编译器对现有应用进行重新编译。(如欲了解详细信息，请访问/software)。
微体系结构和指令集架构
为了认识到这新指令的优势，您需要了解在开发当今微处理器过程中所使用的不同架构及其所发挥的作用。
* ISA 是与编程有关的整体计算机架构的组成部分，包括本地数据类型、指令、寄存器、寻址模式、中断和异常处理以及外部 I/O。此外，一个 ISA 还具有一个根据特定微处理器设计而实施的操作代码规范(机器指令)。在处理器家族中，通常，随着新指令的加入，ISA 的功能愈加强大，并将提供更卓越的性能、拥有更出色的能效表现，同时还保持了与现有应用的兼容性。
*微体系结构是指芯片中 ISA 的设计、布局与实施，其中包括整体的模块设计、内核、执行单元和类型(如浮点型、整数分支预测及 SIMD 等)、流水线、高速缓存设计以及外围设备支持等。在处理器家族中，通常，随着新指令的加入，微体系结构的性能、能效与功愈加强大，同时还保持了与ISA 的兼容性。
英特尔在 ISA 方面的领先优势已扩展至广泛的操作系统价值链中，这些操作系统包括， Microsoft Windows* 和 Vista*、UNIX*、Linux* 以及目前的Macintosh*。我们将继续致力于为行业扩展 ISA：
*通过扩大行业价值链的支持范围，在所有操作系统上确保架构的一致性。
*为 32 位和 64 位扩展提供统一的方案，以便实现出色的技术创新。
*在开发新指令的过程中听取软件开发商和独立软件厂商(ISV)的意见，以便帮助开发商与我们展开更轻松愉快的合作，从而走向成功。
*确保现有应用正确运行、应用性能更出色。
*确保使用新指令的应用正常运行，且应用性能和能效表现更出色。
*英特尔 ISA 保留了非分段特性，并作为一项标准加以执行，从而简化了 ISV 团队的工作流程，与其它架构厂商相比，英特尔在 ISA 方面具有领先优势。
ISA的发展进程
开发人员知道，通过增加同时处理的指令数量，他们可缩短应用用于代码请求(多个处理器周期处理数据)的时间。长期以来，英特尔鼓励这种代码实践，以便帮助提高整体的处理器吞吐率。英特尔很早就开始推行前瞻性计划，旨在通过开发特定的指令集来提高英特尔处理器运行的应用的性能，其中包括面向8086 芯片的浮点型(FP)指令集扩展。最近的开发的相关技术包括单指令、多数据流(SIMD)和英特尔(R)MMX(TM) 技术。英特尔开发出的 SIMD 技术相当出色，通过使用同时在多个数据段上运行的特定的指令，可在 P5 微体系结构上提高并行性。采用英特尔(R) MMX(TM)技术指令集，程序员能够在加载至 MMX 技术寄存器中的多个数据元素上运行指令，在诸如图形、游戏、视频流及其它媒体应用中，这些寄存器可提供出色的性能。在 P6 微体系结构中，英特尔介绍了 SIMD 流指令扩展(SSE)。专为英特尔(R) 奔腾(R)III 处理器而设计的 SSE 扩展了 MMX 技术，并支持利用 128 位寄存器(称为 XMM0-XMM7)在四个单精度 FP 数据元素上同时执行 SIMD 计算。借助英特尔(R) NetBurst(R) 微体系结构(英特尔(R) 奔腾(R) 4 处理器)，英特尔推出了 SSE2，进一步扩展了 SSE(和 MMX 技术)。通过扩展 MMX 技术和 SSE 的指令，SSE2 能够并行执行更多计算，并可为 128 位整数和双精度 FP 数据类型提供支持。SSE2 共添加了 144 条能够在广泛的应用上提升性能的指令。
例如，在执行算法并提升 MPEG-2 视频、MP3、3D 图形等更多软件性能的过程中，SSE2 指令可为软件开发人员提供最大程度的灵活性。
下面是 英特尔架构(IA)指令集共3页。 英特尔架构(IA)指令集
英特尔推出面向不同市场领域和应用而优化的 ISA。这使我们能够为各种 64 位和 32 位配置提供最全面的领先解决方案。
*IA-64 专门用于最高端的服务器和计算应用，这类 ISA 面向英特尔(R) 安腾(R) 处理器家族。
*Intel(R) 64 专门用于运行 64 位计算主流应用的客户端或服务器。这类 ISA 面向：
C英特尔(R) 至强(R) 处理器
C英特尔(R) 酷睿(TM)2 双核处理器
*IA-32 专门用于仅运行 32 位主流应用的客户端。这类 ISA 面向：
C采用引脚 FC-PGA2 的英特尔(R) 赛扬(R) 处理器和英特尔(R) 奔腾(R) 处理器
C超低压处理器
C英特尔(R) 酷睿(TM) 双核处理器
需要注意的是 Intel(R) 64 是一种 64 位 ISA，同时也是 IA-32 ISA 的超集并能够之其兼容。这种更新的 ISA 还支持处理器运行最新编写的 64 位软件。此外，与 32 位软件相比，这类 ISA 还支持访问更大容量的内存。
基于 90 纳米制程的英特尔(R) 奔腾(R) 4 处理器采用了SSE3。与 SSE2 相比，SSE3 又添加了 13 条 SIMD 指令专门用于提升线程同步和 x87-FP 数学特性等。现在，英特尔(R) 酷睿(TM) 微体系结构中已添加了 SSE3 的改进指令集 ― 追加 SSE3(Supplemental SSE3)。追加 SSE3 指令集包含于英特尔(R) 至强(R) 5100 处理器(面向服务器和工作站)与英特尔(R) 酷睿(TM)2 双核处理器(面向笔记本电脑和台式机)之中，添加了 32 个包括执行对齐和乘加操作在内的新操作码，从而获得了大幅的性能提升。
面向英特尔架构的 SSE4
自 SSE2 出现以来，SSE4 是英特尔推出的范围和影响最大的 ISA 指令扩展集。SSE4 具有几个编译器矢量基元，以增强媒体性能，并提高创新的字符串处理指令的效率。预计从 2007 年生产基于 45 纳米英特尔微体系结构的处理器开始，这些新指令将出现于大部分市场领域中，包括台式机、笔记本电脑和服务器中。
英特尔与包括独立软件开发商 (ISV)和操作系统厂商(OSV)在内的合作伙伴通力协作，共同致力于开发 SSE4，并将其作为一项新指令集标准。我们为满足广泛的 ISV 需求，专门为其提供了出色指令集，以便充分利用英特尔微体系结构的独特能力、性能和功耗优化其软件。
SSE4 的一系列创新指令，主要分为两类：
*SSE4 矢量化编译器和媒体加速器
*SSE4 高效加速字符串和文本处理
构建于英特尔(R) 酷睿(TM) 微体系结构之上
向多核处理的移植打开了微体系结构和指令集创新之门，通过创新可进一步提高性能和能效表现。其中一个微体系结构的实例是基于英特尔(R) 酷睿(TM) 微体系结构的英特尔(R) 高级数字媒体增强。这一改进可在执行 SSE 指令时显著提升性能，并加速执行包括视频、语音和图像、照片处理、加密、金融、工程设计和科学应用等多种应用。英特尔(R) 高级数字媒体增强特性支持这些 128 位指令以每个时钟周期一次的吞吐率完全执行，从而有效地将这些指令的执行速度提高了一倍(与前代相比)。从这个实例中可以看出微体系结构和指令集是如何相互取长补短、协同工作，从而充分利用软件优势的。
在设计和实施高性能和能效的 ISA 扩展(如 SSE3 和追加 SSE3)的过程中，英特尔初战告捷。利用几种能够提高性能并降低广泛应用功耗的创新技术，这些新扩展指令对英特尔(R) 架构的能力进行了扩展。
SSE4 矢量化编译器和媒体加速器
SSE4 添加了几种新的编译器矢量化原语(compiler vectorization primitives)(可执行更加复杂的运算中的基本运算)，从而通过支持以性能优化、降低功耗为目标生成代码来扩展英特尔架构的能力。充分利用这些改进的编译器矢量化基元的编译器，将能够为包括媒体和高性能计算(HPC)服务器应用在内的广泛应用提供巨大的优势。
新编译器矢量化基元包括改进的整数和浮点型运算，支持Packed DWORD 和 QWORD 运算、单精度 FP 运算、快速的寄存器运算、性能优化的内存运算及更多运算。借助这些指令，图像处理、图形及视频处理、2-D/3-D 生成、多媒体、游戏、内存密集型工作负载、HPC 工作负载等应用性能将得到大幅提升。
共3页。 SSE4 高效加速字符串和文本处理
SSE4 可提供最新的字符串和文本处理指令，这些指令将提高字符串和文本处理的运算的性能，从而增强广泛的数据处理搜索及其它文本应用的性能。此外，这些指令还将包括高级压缩字符串对比指令(advanced packed string comparison instruction)，这样一条指令可执行多种比较和搜索运算。总体而言，每一种新指令都具有丰富的创新字符串处理能力，足以在运算中替代前一代 ISA 中的指令，且能够提供相同的功能。
将从中获益的应用包括：数据库、文本搜索、病毒扫描、字符串处理库(如 ZLIB)、令牌解析(Token parsing)/识别应用(如编译器和面向状态机的应用)。
应用目标加速器概述
应用目标加速器可扩展英特尔(R) 架构的能力，通过在处理器芯片上增加性能优化、低延迟、低功率的固定功能加速器，使应用的性能获得大幅提升。这类加速器是在处理器中更出色实施固定功能能力的最初演进成果。 如果45 纳米向 32 纳米芯片技术的演进将使晶体管支持更多内核和高速缓存，这样还可支持芯片上固定功能的实施。在处理特定应用过程中，这些出色的能力将会实现性能提升，并带来出色的能效表现。
应用目标加速器的首要功能是在数据完整性应用中加速循环冗余校验(CRC)的计算过程。这种新的 CRC 指令将能促使基于处理器的 CRC 操作更快，能够以低于独立专用芯片的成本实现高效的数据完整性校验，比如在网络小型计算机系统接口(iSCSI)、远程直接内存存取(RDMA)等上层数据传输协议中 CRC 能力往往是整个系统的瓶颈所在，在任意的用户环境联网存储中，基于处理器的 CRC 操作将支持高数据传输速率的企业级数据保障。否则，服务提供商不得不得在系统中安装非常昂贵的且耗电的加速卡来确保性能。凭借基于英特尔(R) 酷睿(TM) 微体系结构的多核处理器的强大性能，新的 CRC 指令将加速目标网络协议(如 iSCSI 和 RDMA)的性能，且无需添加任何成本。这有助于广泛实施基于低成本存储域网络的 iSCSI 解决方案。此类网络可作为主要的可选方案来替代更加昂贵的光纤信道网络，并可使众多企业以较低成本即可解决数据存储问题。
此外，英特尔的应用指令扩展集可提供高效加速相关大型数据集搜索的单指令 POPCNT，该指令用于计算数据对象中的位的数目。基因挖掘、手写识别、数字化健康工作量和汉明距离/人口快速计算等应用都可因执行该指令而获得性能的提升。
自 SSE2 出现以来，作为最大范围、最具影响力的 ISA 扩展指令集，SSE4 和应用目标加速器标志着英特尔指令集已达到了一个重要的里程碑，借助该指令集，英特尔将推出具有更卓越性能、更出色能效表现的产品，并将在未来利用可扩展功能实现更大价值。英特尔凭借其在英特尔架构指令集扩展领域的领先优势及不懈努力，为提高广泛软件的性能、功效和能力铺平了持续发展的道路。借助 SSE4 和应用目标加速器，英特尔将继续与 ISV 团队通力协作，致力于提供指令集扩展，使这些指令集真正提高产品性能，从而为我们的客户带来实际的优势(从提高性能到显著节约成本)。共3页。
【】【】【
【】【打印】【】
不支持Flash
ChinaByte的其他文章
不支持Flash
不支持Flash君，已阅读到文档的结尾了呢~~
SCSI+RDMA协议在InfiniBand网络上的实现与应用 ...
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
SCSI+RDMA协议在InfiniBand网络上的实现与应用
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口1.测试环境 centos6.4 x86-64 gluster-3.4 qemu-1.5.2 机器: 192.168.1.100:glusterfs+kvm 192.168.1.101-103:glusterfs 2.Glusterfs存储集群部署 先部署好glusterfs集群,部署教程参考这里/kisops/blog/151073 gluster集群部署完毕后,创建一个volume用于存放vm镜像 gluster volume create v
RDMA technology analysis 1 What is RDMA 1.1 in the traditional sense of the DMA - - Direct Memory Access (DMA) mode is a completely hardware I / O to exchange work. In this mode, DMA controller from the CPU take over control of the bus, the data exch
RDMA over TCP protocol stack Analysis of work process As network bandwidth and speed of development and migration of a large amount of data the data needs of network bandwidth growth rate is much higher than when processing network traffic necessary
引言:开源存储软件Ceph和Gluster能够提供相似的特性并且能够为用户节省不小的开支.那么谁更快?谁又更易用呢? 开源的Ceph及Red Hat旗下的Gluster都是成熟的技术,但兴许不久之后就将经历某种重生了.随着存储产业开始向扩展性存储及云的方向发展,将不断会有基于这些低价的软件技术的产品推向市场,而对这些自集成解决方案的补充在近一年来不断涌现. Ceph与Gluster在原理上有着本质上的不同.Ceph基于一个名为RADOS的对象存储系统,使用一系列API将数据以块(block).文
相信很多公司和乐视一样,本就不充足的研发队伍,由于种种历史和政治原因,在同一个领域里充斥了大量类似的开源项目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统.今天就凭着印象,聊一聊这四种分布式存储的不同. 1.HDFS 其实在真正搞过分布式文件系统的人看来,HDFS不能算得上是真正的文件系统.因为他实在太简单,太粗糙.甚至连搞个append接口都搞了老半天,到现在应该还不支持随机读写之类的文件系统最基本的功能.他最大的优势是借助hadoop这个生态系
Not to mention entry directly from the entry after the start. . . Source Installation 3.2. Glusterfs this stuff from the 3.0.8 already started on the pitiful document, to 3.2 are they to show a little bit. . Do not attach importance to this feeling g
GlusterFS 网站 : http://www.gluster.org/ Gluster 是一个集群的文件系统,支持 PB 级的数据量.GlusterFS 通过 RDMA 和 TCP/IP 方式将分布到不同服务器上的存储空间汇集成一个大的网络并行文件系统. 授权协议: GPL/LGPL 开发语言: C/C++ 查看源码>> 操作系统: Linux
云计算时代,IOE适应不了云计算的弹性横向扩展.于是,计算与存储又重新统一,美其名曰软件定义存储.研究机构Wikibon将其定义为Server SAN. 4月30日,Red Hat宣布1.71亿美元收购Ceph开发商Inktank,加上2011年收购的Gluster,Red Hat已经将两大著名开源分布式文件系统纳入旗下.Nutanix和VSAN在虚拟化中大行其道,更是把分布式存储推到了风口浪尖,Server SAN一时间成为了高大上的东西.为什么会出现这番场景?分布式存储说来也不是新奇玩意,2
在你配置glusterfs的volume之前,你需要先创建一个由存储服务器组成的可以信任的存储池,glusterfs服务必须运行在每一台加入存储池的服务器上. 加入一台服务器到可信任存储池 命令:gluster peer probe server-name 在GlusterFS-Server1上加入两台服务器到存储池中,在GlusterFS-Server1上不需要设置加入自己,只需要设置要加入进来的服务器.在加入进来的服务器上会看到GlusterFS-Server1的. gluster peer
大数据时代的到来已经不可阻挡,面对数据的爆炸式增长,尤其是半结构化数据和非结构化数据,NoSQL存储系统和分布式文件系统成为了技术浪潮,得到了长 足的发展.非结构化数据目前呈现更加快速的增长趋势,IDC研究报告分析指出,到2012年非结构化数据将占到数据存储总量的80%以上.集群NAS是一 种横向扩展(Scale-out)存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可.从EMC对ISILON.HP对IBRIX. DELL对Exanet等收购事件,以及IBM推出SONAS.NetA
1. Glusterfs简介 GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端.GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据.GlusterFS基于可堆叠的用户空间设计,可为各种不同的数据负载提供优异的性能. 2. Glusterfs特点 2.1 扩展性和高性能 GlusterFS利用双
在glusterfs中,gluster与glusterd通信请求对卷的操作.集群的操作.状态的查看等:glusterd与glusterfsd通信完成对卷的操作,集群的操作,状态的查看:glusterfs与glusterfsd通信完成文件的存储.所有这些通信都是通过内部的RPC模块来完成的. 有关RPC的相关概念.协议等这里不展开描述,有兴趣的可以看看这两篇文章(1, 2). ========================================= 从代码的组织来看,RPC的服务端逻辑上
Q: 常用的命令有哪些? 创建volume: gluster volume create NAME stripe SCOUNT replica RCOUNT transport TYPE BRICKLIST NAME为volume的名字:SCOUNT,RCOUNT分别为stripe,replica的个数:transport为传输类型(tcp/rdma):BRICKLIST为brick列表,具体形式为HOME:PATH 启用volume: gluster volume start NAME 停用v
(WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 [X] 前提条件 服务器列表: 192.168.1.84 hbase84 #hbase-master 192.168.1.85 hbase85 #hbase-regionserver,zookeeper 192.168.1.86 hbase86 #hbase-regionserver,zookeeper 192.168.1.87 hbase87 #hbase-regionserver,z
Gluster Lustre Ceph Moose File System MogileFS Ceph NFS pNFS Lustre look better than good-looking document, the file system to form a set of evaluation indicators, qualitative and quantitative. Qualitative indicators Flexibility HA Quantitative indic
Description: By providing unlimited capacity, continuous availability and transparent application, DB2 pureScale reduce the risk and cost growth. DB2 pureScale on IBM Power Systems technology combines PowerHA pureScale, UNIX or x86 systems in the del
(Form can not be displayed in text mode, please download the attachment to see details) install and configure multi-node gluster_NFS performance comparison A deployment topology 1.1 Gluster deployment topology 1.2 NFS deployment topology 1.3 Descript
What is iSCSI iSCSI (Internet Small Computer System iSCSI = Interface) was developed by the IEETF network storage standard, the purpose is to use the IP protocol to connect storage devices. IP transmission over the Internet through the SCSI commands
I found that has been misunderstood, I always thought the distributed indexing and distributed search are two different things, in fact, is the same. The index is distributed across multiple computers, not that just a distributed search? Since the in
Description: By providing unlimited capacity, continuous availability and application transparency, DB2 pureScale reduce the risk and cost growth. DB2 pureScale on IBM Power Systems combines PowerHA pureScale technology, on a UNIX or x86 systems deli
ZeroVM 网站 : http://www.zerovm.org/ ZeroVM是第一个专门为云设计的虚拟机管理程序.当前架构的云是支离破碎的,因为它依赖于一个已经逐步消失的世界(客户端/服务器模型世界)里的虚拟机管理程序来进行设计.因此,我们构建了ZeroVM. ZeroVM 是一个开源轻量级虚拟化平台,基于 Google Native Client 项目,提供如下优势: 速度: 现在最快的虚拟机服务器至少需要2分钟来创建,而 ZeroVM 只需不超过 5 毫秒 隔离: ZeroVM 是首个
摘要:近日,有关存储系统选型的问题在微信群里讨论的火热,CSDN在这里稍微将各位专家的问答总结了一下,分享给大家.文章内容来源大数据基础社区微信群,参与讨论的专家有李明宇,李东升,吴朱华,刘爱贵等. 近日,有关存储系统选型的问题在微信群里讨论的火热,CSDN在这里稍微将各位专家的问答总结了一下,分享给大家. 文章内容来源大数据基础设施微信群,参与讨论的专家有中国科学院软件研究所工程师,C3核心成员李明宇,国防科学技术大学教授,CCF大数据专家委员会委员李东升,云人科技联合创始人兼CEO吴朱华,M
[编者按]Docker是PaaS供应商dotCloud开源的一个基于LXC 的高级容器引擎,源代码托管在 GitHub 上, 基于Go语言开发并遵从Apache 2.0协议开源.Docker提供了一种在安全.可重复的环境中自动部署软件的方式,它的出现拉开了基于云计算平台发布产品方式的变革序幕.为了更好的促进Docker在国内的发展以及传播,我们决定开设&深入浅出Docker&专栏,邀请Docker相关的布道师.开发人员.技术专家来讲述Docker的各方面内容,让读者对Docker有更深入的了解
以前,C和C++是低延迟环境事实上的选择,但现在Java使用的越来越多了. InfoQ有幸邀请到了这个领域的四位专家,跟他们一起讨论是什么推动了这一趋势,在这种情况下使用Java有哪些最佳实践. 与会者名单: Peter Lawrey是一位对低延迟和高吞吐量系统很有兴趣的Java顾问.他曾为多家对冲基金.交易公司和投资银行提供过服务. Martin Thompson是一位高性能和低延迟方面的专家,具有二十多年的大规模事务处理和大数据系统的工作经验,涉足过汽车.博彩.金融.移动和内容管理等领域.
保密本就是数据中心行业的惯例.2014年11月,我独自去拉斯维加斯(Las Vegas)南部参观SuperNAP数据中心.下车后,几次试图用手机拍建筑外景,迅速被开着悍马巡逻的警卫阻止.进门等候预约时段,虽说在美国警卫持枪是再平常不过的事,但警卫室里那几位严阵以待.随时准备应付劫匪的架势,仍令我印象深刻.参观数据中心内部不允许拍照是行规,不过之前我参观数据中心都有专人陪同,还没享受过这么戒备森严的待遇. 图注:SuperNAP 7数据中心的接待室,我在这里等了20多分钟,得以观察小窗子里面的警卫
GlusterFS Hadoop Plugin 网站 : /gluster/glusterfs-hadoop 该插件使得 Hadoop 可以使用 GlusterFS 作为后端的存储系统. 授权协议: Apache 开发语言: Java 操作系统: Linux
最近在负责公司内部私有云的建设,一直在思考怎么搞云计算,怎么才能够把云架构设计得好一些.本文尽量全面的列出了云架构建设和选型的考量因素. 我们主要从五个层面逐步评估云架构的建设和选型,分别是: 行业生态 企业需求 云计算的能力 潜在的挑战 如何建设 一.行业生态 计算机云经过多年的发展,由一开始的概念,慢慢发展成熟并能够推向市场,提供多种多样的服务,市场空间非常之大. 在云的发展过程中,亚马逊经过多年的深耕积累,发展成为了云行业的标杆企业,甚至可以说是建立了云解决方案的标准.之后,Google.
简介: Linux 内核 3.3 版本于 2012 年 3 月正式发布(紧接着,版本 3.4 也于 5 月份发布了).除了针对大量小功能和 bug 进行修复之外,这两个版本也进行了一些很重要的更改,包括 Google Android 项目的合并.Open vSwitch 的合并.一些网络改进(包括组合网络设备),以及各种文件系统.内存管理和虚拟化的更新.探讨版本 3.3 和 3.4 中的重要更改,并提前了解未来 3.5 版本 中将进行的更改. Linux(R) 内核版本 3.3 和 3.4 包括一个
小公司和大企业都将可以使用Windows Server 8来建立自己的云服务.微软公司的一份白皮书揭示了应用即将发布的服务器操作系统来构建IaaS平台的细节. 在通过 Windows Azure平台提供PaaS云服务和两个SaaS解决方案--Office 365及Dynamics CRM Online--之后,微软准备提供另一新选择,为希望建立自己的私有IaaS云的客户提供基于Windows Server 8的解决方案.除Windows Server之外,这个解决方案还使用了AppFabric和
web站点服务中,我们除了存在面向用户的服务功能外,往往也存在大量的后台离线的相关计算任务,如对前端的异步操作数据队列进行定期处理,对数据库中的数据进行汇总挖掘,监控,转储,对中间数据的进一步运算处理等等--一个web服务站点的背后,往往存在大量对应的后端处理任务的功能模块,用于支撑正常的业务功能系统. 在一个web站点的初始阶段,我们可能只需要有一台服务器,容纳部署所有的业务功能,包括了面向用户的前端web服务功能,数据存储,后端离线处理业务功能.随着站点的业务功能越来越多,用户访问数的增加以
本文将简单介绍Java 7 SDK里引入的Java套接字直接协议(Sockets Direct Protocol,SDP),这项新技术是个非常激动人心的突破.如果要对InfiniBand的远程直接内存存取(Remote Direct Memory Access,RDMA)进行native访问,SDP就能让超高性能计算(Ultra High Performance Computing,UHPC)社区在这种不常见的场景下使用Java通用的特性和优势.RDMA为低延迟应用提供了一种协议,可以直接访问其
Exadata是什么? 在我们看来,它是一个把硬件和软件根据合理的配置整合在一起的Oracle数据库(在本文编写时是11gR2版本)平台.Exadata数据库机器包含了存储子系统,在存储层上运行着研发的新软件,这使得研发人员可以做一些在其他平台上无法完成的事情. 实际上,Exadata一开始是以一个存储系统形式诞生的,如果你跟参与研发此产品的人交谈,你经常会听到他们称存储组件为Exadata或者是SAGE(StorageApplianceforGridEnvironments,网格环境存储设备)
介绍 随着CPU和通讯处理速度的不断加快,10Gbps.100Gbps的逐步普及,传统的I/O标准和系统,例如PCI.Ethernet.Fibre Channel可能已经无法跟上脚步.因此如何将旧有的设备或产品升级为高速的通讯系统,正是IT从业者目前普遍苦恼的问题. InfiniBand标准(简称IB)的出现就是为了解决PCI等传统I/O架构的通讯传输瓶颈.该标准采用点对点架构,提高容错性和扩展性,在硬件上实现10Gbps的数据传输(每个独立的链路基于四针的2.5Gbps双向连接),采用虚拟通道
导语:美国科技博客BusinessInsider近日对红帽CEO吉姆·怀特赫斯特(Jim Whitehurst)进行了采访,怀特赫斯特称,如今开源应用几乎无处不在,科技公司.银行和股票交易所等都是使用.没有开源,谷歌和Facebook根本不可能继续存在. 红帽CEO吉姆·怀特赫斯特(Jim Whitehurst) 以下为采访实录: 问:当人们问&Linux是什么&时,你怎们回答他们? 答:Linux可以说是用户驱动创新的首个典范,创造了如此规模和数量的内容.想想它1000多万行的代码就
从VT-x到VT-d Intel虚拟化技术发展蓝图
09:57:39 标签: Intel 虚拟机 虚拟化 VMware VT-x 作者:IT168评测中心 Lucifer
[IT168评测中心]当前非常热门的Virtualization虚拟化技术的出现和应用其实已经有数十年的历史了,在早期,这个技术主要应用在服务器以及大型主机上面,现在,随着PC性能的不断增长,Virtualization也开始逐渐在x86架构上流行起来. 虚拟化技术将各种资源虚拟出多
Name corosync.conf - corosync executive configuration file Synopsis /etc/corosync.conf Description The corosync.conf instructs the corosync executive about various parameters needed to control the corosync executive. Empty lines and lines starting wi
最近打算了解一下GulsterFS文件系统,实验环境如下安排: 服务端由四台DELL 1950服务器构成 客户端由一台DELL 1950服务器构成,在GlusterFS文件系统中服务端也可以充当客户端的. 以下所有软件都在五台服务器上安装: apt-get install flex bison 安装一些会用到的库,由于GlusterFS需要使用Fuse,所以还得安装Fuse: wget http://nchc.dl.sourceforge.net/project/fuse/fuse-2.X/2.
前一篇已经介绍了在创建一个volume之前应该做的准备工作,本篇直接开始创建Replicated Volumes,在创建复制卷之前,先关闭上一篇开启的分布式卷test-volume.我在同一个客户端挂载两种类型的卷时卡在终端了. 创建Replicated Volumes(复制卷) 复制卷会在卷中复制存放在bricks中的文件,至于复制几份是可以设置的,复制卷一般用在要求高可用和高可靠的环境中.在创建复制卷时,bricks的数量应该等于replica数. 创建复制三份的复制卷 gluster vo
创建Distributed Striped Volumes,分布式的条带卷,既有分布式的特性又有条带卷的特性. 在Distributed Striped卷中,条带数据在集群中横跨两个或多个节点,分布式条带数据一般用在需要高性能和扩展存储的环境中.在创建分布式条带卷时bricks的数目必须是数倍的条带数目. 创建一个分布式条带卷,横跨四台存储服务器,stripe为2 gluster volume create Distribute-Stripe stripe 2 GlusterFS-Server1
创建Distributed Replicated Volumes 分布式的复制卷,bricks的数目应该数replicate的数倍,在扩展存储和高可靠性的环境中可以使用. 创建横跨4台机器,replicate为2的分布式复制卷 gluster volume create Distribute-Replicated replica 2 GlusterFS-Server1:/Distributed-Replicated GlusterFS-Server2:/Distributed-Replicate
这一篇讲解构建 Striped Volumes:条带式卷.Striped Volumes类似于raid0, stripe数等于volume中组成bricks的存储服务器数.文件分成数据块,以Round Robin方式写到bricks中,性能比较高. 创建Striped Volumes 创建横跨三台服务器的条带卷 gluster volume create Striped-volume stripe 3 GlusterFS-Server1:/opt/Striped GlusterFS-Server
调整volume的参数 命令:gluster volume set VOLNAME OPTION PARAMETER Expanding Volumes 你可能想在线扩展卷的大小,例如:你想给分布式的卷中增加brick,以增加卷的容量.注意:当你给分布式复制卷和分布式条带卷中增加bricks时,你增加的bricks的数目必须是复制或者条带数目的倍数,例如:你给一个分布式复制卷的replica为2,你在增加bricks的时候数量必须为2.4.6.8等. 先把你想加入的存储服务器加入可信存储池中:
需要使用两台服务器作gluster replication server端,同时把server端当client端 server1 10.10.10.10 server2 10.10.10.11 进入server1 root下 sudo -s 分别在两台服务器上添加 vim /etc/hosts 10.10.10.10 server1 10.10.10.11 server2 cat /etc/hosts 127.0.0.1 localhost 10.10.10.10 server1 10.10.1
RFC 3720 - Internet Small Computer Systems Interface (iSCSI) //iSCSI RFC 3721 - iSCSI Naming and Discovery //iSCSI 命名与发现 RFC 3722 - String Profile for iSCSI Names //iSCSI 命名的字符串分析 RFC 3723 - Securing Block Storage Protocols over IP //IP上的安全块存储协议 RFC
原创作品:http://manual./858 在OpenStack第一天文档翻译后,丁丁努力坚持每晚抽时间翻译OpenStack官方网站提供的安装与部署指南,本文翻译自官方安装与部署指南的前四章内容,前四章内容主要是对OpenStack整体安装步骤以及设计搭建环境进行概述,并未提及具体安装步骤,但对环境的设计与构思以及安装需求还是需要大家了解的.希望尽快写完第三天文档(安装认证服务). 目录: 一.安装步骤概述 二.OpenStack术语 三.
过去一直以为GlusterFS和GFS为同一个东西,真是惭愧.昨天一同事用到才发现它是个好东西! 安装很简单,在所有存储服务器上执行: yum -y install glusterfs glusterfs-server chkconfig glusterd on service glusterd start 将存储节点组合成一个集群,笔者以18节点为例.只需要在任一个节点执行: gluster peer probe agent21.kisops.org gluster peer probe ag
集群NAS与集群文件系统的区别 发布日期: 集群NAS: 集群(Cluster)是由多个节点构成的一种松散耦合的计算节点集合,协同起来对外提供服务.集群主要分为高性能集群HPC(High Performance Cluster).高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster).集群NAS是指协同多个节点(即通常所称的NAS机头)提供高性能.高可用或高负载均衡的NAS(NFS/CIFS)服
开源社区开发出了一系列工具来帮助人们来应对数据存储.数据管理和数据安全方面的问题.今天我们来谈谈其中58个最好的开源工具.它们包括标准硬件上面的NAS配置工具和SAN应用,备份工具,同步工具,RAID工具等. 如果你觉得还有一些没有提到的开源存储项目,请在评论栏提出. NAS/SAN 软件 1.Ceph Ceph将自己描述为&分布式对象存储和旨在提供高性能.高可靠性和扩展性的文件系统&.它建立RADOS上,允许企业使用经济的存储设备来搭建企业级的存储方案.操作系统:Linux 2.Fr
1. 基本概念 (1) brick:The brick is the storage filesystem that has been assigned to a volume. (2) subvolume:A brick after being processed by at least one translator. (3) volume:The final share after it passes through all the translators. (4) translator:A
1. 相关命令 添加peer: gluster peer probe Host (Host为peer的主机名) 删除peer: gluster peer detach Host 查看peer状态: gluster peer status 2. 大概流程 添加删除节点大概流程简单来说就是:gluster向glusterd建立tcp连接,并发送rpc请求:glusterd收到请求后,与远端节点的glusterd通信执行具体的动作:最后回复gluster最终处理结果. 再细一点(以添加peer节点为例
Copyright (C) , All Rights Reserved.
版权所有 闽ICP备号
processed in 0.127 (s). 11 q(s)
