新書推薦:
《
西班牙内战:秩序崩溃与激荡的世界格局:1936-1939
》
售價:HK$
217.8
《
基于鲲鹏的分布式图分析算法实战
》
售價:HK$
108.9
《
夺回大脑 如何靠自己走出强迫
》
售價:HK$
65.8
《
图解机械工程入门
》
售價:HK$
96.8
《
中文版SOLIDWORKS 2024机械设计从入门到精通(实战案例版)
》
售價:HK$
98.9
《
旷野人生:吉姆·罗杰斯的全球投资探险
》
售價:HK$
75.9
《
世界巨变:严复的角色(王中江著作系列)
》
售價:HK$
110.0
《
宋初三先生集(中国思想史资料丛刊)
》
售價:HK$
217.8
|
編輯推薦: |
冬瓜哥对技术的追求已经到了痴狂的境界,与10年前相比,文笔解析更为到位,技术理解更为精准。其公众号的每篇文章,都是存储业界风向标。
|
內容簡介: |
全书分为:灵活的数据布局、应用感知及可视化存储智能、存储类芯片、储海钩沉、集群和多控制器、传统存储系统、新兴存储系统、大话光存储系统、体系结构、IO协议栈及性能分析、存储软件、固态存储等,其中每章又有多个小节。每一个小节都是一个独立的课题。本书秉承作者一贯的写作风格,完全从读者角度来创作本书,语言优美深刻,包罗万象。另外,不仅阐释了存储技术,而且同时也加入了计算机系统技术和网格技术的一些解读,使读者大开眼界,茅塞顿开,激发读者的阅读兴趣。
本书适合存储领域所有从业人员阅读研习,同时可以作为《大话存储终极版》的读者的延伸高新资源。
|
關於作者: |
冬瓜哥(张冬),现任某半导体公司系统架构师,著有《大话存储》系列图书。存储领域技术专家和布道者。
|
目錄:
|
目 录
第一章 灵活的数据布局 ·1
1.1 Raid1.0和Raid1.5 ·······2
1.2 Raid5EE和Raid2.0 ······4
1.3 Lun2.0/SmartMotion ·13
第二章 应用感知及可视化存储智能 ··········23
2.1 应用感知精细化自动存储分层············25
2.2 应用感知精细化SmartMotion 27
2.3 应用感知精细化QoS 28
2.4 产品化及可视化展现31
2.5 包装概念制作PPT ····43
2.6 评浪潮“活性”存储概念······49
第三章 存储类芯片 ······53
3.1 通道及Raid控制器架构 ··········54
3.2 SAS Expander架构 ···60
第四章 储海钩沉 ··········65
4.1 你绝对想不到的两种高格调存储器····66
4.2 JBOD里都有什么·····70
4.3 Raid4校验盘之殇 ·····72
4.4 为什么说Raid卡是台小电脑 ··73
4.5 为什么Raid卡电池被换为超级电容 ····74
4.6 固件和微码到底什么区别······75
4.7 FC成环器内部真的是个环吗 ·76
4.8 为什么说SAS、FC对CPU耗费比TCPIP 以太网低 ·······77
4.9 双控存储之间的心跳线都跑了哪些流量···········78
第五章集群和多控制器 ············· 79
5.1 浅谈双活和多路径···80
5.2 “浅”谈容灾和双活数据中心(上)82
5.3 “浅”谈容灾和双活数据中心(下)87
5.4 集群文件系统架构演变深度梳理图解96
5.5 从多控缓存管理到集群锁····107
5.6 共享式与分布式各论············115
5.7 “冬瓜哥画PPT”双活是个坑 ···········118
第六章传统存储系统 · 121
6.1 与存储系统相关的一些基本话题分享·············122
6.2 高端存储系统江湖风云录!133
6.3 惊了!原来高端存储架构是这样演进的!·····145
6.4 传统高端存储系统把数据缓存集中外置一石三鸟·······155
6.5 传统外置存储已近黄昏········156
6.6 存储圈老炮大战小鲜肉········166
6.7 传统存储老矣,新兴存储能当大任否?·········167
第七章次世代存储系统 ··········· 185
7.1 一杆老枪照玩次世代存储系统··········187
7.2 最有传统存储格调的次世代存储系统·············192
7.3 最适合大规模数据中心的次世代存储系统·····203
7.4 最高性能的次世代存储系统206
7.5 最具备感知应用能力的次世代存储系统·········214
7.6 最具有数据管理灵活性的次时代存储系统·····225
第八章光存储系统···· 237
8.1 光存储基本原理·····238
8.2 神秘的激光头及蓝光技术····244
8.3 剖析蓝光存储系统·249
8.4 光存储系统生态·····253
8.5 站在未来看现在·····259
第九章体系结构 ········ 263
9.1 大话众核心处理器体系结构264
9.2 致敬龙芯!冬瓜哥手工设计了一个CPU译码器! ·······271
9.3 NUNA体系结构首次落地InCloudRack机柜 ····274
9.4 评宏杉科技的CloudSAN架构 ············278
9.5 内存竟然还能这么玩?!····283
9.6 PCIe交换,什么鬼?············293
9.7 聊聊FPGA/GPCPU/PCIe/Cache-Coherency ·····300
9.8 【科普】超算到底是怎样算的?······305
第十章 I/O 协议栈及性能分析 ·· 317
10.1 最完整的存储系统接口/协议/连接方式总结 318
10.2 I/O协议栈前沿技术研究动态 ··········332
10.3 Raid组的Stripe Size到底设置为多少合适? ··344
10.4 并发I/O——系统性能的根本! ······347
10.5 关于I/O时延你被骗了多久? ··········349
10.6 如何测得整条I/O路径上的并发度? ·············351
10.7 队列深度、时延、并发度、吞吐量的关系到底是什么············351
10.8 为什么Raid对于某些场景没有任何提速作用? ·········365
10.9 为什么测试时性能出色,上线时却惨不忍睹?·········366
10.10 队列深度过浅有什么影响?··········368
10.11 队列深度调节为多大最理想? ······369
10.12 机械盘的随机I/O平均时延为什么有一过性降低? ·370
10.13 数据布局到底是怎么影响性能的?·············371
10.14 关于同步I/O与阻塞I/O的误解 ·······374
10.15 原子写,什么鬼?!········375
10.16 何不做个USB Target? ·····385
10.17 冬瓜哥的一项新存储技术专利已正式通过·385
10.18 小梳理一下iSCSI底层 ······394
10.19 FC的4次Login过程简析 ···396
第十一章存储软件···· 397
11.1 Thin就是个坑谁用谁找抽!············398
11.2 存储系统OS变迁 ··400
第十二章固态存储···· 409
12.1 浅析固态介质在存储系统中的应用方式·······410
12.2 关于SSD元数据及掉电保护的误解420
12.3 关于闪存FTL的Host Base和Device Based的误解 ·······421
12.4 关于SSD HMB与CMB ·······423
12.5 同有科技展翅归来424
12.6 和老唐说相声之SSD性能测试之“玉”·······435
12.7 固态盘到底该怎么做Raid? ············441
12.8 当Raid2.0遇上全固态存储 ·448
12.9 上/下页、快/慢页、MSB/LSB都些什么鬼? ·············451
12.10 关于对MSB/LSB写0时的步骤 ·······457
|
內容試閱:
|
前 言
眨眼间,距离《大话存储》一书出版已经8年了。在这8年间,冬瓜哥也一直在不断地学习积累并输出,并在2015年5月份创立了微信公众号大话存储,继续总结和输出各类存储系统知识,皆为原创。本书即对这一年多来冬瓜哥的输出文章进行了整理再加工,并特意增加了30%的从未发布的额外内容。
如果说《大话存储》系列图书是一部系统性讲述存储系统底层的小说的话,那么本书相当于一部散文集,全篇形散神聚,自由穿梭于存储和计算机系统的底层和顶层世界中。其中的每一篇都表述了某个领域、课题或者技术,并围绕该技术展开叙述。冬瓜哥把全书划分为12个技术领域部分,每一个部分又包含多篇相关的文章。
其中有些文章中带有鄙人手绘的图片,为了保持原汁原味,决定保留原样,如果侮辱了你的审美观,请见谅。
阅读本书要求对存储系统有一定了解,最好是相当了解,否则会感到比较吃力。不过,吃力是好事,证明有提升空间,那就赶紧去买本《大话存储 终极版》看看正传吧,然后再来看后传。 当年冬瓜哥看一些文档的时候,也是很吃力,但是总感觉很有意思,也就坚持了下来。
可能有人会想,后续会不会有《大话存储 外传》呢?嗯,或许吧,顺其自然!
最后,欢迎关注鄙人的微信公众号:
冬瓜哥
序 言
不用扬鞭自奋蹄!
廖恒 博士
是哪一年认识了张冬,我想不起来了。只记得是一次出差途中,在杭州一家小餐馆里一起进餐。见面寒暄后,他单刀直入问我:时钟具体是如何驱动电路的运行的?带着孩子般的渴望知识的眼神,透露着作者的气质,渗透在他的每一本著作中。此后每次会面都是擦肩而过,每次碰撞都留下一个不同的问题。我常常回味,驱动他努力追求的难道仅仅是好奇?年岁易过,技术领域更新极快,方才还潮流新宠的新课题,转眼已融化殆尽,抛入了记忆的废纸篓。热心收集的知识岂不成了占内存的老古董,有何用现实的价值?
拿到这本重达40M的电子版大部头,我着实被吓了一跳。这是一位孜孜不倦的探险者,用自己的眼睛去增长见识,用自己的心去思考实质,再用自己的笔去分享观感。内容翔实,让人耳目一新。好比为读者打开了私藏的博物馆,而由收藏主人亲自展示每一个藏品的精妙机关,再把当初苦心寻访藏品并终于纳入囊中的故事向你娓娓道来。其中扑面而来的喜悦,只有同道中人才能体会。
《大话存储后传》给出的是作者的答案。多年的追求探索,不仅仅是加深自身领悟,还为了和更多人分享和传承。工程师担负了造新物的使命,要看清这无比复杂的知识世界十分不易。冬瓜哥帮我们梳理了经纬全局,把知识的珠子串成了项链。
完成这一本,存储整个博物馆,就此剪彩全面开张,存储这档子事儿也许到此告一段落。不知道那孩童般的好奇又会把张冬带到哪个新奇的世界。我期待他的下一本游记。
廖恒博士
廖恒博士,曾就读清华大学、美国普林斯顿大学。曾任PMC-Sierra公司Fellow,曾参与T10 SAS 标准制定工作,并担任存储部门总架构师,设计了SAS Expander 、RAID控制器、HBA控制器等产品。
变化的IT,变化的存储
雷迎春 达沃时代CTO
CPU 向两个方向发展:高性能和低成本。CPU 的高性能使得对于大多数应用,只需要CPU 的10% 或30% 的处理能力就可满足应用所需,为利用富裕的CPU 处理能力,以VMware 和Docker为代表的CPU虚拟化技术先后出现,帮助应用以不同的隔离形式并行运行,复用CPU资源。CPU的低成本使得计算机不再高大上,而是以各种形式,如手机、IoT设备等,充斥在人们的生活中,数据生产成本大幅下降,迎来大数据时代。
VMware的CPU虚拟化技术把一台物理服务器虚拟化为多台虚拟服务器,即虚拟机,从而允许在每一台虚拟机内运行独立的操作系统和应用。显然,只要在一台物理服务器上运行合适数目的虚拟机,CPU 资源就能得到充分利用。不过,虚拟机在充分使用CPU 资源的同时,对存储资源的使用也显著增加,而且以随机IO 为主。在虚拟化技术兴起之前,存储的主要产品形式是磁盘阵列,但是,磁盘天生就不适合支持随机IO,所以,磁盘阵列很难适应虚拟化技术的飞速发展。更擅长随机IO的闪存被用于改造以磁盘为中心的传统阵列,使阵列演变为混合闪存和磁盘的混合阵列,以及全闪存阵列。
相比于单个盒子的阵列,近年来兴起的分布式存储因较强的横向扩展能力而具有明显的优势。一般地,分布式存储由若干节点组成,每一个节点是一个中、小型存储服务器,它们通过分布式存储软件汇聚为一个大型的存储系统。在分布式存储中,新增一个节点,不仅增加整个系统的存储容量,同时,也提升整个系统的IO性能。另一方面,当一个节点发生故障时,不会影响整个系统的正常运行,因为,故障节点的数据在其他存活节点上有冗余(副本),且存活节点能继续对外提供服务。由于体系结构上的优势,分布式存储不再有类似阵列存储的性能瓶颈和容量瓶颈。
(1)从消费级市场步入企业级市场的闪存是这一轮存储变革的关键因素。在以磁盘为中心的传统存储中,其硬件平台和软件系统是针对磁盘特别设计的,多年发展,积累至今。用闪存盘简单替换硬盘,会让传统存储的性能有所改善,但是,面向磁盘设计的存储软件并不能充分发挥闪存的性能特性,相反,由于闪存有不同于硬盘的物理特性,如有限的可擦写次数,而扩大闪存的缺陷,给系统带来隐患。因此,存储软件需要重构,从过去以磁盘为中心发展到现在的以闪存为中心。(2)软件定义存储的兴起是这一轮存储变革的关键推手。过去,磁盘阵列有专门设计的硬件平台,而软件定义存储的理念是存储系统的软件化,不使用专门为存储业务特殊设计的硬件平台,而使用标准化硬件平台,如x86 服务器。软件定义存储既允许存储厂商销售软硬一体的设备,又允许存储厂商直接销售存储软件给用户,用户自己选择硬件平台;存储的主要产品形式既可以是阵列,也可以是分布式存储,如超规模(Hyperscale)或超融合(Hyperconverged )。这里,超规模是应用软件运行在计算服务器节点上,存储软件运行在存储服务器节点上,存储和计算分离;超融合是一台服务器上同时运行应用软件和存储软件,存储和计算融合。软件定义存储带来最重要的特性是,存储软件和硬件平台解耦,允许分别升级。例如,如果发现存储性能与硬件平台有关,就升级硬件平台;如果存储性能与存储软件有关,或有最新发布的存储功能,只需要软件升级。简而言之,软件定义存储带来极大的灵活性和成本的降低。(3)应用部署广泛采用虚拟机或容器技术,以及企业数据中心从第二平台向第三平台的演变左右着这一轮存储变革的进程。例如,正是虚拟机的大规模使用,磁盘型存储系统难以支持,才促进闪存型存储系统的发展,而企业数据中心从个人电脑、客户端服务器和局域网互联网为依托的第二平台转向以云计算、大数据、移动、社交为依托的第三平台,相应地,信息技术的价值从以计算、业务为中心转向以用户、数据为中心。伴随IT生态的变化,更适合第三平台的分布式存储的重要性日益凸显,市场份额显著增长,且软件定义存储的理念贯穿其中。特别地,在第三平台中,同一个共享存储池上需要运行各种应用,那么,分布式存储需要提供多种存储访问协议,如iSCSI、NFSCIFS和S3等,且适应不同工作负载对存储资源的并行访问。个人认为,在第三平台时代,存储技术会随着无处不在的数据和对数据处理的友好支持而百花齐放,存储也因为结合丰富的数据服务和数据管理功能,而模糊与应用之间的关系,出现应用驱动的存储或应用定义的存储。例如,Web 对象存储以Web服务的形式对外提供存储功能,VSAN为VMware vSphere提供以VM为中心的存储,HDFS为Hadoop计算框架提供专属存储。
正在发生的存储变革是多种力量综合博弈的市场结果。几乎任何一项被主流市场接受的存储技术,无论硬件还是软件,都有它的前世今生,只有了解过去,才能认识当下,《大话存储后传》正是这样一本承上启下的书,它可以帮助存储开发者和存储使用者深刻理解存储技术的点点滴滴和变化的过程。此外,该书的内容质量堪称顶级,全书内容均为冬瓜哥亲手炮制,处处体现了作者清晰、深刻的思维,描述技术入木三分,穷根究底,来龙去脉一目了然。能达到这种境界,需要多年的异于常人的学习和积累,更重要的是付出比常人更多的毅力和思考过程。我相信若非冬瓜哥的兴趣和情怀驱动,是很难做到这个程度的。
纵观当即社会,在互联网影响下,一股浮躁的风气弥漫着各个领域。在这个大的时代背景之下,能够潜心研究,耐得住寂寞笔耕不辍分享给大众,坚守情怀,实则是难能可贵之事,社会需要更多的像冬瓜哥这样的人。
雷迎春博士达沃时代CTO
|
|