对象存储（Object-based Storage）概述_luckycyong的博客-CSDN博客_对象存储
对象存储（Object-based Storage）概述
luckycyong
于 2018-08-13 16:53:26 发布
64476
收藏
69
分类专栏：
云存储
云存储
专栏收录该内容
9 篇文章
2 订阅
订阅专栏
对象存储概述
什么是对象存储（OSD）？ 存储局域网（SAN）和网络附加存储（NAS）是目前两种主流网络存储架构，而对象存储（Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。1999年成立的全球网络存储工业协会（SNIA）的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲，对象存储综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
SAN存储架构 采用SCSI快I/O命令集，通过磁盘或FC（iber Channel）级的数据访问提供高性能的随机I/O个数据吞吐率，它具有高宽带、低时延的优势，在高性能计算中占有一席之地，如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的，但是由于SAN系统的价格较高，且扩展性较差，已不能满足成千上万个CPU规模的系统。
NAS存储架构 它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展行好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的西医开销高、带宽低、延迟大，不利于在高性能集群中使用。
对象存储架构
核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备构建存储系统，每个对象存储设备具有一定的只能，能够自动管理其上的数据分布。对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。
1. 对象 对象 是系统中数据存储的基本单位，每个Obeject是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据表项等。在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问对象。通常由多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组队象是存储设上共享资源管理策略的对象集合等。                                                   传统的访问层次和虚拟数据访问模型 2. 对象存储设备 每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问、目前国际上通常采用刀片式结构实现对象存储设备。OSD提供三个主要功能： （1）数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。 （2）智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。 （3）每个对象数据的管理。OSD管理存储在其它对象上的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器提供的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。 3. 元数据服务器（Metadata Server，MDS） MDS控制Client与OSD对象的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能： （1)对象存储访问。MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时先验证该能力，然后才可以访问。 （2）文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。 （3）Client Cache一致性。为了提高Client性能，在对象存储系统设计时通常支持Client的Cache。由于引入Client方的Cache，带来了Cache一致性的问提，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cvashe，从而防止Cache不一致引发的问提。 4. 对象存储系统的客户端Client 为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致。文件系统访问流程： 1）客户端应用发出读请求； 2）文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD； 3）然后直接向每个OSD发送数据读取请求； 4）OSD得到请求后，判断要读取的Object，并根据此Object的认证方式，对客户端进行认证，如果客户端得到收授权，则将Object的数据返回给客户端； 5）文件系统收到OSD返回的数据以后，读操作完成。
对象存储文件系统的关键技术 1、分布元数据 传统的存储结构元数据服务器通常提供两个主要功能。 （1）为计算结点提供一个存储数据的逻辑视图（Virtual File System，VFS层），文件名列表及目录结构。 （2）组织物理存储介质的数据分布（inode层）。对象存储结构将存储数据的逻辑视图与物理视图分开，并将负载分布，避免元数据服务器引起的瓶颈（如NAS系统）。元数据的VFS部分通常是元数据服务器的10％的负载，剩下的90％工作（inode部分）是在存储介质块的数据物理分布上完成的。在对象存储结构，inode工作分布到每个智能化的OSD，每个OSD负责管理数据分布和检索，这样90%的元数据管理工作分布到智能的存储设备，从而提高了系统元数据管理的性能。另外，分布的元数据管理，在增加更多的OSD到系统中时，可以同时增加元数据的性能和系统存储容量。
2、并发数据访问 对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD。OSD是与网络连接的设备，它自身包含存储介质，如磁盘或磁带，并具有足够的智能可以管理本地存储的数据。计算结点直接与OSD通信，访问它存储的数据，由于OSD具有智能，因此不需要文件服务器的介入。如果将文件系统的数据分布在多个OSD上，则聚合I/O速率和数据吞吐率将线性增长，对绝大多数Linux集群应用来说，持续的I/O聚合带宽和吞吐率对较多数目的计算结点是非常重要的。对象存储结构提供的性能是目前其它存储结构难以达到的，如ActiveScale对象存储文件系统的带宽可以达到10GB/s。
luckycyong
关注
关注
点赞
69
收藏
评论
对象存储（Object-based Storage）概述
对象存储概述什么是对象存储（OSD）？ 存储局域网（SAN）和网络附加存储（NAS）是目前两种主流网络存储架构，而对象存储（Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。1999年成立的全球网络存储工业协会（SNIA）的对象存储设备工作组发布了ANSI的X3T10标...
复制链接
扫一扫
专栏目录
对象存储技术
qq_15282237的博客
12-23
760
OSS（Object Storage Service）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。
概念普识
块存储
通常SAN（Storage Area Network）结构的产品属于块存储，比如我们常见的硬盘、磁盘阵列等物理盘。
文件存储
一般N...
对象存储概述
Tyler_Zx的博客
07-30
1988
前言
今天碰巧看到一篇介绍对象存储概念的博客，感觉整体写的还行。现在做个简单的笔记，其中修改了原文的部分内容和结构。
对象存储概述
什么是对象存储？
相对于存储局域网（SAN）和网络附加存储（NAS）网络存储架构，对象存储（Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称 OSD。总体上来讲，对象存储综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NA...
参与评论
您还未登录，请先
登录
后发表或查看评论
传统 Web 框架部署与迁移
最新发布
阿里云云栖号
11-22
70
与其说 Serverless 架构是一个新的概念，不如说它是一种全新的思路，一种新的编程范式。但是原生的 Serverless 开发框架却非常少，如何将传统框架更简单、更快速、更科学地部署到 Serverless 架构是一个值得探讨的问题。
聊聊什么是对象存储？
伢之国
04-11
2427
从来没接触过对象存储的可能有点蒙，对象存储是啥，使用场景是啥，还有没有文件系统POSIX哪些接口？
公有云厂商对对象存储的定义
AWS S3
Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务，提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用它来存储和保护各种用例（如网站、移动应用程序、备份和还原、存档、...
对象存储详细篇
春风化雨
03-13
2610
1、对象存储概念
对象存储，是用来描述解决和处理离散单元的方法的通用术语。对象在一个层结构中不会再有层级结构，是以扩展元数据为特征的。
对象存储，提供了基于分布式系统之上的对象形式的数据存储服务，并且可以通过 RESTful API 数据读写接口及丰富的SDK接口进行数据的访问。
我们可以把它理解为商场的存包服务，顾客将包（数据）交给服务员（API接口），服务员给顾客一个凭证（对象地址URL），顾客想要取包时，只需提供凭证，不需要知道自己的包到底是以什么形式存储在哪里，省时省心省力。
常见对象存储：
对象存储基本知识介绍
拓荒者的博客
04-24
2259
介绍对象存储的相关基础知识、适用场景以及基本使用工具
对象存储介绍（腾讯云cos）
qq_51726114的博客
03-25
1万+
什么是对象存储
对象存储是一种将数据作为对象进行管理的计算机数据存储体系结构，与其他存储体系结构（例如将数据作为文件层级管理的文件系统）以及将数据作为块和扇区内的块进行管理的块存储相对。每个对象通常包括数据本身，可变数量的元数据和全局唯一标识符。
对象存储可以在多个级别实现，包括设备级别（对象存储设备），系统级别和接口级别。在每种情况下，对象存储都试图实现其他存储架构无法解决的功能，例如可以由应用程序直接编程的接口，可以跨越多个物理硬件实例的命名空间，以及数据管理功能，如数据复制和数据分发在对象级粒度。
对象存储
zhangvalue的博客
11-28
5282
我们知道，在很长的一段时间里，这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求，都是在这三者中进行选择。
然而，随着时代的发展，一种新的数据存储形态诞生，开始挑战前面三者的垄断地位。
没错，它就是云计算时代存储技术的新网红——对象存储。
对象存储，也称为“面向对象的存储”，英文是Object-based Storage。现在很多云厂商，也直接称之为“云存储”。
不同的云厂商对它有不同的英文缩写命名。例如阿里云把自家的对象存储服务叫做OSS，华为云叫OBS，腾讯云叫COS，七牛叫.
对象存储（云存储）概述
热门推荐
大圣即大盗
03-08
4万+
文章目录三种存储形态1、块存储2、文件存储3、对象存储对象存储对象存储需求对象存储含义对象存储与传统网络存储的区别扩展知识：NAS与SAN概述1、NAS（Network Attached Storage）优点局限2、SAN(Storage Area Network and SAN Protocols)优点局限对象存储的特性1、优秀的扩展性2、基于策略的自动化管理3、多租户技术扩展知识：多租户技术介...
什么是对象存储
成都彭于晏
01-28
4869
对象存储概述
什么是对象存储（OSD）？
存储局域网（SAN）和网络附加存储（NAS）是目前两种主流网络存储架构，而对象存储（Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。1999年成立的全球网络存储工业协会（SNIA）的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲，对象存储综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供
对象存储（云存储）基本知识概述
PPlluuttoo的博客
09-23
1253
对象存储知识概述
02_Java面向对象
Ftmyと博客
07-25
162
面对对象程序设计(Object-oriented Programming,OOP)
抽象过程：底层机器>汇编语言(对底层机器的轻微抽象)>C/BASIC命令式语言(对汇编的抽象)
问题空间>>编程语言(面向过程/面向对象)>>解空间(机器模型)
Smalltalk面向对象语言五个特性：
万物皆对象：将对象视为奇特的变量，存储数据
程序是对象的集合，它们...
对象存储3：对象存储的原理、构造和详解
DecadeLive的博客
03-25
5050
前两篇介绍了对象存储的基础，包括存储类型，常用存储分类和分类方法。
SCSI,TCP/IP,FC等存储介质以及DAS\NAS\SAN等存储网络，请参考：对象存储1：传统存储类型和分类。
文件存储，块存储以及对象存储等数据存储格式，请参考：对象存储2：云平台数据存储类型。
1.对象存储基础
对象存储的命名，是由其存储数据的格式来的，它的数据是以对象object的形式存储。
文件存储...
什么是对象存储系统
特网云计算
12-12
545
大多数现代企业收集和处理大量数据。所有这些信息都需要存储在某个地方。对象云存储有助于应对不断增长的数据量。它是当今可用的最有效的解决方案之一
总结：对象存储、块存储、文件存储的区别
w2009211777的专栏
04-09
6398
一、介绍
文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。
文件存储会以文件和文件夹的层次结构来整理和呈现数据；
块存储会将数据拆分到任意划分且大小相同的卷中；
对象存储会管理数据并将其链接至关联的元数据。
二、文件存储
介绍
文件存储也称为文件级存储或基于文件的存储，且正如您所想：数据会以单条信息的形式存储在文件夹中，正如您将几张纸放入一个马尼拉文件夹中一样。当您需要访问该数据时，您的计算机需要知道相应的查找路径。（注意，这可能会是一条蜿蜒.
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：创作都市
设计师：CSDN官方博客
返回首页
luckycyong
CSDN认证博客专家
CSDN认证企业博客
码龄6年
暂无认证
29
原创
9万+
周排名
148万+
总排名
199万+
访问
等级
7314
积分
495
粉丝
455
获赞
65
评论
2562
收藏
私信
关注
分类专栏
Linux
9篇
Pygame
4篇
MySQL
7篇
Redis
2篇
Python基础
10篇
云存储
9篇
运维
6篇
Python系统模块
3篇
计算机基础知识
4篇
C/C++
2篇
互联网协议
1篇
错误检测与校正
1篇
软件工程
1篇
化学生活
1篇
算法
1篇
杂文趣事
1篇
最新评论
RDP协议详解
Frankiehp:
如果可以有具体的网络包会好点
汉明码（Hamming Code）原理及实现
惹喏 �:
第四个是不是也有问题啊
解决VS（Visual Studio)2017安全函数问题（C语言安全函数）
m0_52087359:
gets还是用不了
Python中threading模块
江南野栀子:
https://blog.csdn.net/u010701274/article/details/122559912 这篇文章也非常不错，大家可以参看
Python中sys模块
下辈子还做程序员:
感谢博主，博主多配点图就好了，小白更愿意看图，更生动形象😏！
[code=html]
---------------------------------------------------
[/code]
🎉 推荐个程序员必备ToDoList https://www.ztodolist.com/ 🎉
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
EXT2/EXT3文件系统
Python之Pygame，从入门到精通（五）
我是一个没有感情的杀手
2018年63篇
目录
目录
分类专栏
Linux
9篇
Pygame
4篇
MySQL
7篇
Redis
2篇
Python基础
10篇
云存储
9篇
运维
6篇
Python系统模块
3篇
计算机基础知识
4篇
C/C++
2篇
互联网协议
1篇
错误检测与校正
1篇
软件工程
1篇
化学生活
1篇
算法
1篇
杂文趣事
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值