㈠ 什麼是分布式存儲系統
分布式存儲系統
定義
分布式存儲系統是大量普通PC伺服器通過Internet互聯，對外作為一個整體提供存儲服務
特性
可擴展
低成本
高性能
易用
挑戰
分布式存儲系統的挑戰主要在於數據、狀態信息的持久化，要求在自動遷移、自動容錯、並發讀寫的過程中保證數據的一致性。分布式存儲涉及的技術主要來自兩個領域：分布式系統以及資料庫。
數據分布
一致性
容錯
負載均衡
事務與並發控制
易用性
壓縮/解壓縮
分類
非結構化數據，一般的文檔
結構化數據， 存儲在關系資料庫中
半結構化數據，HTML文檔
不同的分布式存儲系統適合處理不同類型的數據：
分布式文件系統
非結構化數據，這類數據以對象的形式組織，不同對象之間沒有關聯，這樣的數據一般稱為Blob（二進制大對象）數據
典型的有Facebook Haystack 以及 Taobao File System
另外，分布式文件系統也常作為分布式表格系統以及分布式資料庫的底層存儲，如谷歌的GFS可以作為分布式表格系統Google Bigtable 的底層存儲，Amazon的EBS（彈性存儲塊）系統可以作為分布式資料庫（Amazon RDS）的底層存儲
總體上看，分布式文件系統存儲三種類型的數據：Blob對象、定長塊以及大文件
分布式鍵值系統
較簡單的半結構化數據，只提供主鍵的CRUD（創建、讀取、更新、刪除）
典型的有Amazon Dynamo 以及 Taobao Tair
分布式表格系統
較復雜的半結構化數據，不僅支持CRUD，而且支持掃描某個主鍵范圍
以表格為單位組織數據，每個表格包括很多行，通過主鍵標識一行，支持根據主鍵的CRUD功能以及范圍查找功能
典型的有Google Bigtable 以及 Megastore，Microsoft Azure Table Storage，Amazon DynamoDB等
分布式資料庫
存儲結構化數據，一般是由單機關系資料庫擴展而來
典型的包括MySQL資料庫分片集群、Amazon RDS以及Microsoft SQL Azure
㈡ 什麼是結構化的數據存儲類型
最具有代表性的就是關系型資料庫。由表，列，行組成。
㈢ 什麼是存儲設備如何分類
什麼是存儲設備？
用於為您的計算機或系統滿足永久的存儲形式以保存和恢復您每天使用的軟體程序和數據文件的設備。
相對於計算機的隨機存儲器 (RAM)只能臨時存儲您正在使用的文件。計算機關閉時，存儲在 RAM 中的信息將被清除。
以下為最常用類型的驅動器：
硬碟驅動器, 軟盤驅動器 ,ZIP 驅動器 ,CD 驅動器, DVD 驅動器, 磁帶驅動器
硬碟驅動器是計算機的主要存儲設備。它可以存儲預安裝在計算機上的所有軟體應用程序和您自己安裝的程序。此外，硬碟驅動器是您處理文件時最常用的存儲位置。
硬碟驅動器是由使用磁性方式存儲數據的金屬磁片組成。在您或您的軟體告訴操作系統讀取或寫入文件時，操作系統命令硬碟控制器將讀/寫磁頭移至驅動器的文件分配表 (FAT)。操作系統讀取文件分配表以確定磁碟上的文件起始區或用以保存新文件的自由區。
磁頭通過調整磁片表面的磁顆粒將數據寫入磁片；通過檢測已經調整的磁顆粒的極性讀取數據。
存儲文件從第一個自由簇開始，將文件存儲在幾個磁片的多個簇中。操作系統將新文件寫入磁碟時，所有文件的簇將被記入文件分配表。
軟盤驅動器有時稱為軟碟機，用來將數據存儲在可移動的軟盤上，即可很方便地將文件從一台計算機上傳送至另一台計算機。軟盤存儲數據和旋轉的方式類似於硬碟驅動器，只是存儲空間較小。使用軟盤驅動器數據傳送速度較慢，但它是所有新型計算機保留的標准組件，原因是其性能可靠且軟盤價格低。
軟盤驅動器和軟盤的大小與存儲容量多種多樣。Compaq Presario 個人計算機軟盤驅動器的類型如下：
3.5 英寸驅動器使用最廣。3.5 英寸軟盤保護結實，容量可從 720 千位元組至 2.88 兆位元組，1.44 兆位元組的軟盤是其中最常見的一種。
Zip 驅動器（僅在某?;機型中具備?;已發展到支持更高容量 (100 MB) 的軟盤。您可在任何計算機商店購買 ZIP 軟盤。
光碟 (CD) 驅動器已日漸普及，尤其在多媒體計算機中。計算機的 CD 驅動器與音樂光碟很相似，使用激光束閱讀數據，並且數據 CD 存儲信息的容量達 680 MB 。CD 驅動器可用來檢索大量的數據或在工作時播放您喜?#174;的音樂 CD 。
新型的數字視頻光碟 (DVD) 驅動器的外形和操作與 CD 驅動器類似，但 DVD 光碟存儲的數據是 CD 的七倍。(一張單層單面 DVD 可存儲整個 2 小時的電影。)
DVD 驅動器的容量從 4.7GB 至 17GB。此外，DVD 驅動器反向兼容；您可以在 DVD 驅動器中使用現有的光碟。
隨著硬碟驅動器的容量日益增加，將計算機中的文件備份到軟盤上變得既耗資又費時。然而，磁帶驅動器是理想的備份設備，您可以在一盒磁帶上存儲幾千兆位元組的信息。 此外，家用計算機的磁帶驅動器價格適中，有?;磁帶備份軟體程序可在晚上或周?;無人看管的情況下進行備份。
在各種類型的磁帶驅動器中，四分?#174;一英寸的盒式 (QIC) 磁帶驅動器最常見。這類驅動器以磁性方式將數據存儲至四分?#174;一英寸寬的磁帶上。在您運行磁帶備份程序時，程序讀取硬碟驅動器的文件分配表 (FAT) 以查找要備份的文件。磁帶驅動器的控制器開始轉動磁帶，然後數據被送至磁帶驅動器的寫磁頭。磁帶通常有 20 至 32 個並列磁軌。數據從某一磁軌開始寫入數據，一直寫到磁軌?;尾，然後成螺旋形寫入下一個外圍磁軌。此過程一直進行到所有的數據均已寫入磁帶為止，然後備份程序根據文件的磁軌和分段更新文件目錄。
㈣ 什麼是結構化的數據存儲類型
在C語言中， 有 數據類型(data type) 和 數據存儲類(data storage class) 2個術語
數據類型一般用於表示 某個變數它在內存中占據的位元組數。
舉例， char ch = 『a』; 定義了一個字元變數ch， 初始化為字元a，數據類型為char的變數在內存中一般占據 一個位元組的內存空間，直接和它對應的一個函數為 sizeof(), 這個函數可以求出具體某個平台上，某種數據類型占據的內存位元組數。再舉例int數據類型, int這個數據類型的大小，一般而言與處理器中寄存器的大小是一致的， 對於不同的平台，16位，32位，64位 都是可能的，也就是2個位元組，4個位元組，8個位元組等
以上說的是數據類型
關於存儲類(storage class) 有4種，分別是 auto, static, extern, register
auto 是默認的存儲類型，也就是說你聲明一個變數，如 int i; 等同於 auto int i; 對於一個程序員而言，auto沒多大用途，對於一個編譯器設計者，就是另外一回事了。
static 聲明了靜態數據，所謂靜態數據 也就是變數的生命期(lifetime)，通俗點講，就是它能起多久的作用（如果我沒說錯的話）， 這種存儲類型的變數 是和 你的程序共存亡的，
如定義 static int count = 10; 除非你改變了它，或者程序退出了，否則它是一直存在的
extern 這個存儲類型， 一般是聲明變數，或者函數的，它告訴編譯器，某某的定義在別處，
比如
// in source code a.c
extern int p(unsigned i);
在這個程序的別的源代碼文件中存在 這個函數p的定義，
如
// in source code b.c
int p(unsigned i)
{
if(i>0)
return 1;
else
return 0;
}
regiter 這個存儲類告訴編譯器 盡量把某變數安排在寄存器里邊，這是程序員處於對該變數訪問速度的考慮，現在能看見這樣的聲明的機會不是很多了， 也有， 因為如果聲明了register 就打亂了編譯器本身的優化策略，但是，再說一次，有人還是在做這樣的使用的
希望我以上說的能對你有所幫助，哪怕一點點幫助也好
㈤ 什麼是結構化的數據存儲類型
結構化數據存儲，就是把數據按照一定的結構存儲起來，比如ios的NSDictionary,一個健對應一個值。以便於操作數據的時候方便操作，
一般有3種
鍵值歸檔（一個鍵，對應一個值，按鍵取值）
屬性列表（諸如xml文件存儲之類的）
資料庫存儲（直接存儲資料庫）
㈥ 請教：關於結構化和非結構化數據存儲
（1）結構化數據，簡單來說就是資料庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS資料庫；政府行政審批；其他核心資料庫等。這些應用需要哪些存儲方案呢？基本包括高速存儲應用需求、數據備份需求、數據共享需求以及數據容災需求。
（2）非結構化資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重復或不可重復的子欄位構成的資料庫，用它不僅可以處理結構化數據（如數字、符號等信息）而且更適合處理非結構化數據（全文文本、圖像、聲音、影視、超媒體等信息）。
面對海量非結構數據存儲，杉岩海量對象存儲MOS，提供完整解決方案，採用去中心化、分布式技術架構，支持百億級文件及EB級容量存儲，具備高效的數據檢索、智能化標簽和分析能力，輕松應對大數據和雲時代的存儲挑戰，為企業發展提供智能決策。
㈦ 什麼是結構化數據
結構化數據（有時稱為關系數據）是遵循某種嚴格架構的數據，因此所有數據都具有相同的欄位或屬性。共享架構允許使用SQL（結構化查詢語言）等查詢語言輕松搜索此類數據。此功能使此數據樣式非常適合CRM系統、預留和庫存管理等應用程序。
結構化數據通常存儲在具有行和列的資料庫表中，其中鍵列指示表中的一行與另一個表的另一行中的數據之間的關系。
結構化數據很簡單，易於輸入，查詢和分析。所有數據都遵循相同的格式。但強制採用一致的結構也意味著數據演變會更加困難，因為必須更新每個記錄才能符合新的結構。
一個結構化數據的具體例子
業務分析師希望實現商業智能，以計算庫存管道和查看銷售數據，為了執行這些操作，需要將多個月的數據聚合在一起，然後進行查詢。由於需要聚合類似數據。因此必須對這些數據進行結構化處理，以便將一個月的數據與下個月的進行比較。
㈧ Bigtable---分布式的結構化數據存儲系統
sina
Bigtable 是一個分布式的結構化數據存儲系統，它被設計用來處理海量數據：通常是分布在數千台普通伺服器上的PB 級的數據。Google 的很多項目使用Bigtable 存儲數據，包括Web 索引、GoogleEarth、Google Finance。這些應用對Bigtable 提出的要求差異非常大，無論是在數據量上（從URL到網頁到衛星圖像）還是在響應速度上（從後端的批量處理到實時數據服務）。
Bigtable 已經實現了下面的幾個目標：適用性廣泛、可擴展、高性能和高可用性,Bigtable 是一個稀疏的、分布式的、持久化存儲的多維度排序Map。
圖一：一個存儲Web 網頁的例子的表的片斷。行名是一個反向URL。contents 列族存放的是網頁的內容，anchor 列族存放引用該網頁的錨鏈接文本（alex 註：如果不知道HTML 的Anchor，請Google一把）。CNN 的主頁被Sports Illustrater和MY-look 的主頁引用，因此該行包含了名為「anchor:cnnsi.com」和「anchhor:my.look.ca」的列。每個錨鏈接只有一個版本（alex 註：注意時間戳標識了列的版本，t9 和t8 分別標識了兩個錨鏈接的版本）；而contents 列則有三個版本，分別由時間戳t3，t5，和t6 標識。
行
Bigtable 通過行關鍵字的字典順序來組織數據。表中的每個行都可以動態分區。每個分區叫做一個」Tablet」，Tablet 是數據分布和負載均衡調整的最小單位。
列族
Webtable 有個列族language，language 列族用來存放撰寫網頁的語言。
我們在language 列族中只使用一個列關鍵字，用來存放每個網頁的語言標識ID。Webtable 中另一個有用的列族是anchor；這個列族的每一個列關鍵字代表一個錨鏈接，如圖一所示。Anchor 列族的限定詞是引用該網頁的站點名；Anchor 列族每列的數據項存放的是鏈接文本。訪問控制、磁碟和內存的使用統計都是在列族層面進行的。
時間戳
不同版本的數據通過時間戳來索引。Bigtable 時間戳的類型是64 位整型。
Bigtable 可以給時間戳賦值，用來表示精確到毫秒的「實時」時間；用戶程序也可以給時間戳賦值。如果應用程序需要避免數據版本沖突，那麼它必須自己生成具有唯一性的時間戳。數據項中，不同版本的數據按照時間戳倒序排序，即最新的數據排在最前面。為了減輕多個版本數據的管理負擔，我們對每一個列族配有兩個設置參數， Bigtable 通過這兩個參數可以對廢棄版本的數據自動進行垃圾收集。用戶可以指定只保存最後n 個版本的數據，或者只保存「足夠新」的版本的數據（比如，只保存最近7 天的內容寫入的數據）。
Bigtable支持的其他特性
1、Bigtable 支持單行上的事務處理，利用這個功能，用戶可以對存儲在一個行關鍵字下的數據進行原子性的讀-更新-寫操作。
2、Bigtable 允許把數據項用做整數計數器。
3、Bigtable 允許用戶在伺服器的地址空間內執行腳本程序
4、Bigtable 可以和MapRece一起使用，MapRece 是Google 開發的大規模並行計算框架。我們已經開發了一些Wrapper 類，通過使用這些Wrapper 類，Bigtable 可以作為MapRece 框架的輸入和輸出。
Bigtable依賴於google的幾項技術。用GFS來存儲日誌和數據文件；按SSTable文件格式存儲數據；用Chubby管理元數據：
Bigtable是建立在其它的幾個Google基礎構件上的。BigTable 使用Google 的分布式文件系統(GFS)存儲日誌文件和數據文件。BigTable 集群通常運行在一個共享的機器池中，池中的機器還會運行其它的各種各樣的分布式應用程序，BigTable 的進程經常要和其它應用的進程共享機器。BigTable 依賴集群管理系統來調度任務、管理共享的機器上的資源、處理機器的故障、以及監視機器的狀態。
BigTable 內部存儲數據的文件是Google SSTable 格式的。SSTable 是一個持久化的、排序的、不可更改的Map 結構，而Map 是一個key-value 映射的數據結構，key 和value 的值都是任意的Byte串，從內部看，SSTable 是一系列的數據塊（通常每個塊的大小是64KB，這個大小是可以配置的）。。SSTable 使用塊索引（通常存儲在SSTable 的最後）來定位數據塊；在打開SSTable的時候，索引被載入到內存。每次查找都可以通過一次磁碟搜索完成：首先使用二分查找法在內存中的索引里找到數據塊的位置，然後再從硬碟讀取相應的數據塊。也可以選擇把整個SSTable 都放在內存中，這樣就不必訪問硬碟了。
BigTable 還依賴一個高可用的、序列化的分布式鎖服務組件，叫做Chubby。Chubby有五個活躍副本，同時只有一個主副本提供服務，副本之間用Paxos演算法維持一致性，Chubby提供了一個命名空間（包括一些目錄和文件），每個目錄和文件就是一個鎖，Chubby的客戶端必須和Chubby保持會話，客戶端的會話若過期則會丟失所有的鎖。
Bigtable 包括了三個主要的組件：鏈接到客戶程序中的庫、一個Master主伺服器和多個Tablet片 伺服器。
Bigtable會將表（table）進行分片，片（tablet）的大小維持在100-200MB范圍，一旦超出范圍就將分裂成更小的片，或者合並成更大的片。每個片伺服器負責一定量的片，處理對其片的讀寫請求，以及片的分裂或合並。片伺服器可以根據負載隨時添加和刪除。這里片伺服器並不真實存儲數據，而相當於一個連接Bigtable和GFS的代理，客戶端的一些數據操作都通過片伺服器代理間接訪問GFS。主伺服器負責將片分配給片伺服器，監控片伺服器的添加和刪除，平衡片伺服器的負載，處理表和列族的創建等。注意，主伺服器不存儲任何片，不提供任何數據服務，也不提供片的定位信息。
客戶端需要讀寫數據時，直接與片伺服器聯系。因為客戶端並不需要從主伺服器獲取片的位置信息，所以大多數客戶端從來不需要訪問主伺服器，主伺服器的負載一般很輕。
Master 伺服器主要負責以下工作：為Tablet 伺服器分配Tablets、檢測新加入的或者過期失效的Table 伺服器、對Tablet 伺服器進行負載均衡、以及對保存在GFS 上的文件進行垃圾收集。除此之外，它還處理對模式的相關修改操作，例如建立表和列族。
我們使用一個三層的、類似B+樹的結構存儲Tablet 的位置信息。
第一層是一個存儲在Chubby 中的文件，它包含了Root Tablet 的位置信息。這個Chubby文件屬於Chubby服務的一部分，一旦Chubby不可用，就意味著丟失了root tablet的位置，整個Bigtable也就不可用了。
第二層是root tablet。root tablet其實是元數據表（METADATA table）的第一個分片，它保存著元數據表其它片的位置。root tablet很特別，為了保證樹的深度不變，root tablet從不分裂。
第三層是其它的元數據片，它們和root tablet一起組成完整的元數據表。每個元數據片都包含了許多用戶片的位置信息。
片的數據最終還是寫到GFS里的，片在GFS里的物理形態就是若干個SSTable文件。下圖展示了讀寫操作基本情況。
BigTable和GFS的關系
集群包括主伺服器和片伺服器，主伺服器負責將片分配給片伺服器，而具體的數據服務則全權由片伺服器負責。但是不要誤以為片伺服器真的存儲了數據（除了內存中memtable的數據），數據的真實位置只有GFS才知道，主伺服器將片分配給片伺服器的意思應該是，片伺服器獲取了片的所有SSTable文件名，片伺服器通過一些索引機制可以知道所需要的數據在哪個SSTable文件，然後從GFS中讀取SSTable文件的數據，這個SSTable文件可能分布在好幾台chunkserver上。
一個簡化的Bigtable結構圖：
結構圖以Webtable表為例，表中存儲了網易、網路和豆瓣的幾個網頁。當我們想查找網路貼吧昨天的網頁內容，可以向Bigtable發出查詢Webtable表的(com..tieba, contents:, yesterday)。
假設客戶端沒有該緩存，那麼Bigtable訪問root tablet的片伺服器，希望得到該網頁所屬的片的位置信息在哪個元數據片中。使用 METADATA.Webtable.com..tieba 為行鍵在root tablet中查找，定位到最後一個比它大的是 METADATA.Webtable.com..www ，於是確定需要的就是元數據表的片A。訪問片A的片伺服器，繼續查找 Webtable.com..tieba ，定位到 Webtable.com..www 是比它大的，確定需要的是Webtable表的片B。訪問片B的片伺服器，獲得數據。
這里需要注意的是，每個片實際都由若干SSTable文件和memtable組成，而且這些SSTable和memtable都是已排序的。這就導致查找片B時，可能需要將所有SSTable和memtable都查找一遍；另外客戶端應該不會直接從元數據表獲得SSTable的文件名，而只是獲得片屬於片伺服器的信息，通過片伺服器為代理訪問SSTable。