前沿拓展：

u**scan.sys

試試把你的電腦重做系統(tǒng)吧，做系統(tǒng)的光盤一定不要和你現(xiàn)在使用的系統(tǒng)是一張盤，換張新盤做下系統(tǒng)！這樣應(yīng)該可以解決問

在 Linux 文件系統(tǒng)就采用了位圖的方式來管理空閑空間，不僅用于數(shù)據(jù)空閑塊的管理，還用于 inode 空閑塊的管理，因為 inode 也是存儲在磁盤的，自然也要有對其管理。

文件系統(tǒng)的結(jié)構(gòu)

前面提到 Linux 是用位圖的方式管理空閑空間，用戶在創(chuàng)建一個新文件時，Linux 內(nèi)核會通過 inode 的位圖找到空閑可用的 inode，并進行分配。要存儲數(shù)據(jù)時，會通過塊的位圖找到空閑的塊，并分配，但仔細計算一下還是有問題的。

數(shù)據(jù)塊的位圖是放在磁盤塊里的，假設(shè)是放在一個塊里，一個塊 4K，每位表示一個數(shù)據(jù)塊，共可以表示 4 * 1024 * 8 = 2^15 個空閑塊，由于 1 個數(shù)據(jù)塊是 4K 大小，那么最大可以表示的空間為 2^15 * 4 * 1024 = 2^27 個 byte，也就是 128M。

也就是說按照上面的結(jié)構(gòu)，如果采用「一個塊的位圖 + 一系列的塊」，外加「一個塊的 inode 的位圖 + 一系列的 inode 的結(jié)構(gòu)」能表示的最大空間也就 128M，這太少了，現(xiàn)在很多文件都比這個大。

在 Linux 文件系統(tǒng)，把這個結(jié)構(gòu)稱為一個塊組，那么有 N 多的塊組，就能夠表示 N 大的文件。

下圖給出了 Linux Ext2 整個文件系統(tǒng)的結(jié)構(gòu)和塊組的內(nèi)容，文件系統(tǒng)都由大量塊組組成，在硬盤上相繼排布：

最前面的第一個塊是引導(dǎo)塊，在系統(tǒng)啟動時用于啟用引導(dǎo)，接著后面就是一個一個連續(xù)的塊組了，塊組的內(nèi)容如下：

超級塊，包含的是文件系統(tǒng)的重要信息，比如 inode 總個數(shù)、塊總個數(shù)、每個塊組的 inode 個數(shù)、每個塊組的塊個數(shù)等等。

塊組描述符，包含文件系統(tǒng)中各個塊組的狀態(tài)，比如塊組中空閑塊和 inode 的數(shù)目等，每個塊組都包含了文件系統(tǒng)中「所有塊組的組描述符信息」。

數(shù)據(jù)位圖和 inode 位圖， 用于表示對應(yīng)的數(shù)據(jù)塊或 inode 是空閑的，還是被使用中。

inode 列表，包含了塊組中所有的 inode，inode 用于保存文件系統(tǒng)中與各個文件和目錄相關(guān)的所有元數(shù)據(jù)。

數(shù)據(jù)塊，包含文件的有用數(shù)據(jù)。

你可以會發(fā)現(xiàn)每個塊組里有很多重復(fù)的信息，比如超級塊和塊組描述符表，這兩個都是全局信息，而且非常的重要，這么做是有兩個原因：

如果系統(tǒng)崩潰破壞了超級塊或塊組描述符，有關(guān)文件系統(tǒng)結(jié)構(gòu)和內(nèi)容的所有信息都會丟失。如果有冗余的副本，該信息是可能恢復(fù)的。

通過使文件和管理數(shù)據(jù)盡可能接近，減少了磁頭尋道和旋轉(zhuǎn)，這可以提高文件系統(tǒng)的性能。

不過，Ext2 的后續(xù)版本采用了稀疏技術(shù)。該做法是，超級塊和塊組描述符表不再存儲到文件系統(tǒng)的每個塊組中，而是只寫入到塊組 0、塊組 1 和其他 ID 可以表示為 3、 5、7 的冪的塊組中。

目錄的存儲

在前面，我們知道了一個普通文件是如何存儲的，但還有一個特殊的文件，經(jīng)常用到的目錄，它是如何保存的呢？

基于 Linux 一切皆文件的設(shè)計思想，目錄其實也是個文件，你甚至可以通過 vim 打開它，它也有 inode，inode 里面也是指向一些塊。

和普通文件不同的是，普通文件的塊里面保存的是文件數(shù)據(jù)，而目錄文件的塊里面保存的是目錄里面一項一項的文件信息。

在目錄文件的塊中，最簡單的保存格式就是列表，就是一項一項地將目錄下的文件信息（如文件名、文件 inode、文件類型等）列在表里。

列表中每一項就代表該目錄下的文件的文件名和對應(yīng)的 inode，通過這個 inode，就可以找到真正的文件。

目錄格式哈希表

通常，第一項是「.」，表示當(dāng)前目錄，第二項是「..」，表示上一級目錄，接下來就是一項一項的文件名和 inode。

如果一個目錄有超級多的文件，我們要想在這個目錄下找文件，按照列表一項一項的找，效率就不高了。

于是，保存目錄的格式改成哈希表，對文件名進行哈希計算，把哈希值保存起來，如果我們要查找一個目錄下面的文件名，可以通過名稱取哈希。如果哈希能夠匹配上，就說明這個文件的信息在相應(yīng)的塊里面。

Linux 系統(tǒng)的 ext 文件系統(tǒng)就是采用了哈希表，來保存目錄的內(nèi)容，這種方法的優(yōu)點是查找非常迅速，插入和刪除也較簡單，不過需要一些預(yù)備措施來避免哈希沖突。

目錄查詢是通過在磁盤上反復(fù)搜索完成，需要不斷地進行 I/O **作，開銷較大。所以，為了減少 I/O **作，把當(dāng)前使用的文件目錄緩存在內(nèi)存，以后要使用該文件時只要在內(nèi)存中**作，從而降低了磁盤**作次數(shù)，提高了文件系統(tǒng)的訪問速度。

軟鏈接和硬鏈接

有時候我們希望給某個文件取個別名，那么在 Linux 中可以通過硬鏈接（Hard Link）和軟鏈接（Symbolic Link）的方式來實現(xiàn)，它們都是比較特殊的文件，但是實現(xiàn)方式也是不相同的。

硬鏈接是多個目錄項中的「索引節(jié)點」指向一個文件，也就是指向同一個 inode，但是 inode 是不可能跨越文件系統(tǒng)的，每個文件系統(tǒng)都有各自的 inode 數(shù)據(jù)結(jié)構(gòu)和列表，所以硬鏈接是不可用于跨文件系統(tǒng)的。由于多個目錄項都是指向一個 inode，那么只有刪除文件的所有硬鏈接以及源文件時，系統(tǒng)才會徹底刪除該文件。

硬鏈接

軟鏈接相當(dāng)于重新創(chuàng)建一個文件，這個文件有**的 inode，但是這個文件的內(nèi)容是另外一個文件的路徑，所以訪問軟鏈接的時候，實際上相當(dāng)于訪問到了另外一個文件，所以軟鏈接是可以跨文件系統(tǒng)的，甚至目標(biāo)文件被刪除了，鏈接文件還是在的，只不過指向的文件找不到了而已。

軟鏈接

文件 I/O

文件的讀寫方式各有千秋，對于文件的 I/O 分類也非常多，常見的有

緩沖與非緩沖 I/O

直接與非直接 I/O

阻塞與非阻塞 I/O VS 同步與異步 I/O

接下來，分別對這些分類討論討論。

緩沖與非緩沖 I/O

文件**作的標(biāo)準(zhǔn)庫是可以實現(xiàn)數(shù)據(jù)的緩存，那么根據(jù)「是否利用標(biāo)準(zhǔn)庫緩沖」，可以把文件 I/O 分為緩沖 I/O 和非緩沖 I/O：

緩沖 I/O，利用的是標(biāo)準(zhǔn)庫的緩存實現(xiàn)文件的加速訪問，而標(biāo)準(zhǔn)庫再通過系統(tǒng)調(diào)用訪問文件。

非緩沖 I/O，直接通過系統(tǒng)調(diào)用訪問文件，不經(jīng)過標(biāo)準(zhǔn)庫緩存。

這里所說的「緩沖」特指標(biāo)準(zhǔn)庫內(nèi)部實現(xiàn)的緩沖。

比方說，很多程序遇到換行時才真正輸出，而換行前的內(nèi)容，其實就是被標(biāo)準(zhǔn)庫暫時緩存了起來，這樣做的目的是，減少系統(tǒng)調(diào)用的次數(shù)，畢竟系統(tǒng)調(diào)用是有 CPU 上下文切換的開銷的。

直接與非直接 I/O

我們都知道磁盤 I/O 是非常慢的，所以 Linux 內(nèi)核為了減少磁盤 I/O 次數(shù)，在系統(tǒng)調(diào)用后，會把用戶數(shù)據(jù)拷貝到內(nèi)核中緩存起來，這個內(nèi)核緩存空間也就是「頁緩存」，只有當(dāng)緩存滿足某些條件的時候，才發(fā)起磁盤 I/O 的請求。

那么，根據(jù)是「否利用**作系統(tǒng)的緩存」，可以把文件 I/O 分為直接 I/O 與非直接 I/O：

直接 I/O，不會發(fā)生內(nèi)核緩存和用戶程序之間數(shù)據(jù)**，而是直接經(jīng)過文件系統(tǒng)訪問磁盤。

非直接 I/O，讀**作時，數(shù)據(jù)從內(nèi)核緩存中拷貝給用戶程序，寫**作時，數(shù)據(jù)從用戶程序拷貝給內(nèi)核緩存，再由內(nèi)核決定什么時候?qū)懭霐?shù)據(jù)到磁盤。

如果你在使用文件**作類的系統(tǒng)調(diào)用函數(shù)時，指定了 O_DIRECT 標(biāo)志，則表示使用直接 I/O。如果沒有設(shè)置過，默認使用的是非直接 I/O。

如果用了非直接 I/O 進行寫數(shù)據(jù)**作，內(nèi)核什么情況下才會把緩存數(shù)據(jù)寫入到磁盤？

以下幾種場景會觸發(fā)內(nèi)核緩存的數(shù)據(jù)寫入磁盤：

在調(diào)用 write 的最后，當(dāng)發(fā)現(xiàn)內(nèi)核緩存的數(shù)據(jù)太多的時候，內(nèi)核會把數(shù)據(jù)寫到磁盤上；

用戶主動調(diào)用 sync，內(nèi)核緩存會刷到磁盤上；

當(dāng)內(nèi)存十分緊張，無法再分配頁面時，也會把內(nèi)核緩存的數(shù)據(jù)刷到磁盤上；

內(nèi)核緩存的數(shù)據(jù)的緩存時間超過某個時間時，也會把數(shù)據(jù)刷到磁盤上；

阻塞與非阻塞 I/O VS 同步與異步 I/O

為什么把阻塞 / 非阻塞與同步與異步放一起說的呢？因為它們確實非常相似，也非常容易混淆，不過它們之間的關(guān)系還是有點微妙的。

先來看看阻塞 I/O，當(dāng)用戶程序執(zhí)行 read ，線程會被阻塞，一直等到內(nèi)核數(shù)據(jù)準(zhǔn)備好，并把數(shù)據(jù)從內(nèi)核緩沖區(qū)拷貝到應(yīng)用程序的緩沖區(qū)中，當(dāng)拷貝過程完成，read 才會返回。

注意，阻塞等待的是「內(nèi)核數(shù)據(jù)準(zhǔn)備好」和「數(shù)據(jù)從內(nèi)核態(tài)拷貝到用戶態(tài)」這兩個過程。過程如下圖：

阻塞 I/O

知道了阻塞 I/O ，來看看非阻塞 I/O，非阻塞的 read 請求在數(shù)據(jù)未準(zhǔn)備好的情況下立即返回，可以繼續(xù)往下執(zhí)行，此時應(yīng)用程序不斷輪詢內(nèi)核，直到數(shù)據(jù)準(zhǔn)備好，內(nèi)核將數(shù)據(jù)拷貝到應(yīng)用程序緩沖區(qū)，read 調(diào)用才可以獲取到結(jié)果。過程如下圖：

非阻塞 I/O

注意，這里最后一次 read 調(diào)用，獲取數(shù)據(jù)的過程，是一個同步的過程，是需要等待的過程。這里的同步指的是內(nèi)核態(tài)的數(shù)據(jù)拷貝到用戶程序的緩存區(qū)這個過程。

舉個例子，訪問管道或 socket 時，如果設(shè)置了 O_NONBLOCK 標(biāo)志，那么就表示使用的是非阻塞 I/O 的方式訪問，而不做任何設(shè)置的話，默認是阻塞 I/O。

應(yīng)用程序每次輪詢內(nèi)核的 I/O 是否準(zhǔn)備好，感覺有點傻乎乎，因為輪詢的過程中，應(yīng)用程序啥也做不了，只是在循環(huán)。

為了解決這種傻乎乎輪詢方式，于是 I/O 多路復(fù)用技術(shù)就出來了，如 select、poll，它是通過 I/O **分發(fā)，當(dāng)內(nèi)核數(shù)據(jù)準(zhǔn)備好時，再以**通知應(yīng)用程序進行**作。

這個做法大大改善了應(yīng)用進程對 CPU 的利用率，在沒有被通知的情況下，應(yīng)用進程可以使用 CPU 做其他的事情。

下圖是使用 select I/O 多路復(fù)用過程。注意，read 獲取數(shù)據(jù)的過程（數(shù)據(jù)從內(nèi)核態(tài)拷貝到用戶態(tài)的過程），也是一個同步的過程，需要等待：

I/O 多路復(fù)用

實際上，無論是阻塞 I/O、非阻塞 I/O，還是基于非阻塞 I/O 的多路復(fù)用都是同步調(diào)用。因為它們在 read 調(diào)用時，內(nèi)核將數(shù)據(jù)從內(nèi)核空間拷貝到應(yīng)用程序空間，過程都是需要等待的，也就是說這個過程是同步的，如果內(nèi)核實現(xiàn)的拷貝效率不高，read 調(diào)用就會在這個同步過程中等待比較長的時間。

而真正的異步 I/O 是「內(nèi)核數(shù)據(jù)準(zhǔn)備好」和「數(shù)據(jù)從內(nèi)核態(tài)拷貝到用戶態(tài)」這兩個過程都不用等待。

當(dāng)我們發(fā)起 aio_read 之后，就立即返回，內(nèi)核自動將數(shù)據(jù)從內(nèi)核空間拷貝到應(yīng)用程序空間，這個拷貝過程同樣是異步的，內(nèi)核自動完成的，和前面的同步**作不一樣，應(yīng)用程序并不需要主動發(fā)起拷貝動作。過程如下圖：

異步 I/O

下面這張圖，小編綜合來說了以上幾種 I/O 模型：

在前面我們知道了，I/O 是分為兩個過程的：

數(shù)據(jù)準(zhǔn)備的過程；

數(shù)據(jù)從內(nèi)核空間拷貝到用戶進程緩沖區(qū)的過程；

阻塞 I/O 會阻塞在「過程 1 」和「過程 2」，而非阻塞 I/O 和基于非阻塞 I/O 的多路復(fù)用只會阻塞在「過程 2」，所以這三個都可以認為是同步 I/O。

異步 I/O 則不同，「過程 1 」和「過程 2 」都不會阻塞。

用故事去理解這幾種 I/O 模型

舉個你去飯?zhí)贸燥埖睦?，你好比用戶程序，飯?zhí)煤帽?*作系統(tǒng)。

阻塞 I/O 好比，你去飯?zhí)贸燥?，但是飯?zhí)玫牟诉€沒做好，第二你就一直在那里等啊等，等了好長一段時間終于等到飯?zhí)冒⒁贪巡硕肆顺鰜恚〝?shù)據(jù)準(zhǔn)備的過程），但是你還得繼續(xù)等阿姨把菜（內(nèi)核空間）打到你的飯盒里（用戶空間），經(jīng)歷完這兩個過程，你才可以離開。

非阻塞 I/O 好比，你去了飯?zhí)?，問阿姨菜做好了沒有，阿姨告訴你沒，你就離開了，過幾十分鐘，你又來飯?zhí)脝柊⒁?，阿姨說做好了，于是阿姨幫你把菜打到你的飯盒里，這個過程你是得等待的。

基于非阻塞的 I/O 多路復(fù)用好比，你去飯?zhí)贸燥?，發(fā)現(xiàn)有一排窗口，飯?zhí)冒⒁谈嬖V你這些窗口都還沒做好菜，等做好了再通知你，于是等啊等（select 調(diào)用中），過了一會阿姨通知你菜做好了，但是不知道哪個窗口的菜做好了，你自己看吧。于是你只能一個一個窗口去確認，后面發(fā)現(xiàn) 5 號窗口菜做好了，于是你讓 5 號窗口的阿姨幫你打菜到飯盒里，這個打菜的過程你是要等待的，雖然時間不長。打完菜后，你自然就可以離開了。

異步 I/O 好比，你讓飯?zhí)冒⒁虒⒉俗龊貌巡舜虻斤埡欣锖?，把飯盒送到你面前，整個過程你都不需要任何等待。

拓展知識：