【linux】海量小文件的存储方案

在介绍海量文件存储之前，需要先介绍一下常见的系统里面文件是如何存储的

文件inode

在linux下，每个文件或者目录，都会分配一个inode(index node)，它不存储具体的文件内容，而是记录该文件的基础信息。每个inode大小一半是100-200kb(画重点，下面会用)。inode下会记录：

文件大小、类型；
权限信息，比如所属组，用户，访问控制；
文件的操作时间；
具体数据在磁盘的位置；
文件系统初始化的时候，磁盘空间一般都会分俩部分。一部分就是存储inode，一部分是真正的存储文件内容。需要注意的系统的inode数量是有上限的，即系统最多可以存储多少个文件。有可能磁盘空间还有很多，但inode已经被用完；那此时系统无法再分配新的inode，你也依旧无法再存储新的文件。查看文件占用多少inode，和系统还有多少inode可以用如下俩个命令：

#某一文件inode占用
[root@why /]# stat my_file
File: my_file
Size: 0               Blocks: 0          IO Block: 4096   regular empty file
Device: xx    Inode: 17          Links: 1

Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2024-03-26 11:30:27
Modify: 2024-03-26 11:30:27
Change: 2024-03-26 11:30:27

#系统inode使用个数情况，注意是个数。
[root@why /]# df -i
Filesystem      Inodes IUsed   IFree IUse% Mounted on
tmpfs           203330     100  203230    1% /dev/shm
tmpfs           203330     100  203230    1% /run
tmpfs           203330    200  203130    1% /sys/fs/cgroup

#当使用率100%，那系统则无法再新曾文件。
#

海量文件存储

海量文件的元数据管理

海量文件存储就是数亿数十亿上百亿的文件存储，在如今互联网上，海量文件基本是个常态。图片、视频、商品等，很容易达到这个量级。在这个量级下，当前单机系统存储，是肯定存不下的。比如一个100亿的文件，先不考虑inode数量，光inode的存储大概就得1个TB，再加上具体的文件内容，很容易就超出单机系统了。这是海量文件要解的第一个问题，就是海量文件的元数据管理。

海量文件下如何高速支撑文件读取

假如存储支撑了这么多的元数据，比如单独搞到机器存储元数据，1TB其实压力还是可以的；或者多找几台机器分布式存储机器。此时会引入第二个问题，海量的文件下如何快速访问文件。对于一次文件读取是要先加载inode，找到真实文件存储位置再去读具体文件。一般系统为了加速文件访问，会把inode缓存在系统里(vfscache：https://www.science.unitn.it/~fiorella/guidelinux/tlk/node110.html)。如果这么大量的inode，很难缓存住的，海量文件下如何高速支撑文件读取。