Small. Fast. Reliable.
Choose any three.

SQLite内部与外部BLOB

如果您有一个大型BLOB的数据库，那么将完整的BLOB内容直接存储在数据库中时，会获得更好的读取性能吗？还是将每个BLOB存储在单独的文件中并在数据库中仅存储相应的文件名会更快吗？

为了回答这个问题，我们在Linux工作站（Ubuntu大约在2011年，快速SATA磁盘上使用Ext4文件系统）上运行了49个具有各种BLOB大小和SQLite页面大小的测试用例。对于每个测试用例，都会创建一个包含100MB BLOB内容的数据库。BLOB的大小从10KB到1MB不等。BLOB的数量各不相同，以使BLOB的总内容保持在大约100MB。（因此，对于1MB大小，有100个BLOB，对于10K大小，有10000个BLOB，依此类推。）使用了SQLite版本3.7.8（2011-09-19）。

更新：SQLite版本3.19.0（2017-05-22）的新测量表明，对于10KB Blob的读取和写入，SQLite的速度比直接磁盘I / O快35％。

下面的矩阵显示了读取存储在单独文件中的BLOB所需的时间除以读取完全存储在数据库中的BLOB所需的时间。因此，对于大于1.0的数字，将BLOB直接存储在数据库中会更快。对于小于1.0的数字，将BLOB存储在单独的文件中会更快。

在每种情况下，都将调页器缓存大小调整为将缓存内存量保持在2MB左右。例如，一个2000页的高速缓存用于1024个字节的页面，而31页的高速缓存用于65536个字节的页面。BLOB值以随机顺序读取。

数据库页面大小	BLOB大小
数据库页面大小	10k	20k	50k	100k	20万	50万	1m
1024	1.535	1.020	0.608	0.456	0.330	0.247	0.233
2048	2.004	1.437	0.870	0.636	0.483	0.372	0.340
4096	2.261	1.886	1.173	0.890	0.701	0.526	0.487
8192	2.240	1.866	1.334	1.035	0.830	0.625	0.720
16384	2.439	1.757	1.292	1.023	0.829	0.820	0.598
32768	1.878	1.843	1.296	0.981	0.976	0.675	0.613
65536	1.256	1.255	1.339	0.983	0.769	0.687	0.609

我们从上面的矩阵中得出以下经验法则：

数据库页面大小为8192或16384可为大型BLOB I / O提供最佳性能。
对于小于100KB的BLOB，将BLOB直接存储在数据库文件中时，读取速度更快。对于大于100KB的BLOB，从单独的文件读取速度更快。

当然，您的里程可能会因硬件，文件系统和操作系统而异。在进行特定设计之前，请在目标硬件上仔细检查这些数字。