转载

LINUX系统编程关于SDTIO库缓冲区

我们知道标准C中的文件读取的函数比如printf,fwrite等函数，实际都是调用OS级别的
API，比如LINUX下就是wirte，read函数，而write read函数在用户态下是没有缓冲的，
当然在内核态有OS CACHE/OS BUFFER，所以某些直接调用wirte，read的程序肯定会
分配一个缓冲区，特别是O_DIRECT这种方式下，内核态的OS CACHE和OS BUFFER没用
这种情况下用户态的BUFFER显得更加重要，因为不可能一次读一个字节吧，那性能可想而知

而作为用户态空间的STDIO也是这样做的，它会为打开的文件分配缓存，默认应该是8192字节
如下图摘自UNIX系统编程手册 13章：
LINUX系统编程关于SDTIO库缓冲区

实际上我们可以使用setvbuf来设置某个打开文件的缓冲大小及模式。
我们来看看原型：
int setvbuf(FILE *stream, char *buf, int mode, size_t size);
返回0为成功，非零为失败
FILE *stream：打开文件的FILE*
char *buf：BUFFER的地址，如果为NULL，MODE为_IOLBF和_IOFBF则自动分配缓冲区
如果为_IONBF则不分配缓冲区
int mode：_IONBF不使用缓冲区，立即调用write/read,忽略buf和size为NULL和0，stderr属于这个
_IOLBF使用行缓冲I/O，终端设备默认为这种。要么遇到换行符要么缓冲满才调用write/read,
stdin/stdout属于这个。
_IOFBF采用全缓冲I/O，buffer满才调用write/read，磁盘I/O属于这个比如fwrite/fread
size_t size:缓冲大小

更简单函数setbuf原型如下：
void setbuf(FILE *stream, char *buf);
相当于
setvbuf(fp,buf,(buf !=NULL)?_IOFBF:_IONBF,BUFSIZ);

如果buf=NULL则_IONBF打开不带缓冲，或者调用全缓冲，BUFSIZ默认8192。
所以我们如果不想用缓冲直接：
setvbuf(fp,NULL)
即可。

现在回想一下fread
size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream);

fread的时候我们通常要calloc一块内存用于void *ptr，那么现在我们想一下实际
上这个数据正常缓存到了3个地方
1、用户分配的内存*ptr
2、STDIO的缓存默认8192
3、内核态OS CACHE
这视乎有点臃肿，我们可以想办法简化。事实上数据库软件有时候只使用了用户态
的一份缓存，而打开O_DIRECT来提高性能。

下面一个小程序可以验证打开和关闭stdout缓冲的区别：

int main(void)
{
int i;
// setbuf(stdout,NULL);

for(i=0;i<10;i++)
{
printf("-");
sleep(1);
}

printf("/n");
}

区别就是是否使用setbuf，如果使用setbuf则 -符号会一个一个输出，不使用会一起输出
这就是STDIO缓存在作怪。

正文到此结束