C 语言多线程怎么读文件高效

C语言---多个线程读取文件，其代码如下：

#include

#include

#include

#include

#include

#include

#define THREAD_NUM 25

typedef struct

{undefined

FILE *_fp

int _nThreadId//第几个线程

sem_t *_semLock

}IDD_THREAD_PARAM

void *ThreadFunc(void *args)

{undefined

char sLine[100+1]

FILE *fpRead = ((IDD_THREAD_PARAM *)args)->_fp

sem_t *semLock = ((IDD_THREAD_PARAM *)args)->_semLock

int nId = ((IDD_THREAD_PARAM *)args)->_nThreadId

sem_wait(semLock)

while(!feof(fpRead))

{undefined

memset(sLine,0,sizeof(sLine))

fgets(sLine,100,fpRead)

fprintf(stderr,"Thread ID-%d:%s",nId,sLine)

}

sem_post(semLock)

}

int main()

{undefined

pthread_t *pThreads

sem_t semLock

pThreads = (pthread_t *)malloc(THREAD_NUM*sizeof(pthread_t))

sem_init(&semLock,0,1)

FILE *fp = fopen("test.txt","r")

//开始线程循环

IDD_THREAD_PARAM param

for(int i=0i

{undefined

memset(param,0,sizeof(IDD_THREAD_PARAM))

param._fp = fp

param._nThreadId = i

param._semLock = &semLock

pthread_create((pThreads+i),NULL,ThreadFunc,param)

}

for(int i=0i

pthread_join(*(pThreads+i),NULL)

free(pThreads)

pThreads = NULL

fclose(fp)

fp = NULL

return 0

}

第一章：绪论？

内核版本号格式：x.y.zz-www／x为主版本号，y为次版本号，zz为次次版本号，www为发行号／次版本号改变说明内核有重大变革，其偶数为稳定版本，奇数为尚在开发中的版本

第二章：基础？

文件种类：-：txt，二进制／d：目录／l：链接文件（link）／b：区块设备文件／c：字符设备文件／p：管道

目录结构：bin：可执行／boot：开机引导／dev：设备文件／etc：系统配置文件／lib：库文件／mnt：设备挂载点／var：系统日志／

命令：rmdir：删除空目录／find [path] [expression]／touch命令还可以修改指定文件的最近一次访问时间／tar -czvf usr.tar.gz path／tar –zxvf usr.tar.gz／tar –cjvf usr.tar.bz2 path／tar –jxvf usr.tar.bz2

gcc：预处理：-g／I在头文件搜索路径中添加目录，L在库文件搜索路径中

gdb：设置断点：b／查看断点信息：info

Makefile：make –f other_makefile／<：第一个依赖文件的名称／@：目标文件的完整名称／^：所有不重复的依赖文件／+：所有依赖文件（可能重复）

第三章：文件IO

read：read(fd, temp, size)／读fd中长度为size的值到temp／返回0表示file为NULL

write：write(fd, buf, buf_size)／写长度为buf_size的buf内容到fd中

lseek：lseek(fd, offset, SEEK_SET)／从文件开头向后增加offset个位移量

unlink：从文件系统中删除一个名字

open1：int open(const char * pathname, int flags, mode_t mode)／flags为读写方式／mode为权限设置／O_EXCL：测试文件是否存在／O_TRUNC：若存在同名文件则删除之并新建

open2：注意O_NONBLOCK

mmap.1：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offsize)

mmap.2：mmap(start_addr, flength, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0)

fcntl：上锁／int fcntl(int fd, int cmd, struct flock * lock)／对谁；做什么；设置所做内容

select：fd_max+1，回传读状况，回传写状况，回传异常，select等待的时间／NULL为永远等待／0为从不等待／凡需某状况则用之，反则(fd_set *)NULL之

FD_*那几个函数……

一般出错则返回-1

第四章：文件与目录

硬链接与符号链接？

chdir改变目录

0：in／1：out／2：err

第五章：内存管理

可执行文件存储时：代码区、数据区和未初始化区

栈：by编译器，向低址扩展，连续，效率高／堆：by程序员

/etc/syslog.conf，系统log记录文件／优先级为-20时最高

第六章：进程和信号

程序代码、数据、变量、文件描述符和环境／init的pid为1

execl族：int execl(const char * path, const char * arg, ....)／path即可执行文件的路径，一般为.／最后一个参数以NULL结束

waitpid：waitpid(pid_t pid,int * status,int options)／option：一般用WNOHANG，没有已经结束的子进程则马上返回，不等待

kill：int kill(pid_t pid,int sig)／发送信号sig给pid

void (*signal(int signum, void(* handler)(int)))(int)／第一个参数被满足时，执行handler／第一个参数常用：SIG_IGN：忽略信号／SIG_DFL：恢复默认信号

第七章：线程

sem_init(sem_t *sem, int pshared, unsigned int value)／pshared为0／value即初始值

第八章：管道

1：write／0：read

第九章：信号量、共享内存和消息队列

临界资源：操作系统中只允许一个进程访问的资源／临界区：访问临界资源的那段代码

信号量：建立联系（semget），然后初始化，PV操作，最后destroy

共享内存没有提供同步机制

第十章：套接字

UDP：无连接协议，无主客端的区分／实时性

TCP：字节流／数据可靠性／网络可靠性

数据报：SOCK_STREAM／SOCK_DGRAM

其它

管道一章的both_pipe即父子进程间的全双工管道通讯

关系到信号和互斥的服务器-客户端程序

线程一章的class的multi_thread文件夹下的thread8.c

int main(void)

{

int data_processed

int file_pipes_1[2]

int file_pipes_2[2]

char buffer[BUFSIZ + 1]

const char some_data[] = "123"

const char ch2p[] = "this is the string from child to the parent!"

const char p2ch[] = "this is the string from parent to the child!"

pid_t fork_result

memset(buffer,'\0',sizeof(buffer))

if(pipe(file_pipes_1) == 0){

if(pipe(file_pipes_2) == 0){

fork_result = fork()

switch(fork_result){

case -1:

perror("fork error")

exit(EXIT_FAILURE)

case 0://child

close(file_pipes_1[1])

close(file_pipes_2[0])

printf("in the child!\n")

read(file_pipes_1[0],buffer, BUFSIZ)

printf("in the child, read_result is \"%s\"\n",buffer)

write(file_pipes_2[1],ch2p, sizeof(ch2p))

printf("in the child, write_result is \"%s\"\n",ch2p)

exit(EXIT_SUCCESS)

default://parent

close(file_pipes_1[0])

close(file_pipes_2[1])

printf("in the parent!\n")

write(file_pipes_1[1], p2ch, sizeof(p2ch))

printf("in the parent, write_result is \"%s\"\n",p2ch)

read(file_pipes_2[0],buffer, BUFSIZ)

printf("in the parent, read_result is \"%s\"\n",buffer)

exit(EXIT_SUCCESS)

}

}

}

}

#ifndef DBG

#define DBG

#endif

#undef DBG

#ifdef DBG

#define PRINTF(fmt, args...) printf("file->%s line->%d: " \

fmt, __FILE__, __LINE__, ##args)

#else

#define PRINTF(fmt, args...) do{}while(0)

#endif

int main(void)

{

PRINTF("%s\n", "hello!")

fprintf(stdout, "hello hust!\n")

return 0

}

#define N 5

#define MAX 5

int nput = 0

char buf[MAX][50]

char *buffer = "abcdefghijklmnopqrstuvwxyz0123456789"

char buf_r[100]

sem_t mutex,full,avail

void *productor(void *arg)

void *consumer(void *arg)

int i = 0

int main(int argc, char **argv)

{

int cnt = -1

int ret

int nput = 0

pthread_t id_produce[10]

pthread_t id_consume

ret = sem_init(&mutex, 0, 1)

ret = sem_init(&avail, 0, N)

ret = sem_init(&full, 0, 0)

for(cnt = 0cnt <6cnt ++ ){

//pthread_create(&id_produce[cnt], NULL, (void *)productor, &cnt)

pthread_create(&id_produce[cnt], NULL, (void *)productor, (void *)cnt)

}

pthread_create(&id_consume, NULL, (void *)consumer, NULL)

for(cnt = 0cnt <6cnt ++){

pthread_join(id_produce[cnt], NULL)

}

pthread_join(id_consume,NULL)

sem_destroy(&mutex)

sem_destroy(&avail)

sem_destroy(&full)

exit(EXIT_SUCCESS)

}

void *productor(void *arg)

{

while(1){

sem_wait(&avail)

sem_wait(&mutex)

if(nput >= MAX * 3){

sem_post(&avail)

//sem_post(&full)

sem_post(&mutex)

return NULL

}

sscanf(buffer + nput, "%s", buf[nput % MAX])

//printf("write[%d] \"%s\" to the buffer[%d]\n", (*(int*)arg), buf[nput % MAX],nput % MAX)

printf("write[%d] \"%s\" to the buffer[%d]\n", (int)arg, buf[nput % MAX],nput % MAX)

nput ++

printf("nput = %d\n", nput)

sem_post(&mutex)

sem_post(&full)

}

return NULL

}

void *consumer(void *arg)

{

int nolock = 0

int ret, nread, i

for(i = 0 i <MAX * 3i++)

{

sem_wait(&full)

sem_wait(&mutex)

memset(buf_r, 0, sizeof(buf_r))

strncpy(buf_r, buf[i % MAX], sizeof(buf[i % MAX]))

printf("read \"%s\" from the buffer[%d]\n\n",buf_r, i % MAX)

sem_post(&mutex)

sem_post(&avail)

//sleep(1)

}

return NULL

}

线程之间的同步和互斥解决的问题是线程对共同资源进行访问。Posix有两种方式：

信号量和互斥锁；信号量适用同时可用的资源为多个的情况；互斥锁适用于线程可用的资源只有一个的情况

1、互斥锁：互斥锁是用加锁的方式来控制对公共资源的原子操作(一旦开始进行就不会被打断的操作)

互斥锁只有上锁和解锁两种状态。互斥锁可以看作是特殊意义的全局变量，因为在同一时刻只有一个线程能够对互斥锁进行操作；只有上锁的进程才可以对公共资源进行访问，其他进程只能等到该进程解锁才可以对公共资源进行操作。

互斥锁操作函数：

pthread_mutex_init()//初始化

pthread_mutex_lock()//上锁参数：pthread_mutex_t *mutex

pthread_mutex_trylock()//判断上锁 参数：pthread_mutex_t *mutex

pthread_mutex_unlock()//解锁参数：pthread_mutex_t *mutex

pthread_mutex_release()//消除互斥锁 参数：pthread_mutex_t *mutex

互斥锁分为快速互斥锁、递归互斥锁、检错互斥锁；在 init 的时候确定

int pthread_mutex_t(pthread_mutex_t *mutex, const pthread_mutex_t mutexattr)

第一个参数：进行操作的锁

mutexattr：锁的类型，默认快速互斥锁（阻塞）123456789

2、信号量：信号量本质上是一个计数器，在操作系统做用于PV原子操作；

P操作使计数器－1；V操作使计数器+1.

在互斥操作中可以是使用一个信号量；在同步操作中需要使用多个信号量，并设置不同的初始值安排它们顺序执行

sem_init() // 初始化操作

sem_wait() // P操作，计数器减一；阻塞参数：sem_t *sem

sem_trywait() // P操作，计数器减一；非阻塞 参数：sem_t *sem

sem_post()// V操作，计数器加一 参数：sem_t *sem

sem_destroy() // 销毁信号量参数：sem_t *sem

sem_init(sem_t *sem, int pshared, int value)

pshared用于指定多少个进程共享；value初始值

---