热门IT资讯网

PHP之pcntl_fork多进程并发编程示例

发表于:2024-11-25 作者:热门IT资讯网编辑
编辑最后更新 2024年11月25日,待下载的网页地址放在$urls数组中,按指定的并发数多进程下载网页,下载的网页保存在本地硬盘,下载的网页大小通过linux消息队列发送给父进程累加,全部网页下载完成后,父进程显示下载的网页数、字节数。

待下载的网页地址放在$urls数组中,按指定的并发数多进程下载网页,下载的网页保存在本地硬盘,下载的网页大小通过linux消息队列发送给父进程累加,全部网页下载完成后,父进程显示下载的网页数、字节数。代码如下。

0) {//父进程}elseif ($pids[$ct]==0) {//子进程download($urls[$ct], $msg_queue);exit(0);}$cttask++;$ct++;}$tmppid = pcntl_waitpid(0, $status);//等待子进程结束foreach($pids as $key => $pid) {    if($tmppid == $pid){    unset($pids[$key]);    $cttask--;//子进程结束后,并发进程计数器减1    }}do {//从消息队列出取出每个网页的大小,计算下载的字节数。如果要下载的网页很多,需要把此段代码放到下载网页的循环中,否则可能会出现队列满的情况。msg_receive($msg_queue, 0, $message_type, 16, $message, true, MSG_IPC_NOWAIT); //echo "[".$message."]\n";$total_bytes += $message;$a = msg_stat_queue($msg_queue);if($a['msg_qnum'] == 0){//这种方式退出比$ct==$urls_num好,因为如果fork==-1,就不会有$urls_num个消息,程序会永远等待消息。    break;}} while(true);}while ($cttask > 0) {//等待最后$cttask个子进程结束$tmppid = pcntl_waitpid(0,$status);foreach($pids as $key => $pid) {    if($tmppid == $pid){    unset($pids[$key]);    $cttask--;    }}}do {//取得最后$cttask个子进程的消息msg_receive($msg_queue, 0, $message_type, 16, $message, true, MSG_IPC_NOWAIT); //echo "[".$message."]\n";$total_bytes += $message;$a = msg_stat_queue($msg_queue);if($a['msg_qnum'] == 0){    break;}} while(true);msg_remove_queue($msg_queue);//删除消息队列echo "\nDone. download: ".$urls_num." pages,total: ".round($total_bytes/1024,3)." KB \n";exit(0);function download($url, $msg_queue) {//下载指定网页,把内容保存在本地硬盘,并下载内容的长度放入消息队列中$dirname = "/tmp/donwload/";//保存下载网页的目录,要事先创建好$content = file_get_contents($url);if ($content === false) {$content = 0;}$url_parts = parse_url($url);$fname = $dirname.$url_parts['host'];$ret = file_put_contents($fname, $content);msg_send($msg_queue, 1, strlen($content));} ?>

参考资料:

PHP实现进程间通信:消息队列 https://www.douban.com/note/245520545/


0