PHP: Gearman实现分布式处理, 分布式任务分发框架Gearman教程

一. 场景分析

业务服务压力比较大，想把一些占用资源的功能异步到远程处理，比如记录业务日志，文件加密，文件分发到其他文件服务器节点上，检查文件服务器是否已同步，对用户上传的图片进行剪裁生成多份缩略图，视频转换，静态内容生成，清除缓存等等，这些请求耗时长，占用系统资源大，影响业务正常访问。这些问题会经常遇到的，如果这些任务都在用户请求过程中完成，服务器撑不撑得住暂不考虑，单凭用户体验角度考虑来说，那是难以忍受的。

二. 解决之道

对于这种需求，我们可以通过分布式计算，对任务进行拆分，转移到多台服务器上进行异步或同步处理。分布式消息队列有多种实现方式如rabbitmq、gearman等。 在这里主要说gearman—分布式处理系统。gearman由三部分组成：Job server，worker server，client server。 任务服务器job server运行这gearmand进程，来负责处理应用的远程调用请求，并且维护计算任务；工作服务器worker server负责向job server注册函数等待领取任务并执行实际的计算，然后将结果返回给job server；客户端client server提供gearman client API给应用程序调用，API支持多种语言如C、php、perl、python、mysql udf、java、ruby、go等等，主要是向job server添加任务，

流程图如下：

通常，多语言多系统之间的集成是个大问题，一般来说，人们多半会采用WebService的方式来处理此类集成问题，但不管采用何种风格的WebService，如RPC风格，或者REST风格，其本身都有一定的复杂性。相比之下，Gearman也能实现类似的作用，而且更简单易用。

一个Gearman请求的处理过程涉及三个角色：Client -> Job -> Worker。

Client：请求的发起者，可以是C，PHP，Perl，MySQL UDF等等。
Job：请求的调度者，用来负责协调把Client发出的请求转发给合适的Work。
Worker：请求的处理者，可以是C，PHP，Perl等等。

因为Client，Worker并不限制用一样的语言，所以有利于多语言多系统之间的集成。

甚至我们通过增加更多的Worker，可以很方便的实现应用程序的分布式负载均衡架构。

客户端client server向gearman添加任务时，有三种模式：

1. 同步顺序处理 相当于消息队列，先进先出。
2. 同步并行处理 这种模式会阻塞后面的运行，将互不依赖的任务并行处理，大大缩短整体处理时间。
3. 异步后台处理 将耗时任务交给后台处理，不阻塞当前进程。

三. 应用实例

官网：http://gearman.org/download/

Job Server (gearmand) ： https://github.com/gearman/gearmand/releases

Client & Worker APIs：https://launchpad.net/gearmand/

1.  安装Gearman server and library：

wget https://github.com/gearman/gearmand/releases/download/1.1.18/gearmand-1.1.18.tar.gz
tar zxf gearmand-1.1.18.tar.gz
cd gearmand-1.1.18
./configure
sudo make
sudo make install

sudo apt-get install libevent-dev
sudo apt-get install uuid-dev

sudo ldconfig

wget http://pecl.php.net/get/gearman-1.0.2.tgz
tar zxf gearman-1.0.2.tgz
cd gearman-1.0.2
phpize
./configure
sudo make
sudo make install

sudo apt-get install php7dev

php --ini

extension = "gearman.so"

$ php --info | grep "gearman support"
gearman
gearman support => enabled
libgearman version => 1.1.18

<?php
  print gearman_version() . "\n";
?>

$ php verify_gearman.php
1.1.18

<?php
  $client= new GearmanClient();
  $client->addServer();
  print $client->do("title", "AlL THE World's a sTagE");
  print "\n";
?>

<?php
  $worker= new GearmanWorker();
  $worker->addServer();
  $worker->addFunction("title", "title_function");
  while ($worker->work());
    
  function title_function($job)
  {
    return ucwords(strtolower($job->workload()));
  }
?>

gearmand -d

php -c /etc/php5/apache2/php.ini worker.php

php -c /etc/php5/apache2/php.ini client.php

$ php worker.php &
$ php client.php
All The World's A Stage
$ jobs
[3]+  Running                 php worker.php &

本文：PHP: Gearman实现分布式处理, 分布式任务分发框架Gearman教程