src/stream/ngx_stream_upstream_zone_module.c - nginx source code

Global variables defined

Functions defined

Macros defined

Source code


  1. /*
  2. * Copyright (C) Ruslan Ermilov
  3. * Copyright (C) Nginx, Inc.
  4. */


  5. #include <ngx_config.h>
  6. #include <ngx_core.h>
  7. #include <ngx_stream.h>


  8. static char *ngx_stream_upstream_zone(ngx_conf_t *cf, ngx_command_t *cmd,
  9.     void *conf);
  10. static ngx_int_t ngx_stream_upstream_init_zone(ngx_shm_zone_t *shm_zone,
  11.     void *data);
  12. static ngx_stream_upstream_rr_peers_t *ngx_stream_upstream_zone_copy_peers(
  13.     ngx_slab_pool_t *shpool, ngx_stream_upstream_srv_conf_t *uscf,
  14.     ngx_stream_upstream_srv_conf_t *ouscf);
  15. static ngx_stream_upstream_rr_peer_t *ngx_stream_upstream_zone_copy_peer(
  16.     ngx_stream_upstream_rr_peers_t *peers, ngx_stream_upstream_rr_peer_t *src);
  17. static ngx_int_t ngx_stream_upstream_zone_preresolve(
  18.     ngx_stream_upstream_rr_peer_t *resolve,
  19.     ngx_stream_upstream_rr_peers_t *peers,
  20.     ngx_stream_upstream_rr_peer_t *oresolve,
  21.     ngx_stream_upstream_rr_peers_t *opeers);
  22. static void ngx_stream_upstream_zone_set_single(
  23.     ngx_stream_upstream_srv_conf_t *uscf);
  24. static void ngx_stream_upstream_zone_remove_peer_locked(
  25.     ngx_stream_upstream_rr_peers_t *peers, ngx_stream_upstream_rr_peer_t *peer);
  26. static ngx_int_t ngx_stream_upstream_zone_init_worker(ngx_cycle_t *cycle);
  27. static void ngx_stream_upstream_zone_resolve_timer(ngx_event_t *event);
  28. static void ngx_stream_upstream_zone_resolve_handler(ngx_resolver_ctx_t *ctx);


  29. static ngx_command_t  ngx_stream_upstream_zone_commands[] = {

  30.     { ngx_string("zone"),
  31.       NGX_STREAM_UPS_CONF|NGX_CONF_TAKE12,
  32.       ngx_stream_upstream_zone,
  33.       0,
  34.       0,
  35.       NULL },

  36.       ngx_null_command
  37. };


  38. static ngx_stream_module_t  ngx_stream_upstream_zone_module_ctx = {
  39.     NULL,                                  /* preconfiguration */
  40.     NULL,                                  /* postconfiguration */

  41.     NULL,                                  /* create main configuration */
  42.     NULL,                                  /* init main configuration */

  43.     NULL,                                  /* create server configuration */
  44.     NULL                                   /* merge server configuration */
  45. };


  46. ngx_module_t  ngx_stream_upstream_zone_module = {
  47.     NGX_MODULE_V1,
  48.     &ngx_stream_upstream_zone_module_ctx/* module context */
  49.     ngx_stream_upstream_zone_commands,     /* module directives */
  50.     NGX_STREAM_MODULE,                     /* module type */
  51.     NULL,                                  /* init master */
  52.     NULL,                                  /* init module */
  53.     ngx_stream_upstream_zone_init_worker/* init process */
  54.     NULL,                                  /* init thread */
  55.     NULL,                                  /* exit thread */
  56.     NULL,                                  /* exit process */
  57.     NULL,                                  /* exit master */
  58.     NGX_MODULE_V1_PADDING
  59. };


  60. static char *
  61. ngx_stream_upstream_zone(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
  62. {
  63.     ssize_t                           size;
  64.     ngx_str_t                        *value;
  65.     ngx_stream_upstream_srv_conf_t   *uscf;
  66.     ngx_stream_upstream_main_conf_t  *umcf;

  67.     uscf = ngx_stream_conf_get_module_srv_conf(cf, ngx_stream_upstream_module);
  68.     umcf = ngx_stream_conf_get_module_main_conf(cf, ngx_stream_upstream_module);

  69.     value = cf->args->elts;

  70.     if (!value[1].len) {
  71.         ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
  72.                            "invalid zone name \"%V\"", &value[1]);
  73.         return NGX_CONF_ERROR;
  74.     }

  75.     if (cf->args->nelts == 3) {
  76.         size = ngx_parse_size(&value[2]);

  77.         if (size == NGX_ERROR) {
  78.             ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
  79.                                "invalid zone size \"%V\"", &value[2]);
  80.             return NGX_CONF_ERROR;
  81.         }

  82.         if (size < (ssize_t) (8 * ngx_pagesize)) {
  83.             ngx_conf_log_error(NGX_LOG_EMERG, cf, 0,
  84.                                "zone \"%V\" is too small", &value[1]);
  85.             return NGX_CONF_ERROR;
  86.         }

  87.     } else {
  88.         size = 0;
  89.     }

  90.     uscf->shm_zone = ngx_shared_memory_add(cf, &value[1], size,
  91.                                            &ngx_stream_upstream_module);
  92.     if (uscf->shm_zone == NULL) {
  93.         return NGX_CONF_ERROR;
  94.     }

  95.     uscf->shm_zone->init = ngx_stream_upstream_init_zone;
  96.     uscf->shm_zone->data = umcf;

  97.     uscf->shm_zone->noreuse = 1;

  98.     return NGX_CONF_OK;
  99. }


  100. static ngx_int_t
  101. ngx_stream_upstream_init_zone(ngx_shm_zone_t *shm_zone, void *data)
  102. {
  103.     size_t                            len;
  104.     ngx_uint_t                        i, j;
  105.     ngx_slab_pool_t                  *shpool;
  106.     ngx_stream_upstream_rr_peers_t   *peers, **peersp;
  107.     ngx_stream_upstream_srv_conf_t   *uscf, *ouscf, **uscfp, **ouscfp;
  108.     ngx_stream_upstream_main_conf_t  *umcf, *oumcf;

  109.     shpool = (ngx_slab_pool_t *) shm_zone->shm.addr;
  110.     umcf = shm_zone->data;
  111.     uscfp = umcf->upstreams.elts;

  112.     if (shm_zone->shm.exists) {
  113.         peers = shpool->data;

  114.         for (i = 0; i < umcf->upstreams.nelts; i++) {
  115.             uscf = uscfp[i];

  116.             if (uscf->shm_zone != shm_zone) {
  117.                 continue;
  118.             }

  119.             uscf->peer.data = peers;
  120.             peers = peers->zone_next;
  121.         }

  122.         return NGX_OK;
  123.     }

  124.     len = sizeof(" in upstream zone \"\"") + shm_zone->shm.name.len;

  125.     shpool->log_ctx = ngx_slab_alloc(shpool, len);
  126.     if (shpool->log_ctx == NULL) {
  127.         return NGX_ERROR;
  128.     }

  129.     ngx_sprintf(shpool->log_ctx, " in upstream zone \"%V\"%Z",
  130.                 &shm_zone->shm.name);


  131.     /* copy peers to shared memory */

  132.     peersp = (ngx_stream_upstream_rr_peers_t **) (void *) &shpool->data;
  133.     oumcf = data;

  134.     for (i = 0; i < umcf->upstreams.nelts; i++) {
  135.         uscf = uscfp[i];

  136.         if (uscf->shm_zone != shm_zone) {
  137.             continue;
  138.         }

  139.         ouscf = NULL;

  140.         if (oumcf) {
  141.             ouscfp = oumcf->upstreams.elts;

  142.             for (j = 0; j < oumcf->upstreams.nelts; j++) {

  143.                  if (ouscfp[j]->shm_zone == NULL) {
  144.                      continue;
  145.                  }

  146.                  if (ouscfp[j]->shm_zone->shm.name.len != shm_zone->shm.name.len
  147.                      || ngx_memcmp(ouscfp[j]->shm_zone->shm.name.data,
  148.                                    shm_zone->shm.name.data,
  149.                                    shm_zone->shm.name.len)
  150.                         != 0)
  151.                  {
  152.                      continue;
  153.                  }

  154.                  if (ouscfp[j]->host.len == uscf->host.len
  155.                      && ngx_memcmp(ouscfp[j]->host.data, uscf->host.data,
  156.                                    uscf->host.len)
  157.                         == 0)
  158.                  {
  159.                      ouscf = ouscfp[j];
  160.                      break;
  161.                  }
  162.             }
  163.         }

  164.         peers = ngx_stream_upstream_zone_copy_peers(shpool, uscf, ouscf);
  165.         if (peers == NULL) {
  166.             return NGX_ERROR;
  167.         }

  168.         *peersp = peers;
  169.         peersp = &peers->zone_next;
  170.     }

  171.     return NGX_OK;
  172. }


  173. static ngx_stream_upstream_rr_peers_t *
  174. ngx_stream_upstream_zone_copy_peers(ngx_slab_pool_t *shpool,
  175.     ngx_stream_upstream_srv_conf_t *uscf, ngx_stream_upstream_srv_conf_t *ouscf)
  176. {
  177.     ngx_str_t                       *name;
  178.     ngx_uint_t                      *config;
  179.     ngx_stream_upstream_rr_peer_t   *peer, **peerp;
  180.     ngx_stream_upstream_rr_peers_t  *peers, *opeers, *backup;

  181.     opeers = (ouscf ? ouscf->peer.data : NULL);

  182.     config = ngx_slab_calloc(shpool, sizeof(ngx_uint_t));
  183.     if (config == NULL) {
  184.         return NULL;
  185.     }

  186.     peers = ngx_slab_alloc(shpool, sizeof(ngx_stream_upstream_rr_peers_t));
  187.     if (peers == NULL) {
  188.         return NULL;
  189.     }

  190.     ngx_memcpy(peers, uscf->peer.data, sizeof(ngx_stream_upstream_rr_peers_t));

  191.     name = ngx_slab_alloc(shpool, sizeof(ngx_str_t));
  192.     if (name == NULL) {
  193.         return NULL;
  194.     }

  195.     name->data = ngx_slab_alloc(shpool, peers->name->len);
  196.     if (name->data == NULL) {
  197.         return NULL;
  198.     }

  199.     ngx_memcpy(name->data, peers->name->data, peers->name->len);
  200.     name->len = peers->name->len;

  201.     peers->name = name;

  202.     peers->shpool = shpool;
  203.     peers->config = config;

  204.     for (peerp = &peers->peer; *peerp; peerp = &peer->next) {
  205.         /* pool is unlocked */
  206.         peer = ngx_stream_upstream_zone_copy_peer(peers, *peerp);
  207.         if (peer == NULL) {
  208.             return NULL;
  209.         }

  210.         *peerp = peer;
  211.         (*peers->config)++;
  212.     }

  213.     for (peerp = &peers->resolve; *peerp; peerp = &peer->next) {
  214.         peer = ngx_stream_upstream_zone_copy_peer(peers, *peerp);
  215.         if (peer == NULL) {
  216.             return NULL;
  217.         }

  218.         *peerp = peer;
  219.         (*peers->config)++;
  220.     }

  221.     if (opeers) {

  222.         if (ngx_stream_upstream_zone_preresolve(peers->resolve, peers,
  223.                                                 opeers->resolve, opeers)
  224.             != NGX_OK)
  225.         {
  226.             return NULL;
  227.         }
  228.     }

  229.     if (peers->next == NULL) {
  230.         goto done;
  231.     }

  232.     backup = ngx_slab_alloc(shpool, sizeof(ngx_stream_upstream_rr_peers_t));
  233.     if (backup == NULL) {
  234.         return NULL;
  235.     }

  236.     ngx_memcpy(backup, peers->next, sizeof(ngx_stream_upstream_rr_peers_t));

  237.     backup->name = name;

  238.     backup->shpool = shpool;
  239.     backup->config = config;

  240.     for (peerp = &backup->peer; *peerp; peerp = &peer->next) {
  241.         /* pool is unlocked */
  242.         peer = ngx_stream_upstream_zone_copy_peer(backup, *peerp);
  243.         if (peer == NULL) {
  244.             return NULL;
  245.         }

  246.         *peerp = peer;
  247.         (*backup->config)++;
  248.     }

  249.     for (peerp = &backup->resolve; *peerp; peerp = &peer->next) {
  250.         peer = ngx_stream_upstream_zone_copy_peer(backup, *peerp);
  251.         if (peer == NULL) {
  252.             return NULL;
  253.         }

  254.         *peerp = peer;
  255.         (*backup->config)++;
  256.     }

  257.     peers->next = backup;

  258.     if (opeers && opeers->next) {

  259.         if (ngx_stream_upstream_zone_preresolve(peers->resolve, backup,
  260.                                                 opeers->resolve, opeers->next)
  261.             != NGX_OK)
  262.         {
  263.             return NULL;
  264.         }

  265.         if (ngx_stream_upstream_zone_preresolve(backup->resolve, backup,
  266.                                                 opeers->next->resolve,
  267.                                                 opeers->next)
  268.             != NGX_OK)
  269.         {
  270.             return NULL;
  271.         }
  272.     }

  273. done:

  274.     uscf->peer.data = peers;

  275.     ngx_stream_upstream_zone_set_single(uscf);

  276.     return peers;
  277. }


  278. static ngx_stream_upstream_rr_peer_t *
  279. ngx_stream_upstream_zone_copy_peer(ngx_stream_upstream_rr_peers_t *peers,
  280.     ngx_stream_upstream_rr_peer_t *src)
  281. {
  282.     ngx_slab_pool_t                *pool;
  283.     ngx_stream_upstream_rr_peer_t  *dst;

  284.     pool = peers->shpool;

  285.     dst = ngx_slab_calloc_locked(pool, sizeof(ngx_stream_upstream_rr_peer_t));
  286.     if (dst == NULL) {
  287.         return NULL;
  288.     }

  289.     if (src) {
  290.         ngx_memcpy(dst, src, sizeof(ngx_stream_upstream_rr_peer_t));
  291.         dst->sockaddr = NULL;
  292.         dst->name.data = NULL;
  293.         dst->server.data = NULL;
  294.         dst->host = NULL;
  295.     }

  296.     dst->sockaddr = ngx_slab_calloc_locked(pool, sizeof(ngx_sockaddr_t));
  297.     if (dst->sockaddr == NULL) {
  298.         goto failed;
  299.     }

  300.     dst->name.data = ngx_slab_calloc_locked(pool, NGX_SOCKADDR_STRLEN);
  301.     if (dst->name.data == NULL) {
  302.         goto failed;
  303.     }

  304.     if (src) {
  305.         ngx_memcpy(dst->sockaddr, src->sockaddr, src->socklen);
  306.         ngx_memcpy(dst->name.data, src->name.data, src->name.len);

  307.         dst->server.data = ngx_slab_alloc_locked(pool, src->server.len);
  308.         if (dst->server.data == NULL) {
  309.             goto failed;
  310.         }

  311.         ngx_memcpy(dst->server.data, src->server.data, src->server.len);

  312.         if (src->host) {
  313.             dst->host = ngx_slab_calloc_locked(pool,
  314.                                             sizeof(ngx_stream_upstream_host_t));
  315.             if (dst->host == NULL) {
  316.                 goto failed;
  317.             }

  318.             dst->host->name.data = ngx_slab_alloc_locked(pool,
  319.                                                          src->host->name.len);
  320.             if (dst->host->name.data == NULL) {
  321.                 goto failed;
  322.             }

  323.             dst->host->peers = peers;
  324.             dst->host->peer = dst;

  325.             dst->host->name.len = src->host->name.len;
  326.             ngx_memcpy(dst->host->name.data, src->host->name.data,
  327.                        src->host->name.len);

  328.             if (src->host->service.len) {
  329.                 dst->host->service.data = ngx_slab_alloc_locked(pool,
  330.                                                         src->host->service.len);
  331.                 if (dst->host->service.data == NULL) {
  332.                     goto failed;
  333.                 }

  334.                 dst->host->service.len = src->host->service.len;
  335.                 ngx_memcpy(dst->host->service.data, src->host->service.data,
  336.                            src->host->service.len);
  337.             }
  338.         }
  339.     }

  340.     return dst;

  341. failed:

  342.     if (dst->host) {
  343.         if (dst->host->name.data) {
  344.             ngx_slab_free_locked(pool, dst->host->name.data);
  345.         }

  346.         ngx_slab_free_locked(pool, dst->host);
  347.     }

  348.     if (dst->server.data) {
  349.         ngx_slab_free_locked(pool, dst->server.data);
  350.     }

  351.     if (dst->name.data) {
  352.         ngx_slab_free_locked(pool, dst->name.data);
  353.     }

  354.     if (dst->sockaddr) {
  355.         ngx_slab_free_locked(pool, dst->sockaddr);
  356.     }

  357.     ngx_slab_free_locked(pool, dst);

  358.     return NULL;
  359. }


  360. static ngx_int_t
  361. ngx_stream_upstream_zone_preresolve(ngx_stream_upstream_rr_peer_t *resolve,
  362.     ngx_stream_upstream_rr_peers_t *peers,
  363.     ngx_stream_upstream_rr_peer_t *oresolve,
  364.     ngx_stream_upstream_rr_peers_t *opeers)
  365. {
  366.     in_port_t                       port;
  367.     ngx_str_t                      *server;
  368.     ngx_stream_upstream_host_t     *host;
  369.     ngx_stream_upstream_rr_peer_t  *peer, *template, *opeer, **peerp;

  370.     if (resolve == NULL || oresolve == NULL) {
  371.         return NGX_OK;
  372.     }

  373.     for (peerp = &peers->peer; *peerp; peerp = &(*peerp)->next) {
  374.         /* void */
  375.     }

  376.     ngx_stream_upstream_rr_peers_rlock(opeers);

  377.     for (template = resolve; template; template = template->next) {
  378.         for (opeer = oresolve; opeer; opeer = opeer->next) {

  379.             if (opeer->host->name.len != template->host->name.len
  380.                 || ngx_memcmp(opeer->host->name.data,
  381.                               template->host->name.data,
  382.                               template->host->name.len)
  383.                    != 0)
  384.             {
  385.                 continue;
  386.             }

  387.             if (opeer->host->service.len != template->host->service.len
  388.                 || ngx_memcmp(opeer->host->service.data,
  389.                               template->host->service.data,
  390.                               template->host->service.len)
  391.                    != 0)
  392.             {
  393.                 continue;
  394.             }

  395.             host = opeer->host;

  396.             for (opeer = opeers->peer; opeer; opeer = opeer->next) {

  397.                 if (opeer->host != host) {
  398.                     continue;
  399.                 }

  400.                 peer = ngx_stream_upstream_zone_copy_peer(peers, NULL);
  401.                 if (peer == NULL) {
  402.                     ngx_stream_upstream_rr_peers_unlock(opeers);
  403.                     return NGX_ERROR;
  404.                 }

  405.                 ngx_memcpy(peer->sockaddr, opeer->sockaddr, opeer->socklen);

  406.                 if (template->host->service.len == 0) {
  407.                     port = ngx_inet_get_port(template->sockaddr);
  408.                     ngx_inet_set_port(peer->sockaddr, port);
  409.                 }

  410.                 peer->socklen = opeer->socklen;

  411.                 peer->name.len = ngx_sock_ntop(peer->sockaddr, peer->socklen,
  412.                                                peer->name.data,
  413.                                                NGX_SOCKADDR_STRLEN, 1);

  414.                 peer->host = template->host;

  415.                 template->host->valid = host->valid;

  416.                 server = template->host->service.len ? &opeer->server
  417.                                                      : &template->server;

  418.                 peer->server.data = ngx_slab_alloc(peers->shpool, server->len);
  419.                 if (peer->server.data == NULL) {
  420.                     ngx_stream_upstream_rr_peers_unlock(opeers);
  421.                     return NGX_ERROR;
  422.                 }

  423.                 ngx_memcpy(peer->server.data, server->data, server->len);
  424.                 peer->server.len = server->len;

  425.                 if (host->service.len == 0) {
  426.                     peer->weight = template->weight;

  427.                 } else {
  428.                     peer->weight = (template->weight != 1 ? template->weight
  429.                                                           : opeer->weight);
  430.                 }

  431.                 peer->effective_weight = peer->weight;
  432.                 peer->max_conns = template->max_conns;
  433.                 peer->max_fails = template->max_fails;
  434.                 peer->fail_timeout = template->fail_timeout;
  435.                 peer->down = template->down;

  436.                 (*peers->config)++;

  437.                 *peerp = peer;
  438.                 peerp = &peer->next;

  439.                 peers->number++;
  440.                 peers->tries += (peer->down == 0);
  441.                 peers->total_weight += peer->weight;
  442.                 peers->weighted = (peers->total_weight != peers->number);
  443.             }

  444.             break;
  445.         }
  446.     }

  447.     ngx_stream_upstream_rr_peers_unlock(opeers);
  448.     return NGX_OK;
  449. }


  450. static void
  451. ngx_stream_upstream_zone_set_single(ngx_stream_upstream_srv_conf_t *uscf)
  452. {
  453.     ngx_stream_upstream_rr_peers_t  *peers;

  454.     peers = uscf->peer.data;

  455.     if (peers->number == 1
  456.         && (peers->next == NULL || peers->next->number == 0))
  457.     {
  458.         peers->single = 1;

  459.     } else {
  460.         peers->single = 0;
  461.     }
  462. }


  463. static void
  464. ngx_stream_upstream_zone_remove_peer_locked(
  465.     ngx_stream_upstream_rr_peers_t *peers, ngx_stream_upstream_rr_peer_t *peer)
  466. {
  467.     peers->total_weight -= peer->weight;
  468.     peers->number--;
  469.     peers->tries -= (peer->down == 0);
  470.     (*peers->config)++;
  471.     peers->weighted = (peers->total_weight != peers->number);

  472.     ngx_stream_upstream_rr_peer_free(peers, peer);
  473. }


  474. static ngx_int_t
  475. ngx_stream_upstream_zone_init_worker(ngx_cycle_t *cycle)
  476. {
  477.     time_t                            now;
  478.     ngx_msec_t                        timer;
  479.     ngx_uint_t                        i;
  480.     ngx_event_t                      *event;
  481.     ngx_stream_upstream_rr_peer_t    *peer;
  482.     ngx_stream_upstream_rr_peers_t   *peers;
  483.     ngx_stream_upstream_srv_conf_t   *uscf, **uscfp;
  484.     ngx_stream_upstream_main_conf_t  *umcf;

  485.     if (ngx_process != NGX_PROCESS_WORKER
  486.         && ngx_process != NGX_PROCESS_SINGLE)
  487.     {
  488.         return NGX_OK;
  489.     }

  490.     now = ngx_time();
  491.     umcf = ngx_stream_cycle_get_module_main_conf(cycle,
  492.                                                  ngx_stream_upstream_module);

  493.     if (umcf == NULL) {
  494.         return NGX_OK;
  495.     }

  496.     uscfp = umcf->upstreams.elts;

  497.     for (i = 0; i < umcf->upstreams.nelts; i++) {

  498.         uscf = uscfp[i];

  499.         if (uscf->shm_zone == NULL) {
  500.             continue;
  501.         }

  502.         peers = uscf->peer.data;

  503.         do {
  504.             ngx_stream_upstream_rr_peers_wlock(peers);

  505.             for (peer = peers->resolve; peer; peer = peer->next) {

  506.                 if (peer->host->worker != ngx_worker) {
  507.                     continue;
  508.                 }

  509.                 event = &peer->host->event;
  510.                 ngx_memzero(event, sizeof(ngx_event_t));

  511.                 event->data = uscf;
  512.                 event->handler = ngx_stream_upstream_zone_resolve_timer;
  513.                 event->log = cycle->log;
  514.                 event->cancelable = 1;

  515.                 timer = (peer->host->valid > now)
  516.                         ? (ngx_msec_t) 1000 * (peer->host->valid - now) : 1;

  517.                 ngx_add_timer(event, timer);
  518.             }

  519.             ngx_stream_upstream_rr_peers_unlock(peers);

  520.             peers = peers->next;

  521.         } while (peers);
  522.     }

  523.     return NGX_OK;
  524. }


  525. static void
  526. ngx_stream_upstream_zone_resolve_timer(ngx_event_t *event)
  527. {
  528.     ngx_resolver_ctx_t              *ctx;
  529.     ngx_stream_upstream_host_t      *host;
  530.     ngx_stream_upstream_srv_conf_t  *uscf;

  531.     host = (ngx_stream_upstream_host_t *) event;
  532.     uscf = event->data;

  533.     ctx = ngx_resolve_start(uscf->resolver, NULL);
  534.     if (ctx == NULL) {
  535.         goto retry;
  536.     }

  537.     if (ctx == NGX_NO_RESOLVER) {
  538.         ngx_log_error(NGX_LOG_ERR, event->log, 0,
  539.                       "no resolver defined to resolve %V", &host->name);
  540.         return;
  541.     }

  542.     ctx->name = host->name;
  543.     ctx->handler = ngx_stream_upstream_zone_resolve_handler;
  544.     ctx->data = host;
  545.     ctx->timeout = uscf->resolver_timeout;
  546.     ctx->service = host->service;
  547.     ctx->cancelable = 1;

  548.     if (ngx_resolve_name(ctx) == NGX_OK) {
  549.         return;
  550.     }

  551. retry:

  552.     ngx_add_timer(event, ngx_max(uscf->resolver_timeout, 1000));
  553. }


  554. #define ngx_stream_upstream_zone_addr_marked(addr)                            \
  555.     ((uintptr_t) (addr)->sockaddr & 1)

  556. #define ngx_stream_upstream_zone_mark_addr(addr)                              \
  557.     (addr)->sockaddr = (struct sockaddr *) ((uintptr_t) (addr)->sockaddr | 1)

  558. #define ngx_stream_upstream_zone_unmark_addr(addr)                            \
  559.     (addr)->sockaddr =                                                        \
  560.         (struct sockaddr *) ((uintptr_t) (addr)->sockaddr & ~((uintptr_t) 1))

  561. static void
  562. ngx_stream_upstream_zone_resolve_handler(ngx_resolver_ctx_t *ctx)
  563. {
  564.     time_t                           now;
  565.     u_short                          min_priority;
  566.     in_port_t                        port;
  567.     ngx_str_t                       *server;
  568.     ngx_msec_t                       timer;
  569.     ngx_uint_t                       i, j, backup, addr_backup;
  570.     ngx_event_t                     *event;
  571.     ngx_resolver_addr_t             *addr;
  572.     ngx_resolver_srv_name_t         *srv;
  573.     ngx_stream_upstream_host_t      *host;
  574.     ngx_stream_upstream_rr_peer_t   *peer, *template, **peerp;
  575.     ngx_stream_upstream_rr_peers_t  *peers;
  576.     ngx_stream_upstream_srv_conf_t  *uscf;

  577.     host = ctx->data;
  578.     event = &host->event;
  579.     uscf = event->data;
  580.     peers = host->peers;
  581.     template = host->peer;

  582.     ngx_stream_upstream_rr_peers_wlock(peers);

  583.     now = ngx_time();

  584.     for (i = 0; i < ctx->nsrvs; i++) {
  585.         srv = &ctx->srvs[i];

  586.         if (srv->state) {
  587.             ngx_log_error(NGX_LOG_ERR, event->log, 0,
  588.                           "%V could not be resolved (%i: %s) "
  589.                           "while resolving service %V of %V",
  590.                           &srv->name, srv->state,
  591.                           ngx_resolver_strerror(srv->state), &ctx->service,
  592.                           &ctx->name);
  593.         }
  594.     }

  595.     if (ctx->state) {
  596.         if (ctx->service.len) {
  597.             ngx_log_error(NGX_LOG_ERR, event->log, 0,
  598.                           "service %V of %V could not be resolved (%i: %s)",
  599.                           &ctx->service, &ctx->name, ctx->state,
  600.                           ngx_resolver_strerror(ctx->state));

  601.         } else {
  602.             ngx_log_error(NGX_LOG_ERR, event->log, 0,
  603.                           "%V could not be resolved (%i: %s)",
  604.                           &ctx->name, ctx->state,
  605.                           ngx_resolver_strerror(ctx->state));
  606.         }

  607.         if (ctx->state != NGX_RESOLVE_NXDOMAIN) {
  608.             ngx_stream_upstream_rr_peers_unlock(peers);

  609.             ngx_resolve_name_done(ctx);

  610.             ngx_add_timer(event, ngx_max(uscf->resolver_timeout, 1000));
  611.             return;
  612.         }

  613.         /* NGX_RESOLVE_NXDOMAIN */

  614.         ctx->naddrs = 0;
  615.     }

  616.     backup = 0;
  617.     min_priority = 65535;

  618.     for (i = 0; i < ctx->naddrs; i++) {
  619.         min_priority = ngx_min(ctx->addrs[i].priority, min_priority);
  620.     }

  621. #if (NGX_DEBUG)
  622.     {
  623.     u_char  text[NGX_SOCKADDR_STRLEN];
  624.     size_t  len;

  625.     for (i = 0; i < ctx->naddrs; i++) {
  626.         len = ngx_sock_ntop(ctx->addrs[i].sockaddr, ctx->addrs[i].socklen,
  627.                             text, NGX_SOCKADDR_STRLEN, 1);

  628.         ngx_log_debug7(NGX_LOG_DEBUG_STREAM, event->log, 0,
  629.                        "name %V was resolved to %*s "
  630.                        "s:\"%V\" n:\"%V\" w:%d %s",
  631.                        &host->name, len, text, &host->service,
  632.                        &ctx->addrs[i].name, ctx->addrs[i].weight,
  633.                        ctx->addrs[i].priority != min_priority ? "backup" : "");
  634.     }
  635.     }
  636. #endif

  637. again:

  638.     for (peerp = &peers->peer; *peerp; /* void */ ) {
  639.         peer = *peerp;

  640.         if (peer->host != host) {
  641.             goto next;
  642.         }

  643.         for (j = 0; j < ctx->naddrs; j++) {

  644.             addr = &ctx->addrs[j];

  645.             addr_backup = (addr->priority != min_priority);
  646.             if (addr_backup != backup) {
  647.                 continue;
  648.             }

  649.             if (ngx_stream_upstream_zone_addr_marked(addr)) {
  650.                 continue;
  651.             }

  652.             if (ngx_cmp_sockaddr(peer->sockaddr, peer->socklen,
  653.                                  addr->sockaddr, addr->socklen,
  654.                                  host->service.len != 0)
  655.                 != NGX_OK)
  656.             {
  657.                 continue;
  658.             }

  659.             if (host->service.len) {
  660.                 if (addr->name.len != peer->server.len
  661.                     || ngx_strncmp(addr->name.data, peer->server.data,
  662.                                    addr->name.len))
  663.                 {
  664.                     continue;
  665.                 }

  666.                 if (template->weight == 1 && addr->weight != peer->weight) {
  667.                     continue;
  668.                 }
  669.             }

  670.             ngx_stream_upstream_zone_mark_addr(addr);

  671.             goto next;
  672.         }

  673.         *peerp = peer->next;
  674.         ngx_stream_upstream_zone_remove_peer_locked(peers, peer);

  675.         ngx_stream_upstream_zone_set_single(uscf);

  676.         continue;

  677.     next:

  678.         peerp = &peer->next;
  679.     }

  680.     for (i = 0; i < ctx->naddrs; i++) {

  681.         addr = &ctx->addrs[i];

  682.         addr_backup = (addr->priority != min_priority);
  683.         if (addr_backup != backup) {
  684.             continue;
  685.         }

  686.         if (ngx_stream_upstream_zone_addr_marked(addr)) {
  687.             ngx_stream_upstream_zone_unmark_addr(addr);
  688.             continue;
  689.         }

  690.         ngx_shmtx_lock(&peers->shpool->mutex);
  691.         peer = ngx_stream_upstream_zone_copy_peer(peers, NULL);
  692.         ngx_shmtx_unlock(&peers->shpool->mutex);

  693.         if (peer == NULL) {
  694.             ngx_log_error(NGX_LOG_ERR, event->log, 0,
  695.                           "cannot add new server to upstream \"%V\", "
  696.                           "memory exhausted", peers->name);
  697.             goto done;
  698.         }

  699.         ngx_memcpy(peer->sockaddr, addr->sockaddr, addr->socklen);

  700.         if (host->service.len == 0) {
  701.             port = ngx_inet_get_port(template->sockaddr);
  702.             ngx_inet_set_port(peer->sockaddr, port);
  703.         }

  704.         peer->socklen = addr->socklen;

  705.         peer->name.len = ngx_sock_ntop(peer->sockaddr, peer->socklen,
  706.                                        peer->name.data, NGX_SOCKADDR_STRLEN, 1);

  707.         peer->host = template->host;

  708.         server = host->service.len ? &addr->name : &template->server;

  709.         peer->server.data = ngx_slab_alloc(peers->shpool, server->len);
  710.         if (peer->server.data == NULL) {
  711.             ngx_stream_upstream_rr_peer_free(peers, peer);

  712.             ngx_log_error(NGX_LOG_ERR, event->log, 0,
  713.                           "cannot add new server to upstream \"%V\", "
  714.                           "memory exhausted", peers->name);
  715.             goto done;
  716.         }

  717.         peer->server.len = server->len;
  718.         ngx_memcpy(peer->server.data, server->data, server->len);

  719.         if (host->service.len == 0) {
  720.             peer->weight = template->weight;

  721.         } else {
  722.             peer->weight = (template->weight != 1 ? template->weight
  723.                                                   : addr->weight);
  724.         }

  725.         peer->effective_weight = peer->weight;
  726.         peer->max_conns = template->max_conns;
  727.         peer->max_fails = template->max_fails;
  728.         peer->fail_timeout = template->fail_timeout;
  729.         peer->down = template->down;

  730.         *peerp = peer;
  731.         peerp = &peer->next;

  732.         peers->number++;
  733.         peers->tries += (peer->down == 0);
  734.         peers->total_weight += peer->weight;
  735.         peers->weighted = (peers->total_weight != peers->number);
  736.         (*peers->config)++;

  737.         ngx_stream_upstream_zone_set_single(uscf);
  738.     }

  739.     if (host->service.len && peers->next) {
  740.         ngx_stream_upstream_rr_peers_unlock(peers);

  741.         peers = peers->next;
  742.         backup = 1;

  743.         ngx_stream_upstream_rr_peers_wlock(peers);

  744.         goto again;
  745.     }

  746. done:

  747.     host->valid = ctx->valid;

  748.     ngx_stream_upstream_rr_peers_unlock(peers);

  749.     while (++i < ctx->naddrs) {
  750.         ngx_stream_upstream_zone_unmark_addr(&ctx->addrs[i]);
  751.     }

  752.     timer = (ngx_msec_t) 1000 * (ctx->valid > now ? ctx->valid - now + 1 : 1);

  753.     ngx_resolve_name_done(ctx);

  754.     ngx_add_timer(event, timer);
  755. }