One Level Up Top Level

src/event/ngx_event_accept.c - nginx

Functions defined

Source code


  2. /*
  3. * Copyright (C) Igor Sysoev
  4. * Copyright (C) Nginx, Inc.
  5. */


  8. #include <ngx_config.h>
  9. #include <ngx_core.h>
  10. #include <ngx_event.h>


  13. static ngx_int_t ngx_disable_accept_events(ngx_cycle_t *cycle, ngx_uint_t all);
  14. #if (NGX_HAVE_EPOLLEXCLUSIVE)
  15. static void ngx_reorder_accept_events(ngx_listening_t *ls);
  16. #endif
  17. static void ngx_close_accepted_connection(ngx_connection_t *c);


  20. void
  21. ‌ngx_event_accept(ngx_event_t *ev)
  22. {
  23.     socklen_t          socklen;
  24.     ngx_err_t          err;
  25.     ngx_log_t         *log;
  26.     ngx_uint_t         level;
  27.     ngx_socket_t       s;
  28.     ngx_event_t       *rev, *wev;
  29.     ngx_sockaddr_t     sa;
  30.     ngx_listening_t   *ls;
  31.     ngx_connection_t  *c, *lc;
  32.     ngx_event_conf_t  *ecf;
  33. #if (NGX_HAVE_ACCEPT4)
  34.     static ngx_uint_t  use_accept4 = 1;
  35. #endif

  37.     if (ev->timedout) {
  38.         if (ngx_enable_accept_events((ngx_cycle_t *) ngx_cycle) != NGX_OK) {
  39.             return;
  40.         }

  42.         ev->timedout = 0;
  43.     }

  45.     ecf = ngx_event_get_conf(ngx_cycle->conf_ctx, ngx_event_core_module);

  47.     if (!(ngx_event_flags & NGX_USE_KQUEUE_EVENT)) {
  48.         ev->available = ecf->multi_accept;
  49.     }

  51.     lc = ev->data;
  52.     ls = lc->listening;
  53.     ev->ready = 0;

  55.     ngx_log_debug2(NGX_LOG_DEBUG_EVENT, ev->log, 0,
  56.                    "accept on %V, ready: %d", &ls->addr_text, ev->available);

  58.     do {
  59.         socklen = sizeof(ngx_sockaddr_t);

  61. #if (NGX_HAVE_ACCEPT4)
  62.         if (use_accept4) {
  63.             s = accept4(lc->fd, &sa.sockaddr, &socklen, SOCK_NONBLOCK);
  64.         } else {
  65.             s = accept(lc->fd, &sa.sockaddr, &socklen);
  66.         }
  67. #else
  68.         s = accept(lc->fd, &sa.sockaddr, &socklen);
  69. #endif

  71.         if (s == (ngx_socket_t) -1) {
  72.             err = ngx_socket_errno;

  74.             if (err == NGX_EAGAIN) {
  75.                 ngx_log_debug0(NGX_LOG_DEBUG_EVENT, ev->log, err,
  76.                                "accept() not ready");
  77.                 return;
  78.             }

  80.             level = NGX_LOG_ALERT;

  82.             if (err == NGX_ECONNABORTED) {
  83.                 level = NGX_LOG_ERR;

  85.             } else if (err == NGX_EMFILE || err == NGX_ENFILE) {
  86.                 level = NGX_LOG_CRIT;
  87.             }

  89. #if (NGX_HAVE_ACCEPT4)
  90.             ngx_log_error(level, ev->log, err,
  91.                           use_accept4 ? "accept4() failed" : "accept() failed");

  93.             if (use_accept4 && err == NGX_ENOSYS) {
  94.                 use_accept4 = 0;
  95.                 ngx_inherited_nonblocking = 0;
  96.                 continue;
  97.             }
  98. #else
  99.             ngx_log_error(level, ev->log, err, "accept() failed");
  100. #endif

  102.             if (err == NGX_ECONNABORTED) {
  103.                 if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
  104.                     ev->available--;
  105.                 }

  107.                 if (ev->available) {
  108.                     continue;
  109.                 }
  110.             }

  112.             if (err == NGX_EMFILE || err == NGX_ENFILE) {
  113.                 if (ngx_disable_accept_events((ngx_cycle_t *) ngx_cycle, 1)
  114.                     != NGX_OK)
  115.                 {
  116.                     return;
  117.                 }

  119.                 if (ngx_use_accept_mutex) {
  120.                     if (ngx_accept_mutex_held) {
  121.                         ngx_shmtx_unlock(&ngx_accept_mutex);
  122.                         ngx_accept_mutex_held = 0;
  123.                     }

  125.                     ngx_accept_disabled = 1;

  127.                 } else {
  128.                     ngx_add_timer(ev, ecf->accept_mutex_delay);
  129.                 }
  130.             }

  132.             return;
  133.         }

  135. #if (NGX_STAT_STUB)
  136.         (void) ngx_atomic_fetch_add(ngx_stat_accepted, 1);
  137. #endif

  139.         ngx_accept_disabled = ngx_cycle->connection_n / 8
  140.                               - ngx_cycle->free_connection_n;

  142.         c = ngx_get_connection(s, ev->log);

  144.         if (c == NULL) {
  145.             if (ngx_close_socket(s) == -1) {
  146.                 ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  147.                               ngx_close_socket_n " failed");
  148.             }

  150.             return;
  151.         }

  153.         c->type = SOCK_STREAM;

  155. #if (NGX_STAT_STUB)
  156.         (void) ngx_atomic_fetch_add(ngx_stat_active, 1);
  157. #endif

  159.         c->pool = ngx_create_pool(ls->pool_size, ev->log);
  160.         if (c->pool == NULL) {
  161.             ngx_close_accepted_connection(c);
  162.             return;
  163.         }

  165.         if (socklen > (socklen_t) sizeof(ngx_sockaddr_t)) {
  166.             socklen = sizeof(ngx_sockaddr_t);
  167.         }

  169.         c->sockaddr = ngx_palloc(c->pool, socklen);
  170.         if (c->sockaddr == NULL) {
  171.             ngx_close_accepted_connection(c);
  172.             return;
  173.         }

  175.         ngx_memcpy(c->sockaddr, &sa, socklen);

  177.         log = ngx_palloc(c->pool, sizeof(ngx_log_t));
  178.         if (log == NULL) {
  179.             ngx_close_accepted_connection(c);
  180.             return;
  181.         }

  183.         /* set a blocking mode for iocp and non-blocking mode for others */

  185.         if (ngx_inherited_nonblocking) {
  186.             if (ngx_event_flags & NGX_USE_IOCP_EVENT) {
  187.                 if (ngx_blocking(s) == -1) {
  188.                     ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  189.                                   ngx_blocking_n " failed");
  190.                     ngx_close_accepted_connection(c);
  191.                     return;
  192.                 }
  193.             }

  195.         } else {
  196.             if (!(ngx_event_flags & NGX_USE_IOCP_EVENT)) {
  197.                 if (ngx_nonblocking(s) == -1) {
  198.                     ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  199.                                   ngx_nonblocking_n " failed");
  200.                     ngx_close_accepted_connection(c);
  201.                     return;
  202.                 }
  203.             }
  204.         }

  206. #if (NGX_HAVE_KEEPALIVE_TUNABLE && NGX_DARWIN)

  208.         /* Darwin doesn't inherit TCP_KEEPALIVE from a listening socket */

  210.         if (ls->keepidle) {
  211.             if (setsockopt(s, IPPROTO_TCP, TCP_KEEPALIVE,
  212.                            (const void *) &ls->keepidle, sizeof(int))
  213.                 == -1)
  214.             {
  215.                 ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  216.                               "setsockopt(TCP_KEEPALIVE, %d) failed, ignored",
  217.                               ls->keepidle);
  218.             }
  219.         }

  221. #endif

  223.         *log = ls->log;

  225.         c->recv = ngx_recv;
  226.         c->send = ngx_send;
  227.         c->recv_chain = ngx_recv_chain;
  228.         c->send_chain = ngx_send_chain;

  230.         c->log = log;
  231.         c->pool->log = log;

  233.         c->socklen = socklen;
  234.         c->listening = ls;
  235.         c->local_sockaddr = ls->sockaddr;
  236.         c->local_socklen = ls->socklen;

  238. #if (NGX_HAVE_UNIX_DOMAIN)
  239.         if (c->sockaddr->sa_family == AF_UNIX) {
  240.             c->tcp_nopush = NGX_TCP_NOPUSH_DISABLED;
  241.             c->tcp_nodelay = NGX_TCP_NODELAY_DISABLED;
  242. #if (NGX_SOLARIS)
  243.             /* Solaris's sendfilev() supports AF_NCA, AF_INET, and AF_INET6 */
  244.             c->sendfile = 0;
  245. #endif
  246.         }
  247. #endif

  249.         rev = c->read;
  250.         wev = c->write;

  252.         wev->ready = 1;

  254.         if (ngx_event_flags & NGX_USE_IOCP_EVENT) {
  255.             rev->ready = 1;
  256.         }

  258.         if (ev->deferred_accept) {
  259.             rev->ready = 1;
  260. #if (NGX_HAVE_KQUEUE || NGX_HAVE_EPOLLRDHUP)
  261.             rev->available = 1;
  262. #endif
  263.         }

  265.         rev->log = log;
  266.         wev->log = log;

  268.         /*
  269.          * TODO: MT: - ngx_atomic_fetch_add()
  270.          *             or protection by critical section or light mutex
  271.          *
  272.          * TODO: MP: - allocated in a shared memory
  273.          *           - ngx_atomic_fetch_add()
  274.          *             or protection by critical section or light mutex
  275.          */

  277.         c->number = ngx_atomic_fetch_add(ngx_connection_counter, 1);

  279.         c->start_time = ngx_current_msec;

  281. #if (NGX_STAT_STUB)
  282.         (void) ngx_atomic_fetch_add(ngx_stat_handled, 1);
  283. #endif

  285.         if (ls->addr_ntop) {
  286.             c->addr_text.data = ngx_pnalloc(c->pool, ls->addr_text_max_len);
  287.             if (c->addr_text.data == NULL) {
  288.                 ngx_close_accepted_connection(c);
  289.                 return;
  290.             }

  292.             c->addr_text.len = ngx_sock_ntop(c->sockaddr, c->socklen,
  293.                                              c->addr_text.data,
  294.                                              ls->addr_text_max_len, 0);
  295.             if (c->addr_text.len == 0) {
  296.                 ngx_close_accepted_connection(c);
  297.                 return;
  298.             }
  299.         }

  301. #if (NGX_DEBUG)
  302.         {
  303.         ngx_str_t  addr;
  304.         u_char     text[NGX_SOCKADDR_STRLEN];

  306.         ngx_debug_accepted_connection(ecf, c);

  308.         if (log->log_level & NGX_LOG_DEBUG_EVENT) {
  309.             addr.data = text;
  310.             addr.len = ngx_sock_ntop(c->sockaddr, c->socklen, text,
  311.                                      NGX_SOCKADDR_STRLEN, 1);

  313.             ngx_log_debug3(NGX_LOG_DEBUG_EVENT, log, 0,
  314.                            "*%uA accept: %V fd:%d", c->number, &addr, s);
  315.         }

  317.         }
  318. #endif

  320.         if (ngx_add_conn && (ngx_event_flags & NGX_USE_EPOLL_EVENT) == 0) {
  321.             if (ngx_add_conn(c) == NGX_ERROR) {
  322.                 ngx_close_accepted_connection(c);
  323.                 return;
  324.             }
  325.         }

  327.         log->data = NULL;
  328.         log->handler = NULL;

  330.         ls->handler(c);

  332.         if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
  333.             ev->available--;
  334.         }

  336.     } while (ev->available);

  338. #if (NGX_HAVE_EPOLLEXCLUSIVE)
  339.     ngx_reorder_accept_events(ls);
  340. #endif
  341. }


  344. ngx_int_t
  345. ‌ngx_trylock_accept_mutex(ngx_cycle_t *cycle)
  346. {
  347.     if (ngx_shmtx_trylock(&ngx_accept_mutex)) {

  349.         ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
  350.                        "accept mutex locked");

  352.         if (ngx_accept_mutex_held && ngx_accept_events == 0) {
  353.             return NGX_OK;
  354.         }

  356.         if (ngx_enable_accept_events(cycle) == NGX_ERROR) {
  357.             ngx_shmtx_unlock(&ngx_accept_mutex);
  358.             return NGX_ERROR;
  359.         }

  361.         ngx_accept_events = 0;
  362.         ngx_accept_mutex_held = 1;

  364.         return NGX_OK;
  365.     }

  367.     ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
  368.                    "accept mutex lock failed: %ui", ngx_accept_mutex_held);

  370.     if (ngx_accept_mutex_held) {
  371.         if (ngx_disable_accept_events(cycle, 0) == NGX_ERROR) {
  372.             return NGX_ERROR;
  373.         }

  375.         ngx_accept_mutex_held = 0;
  376.     }

  378.     return NGX_OK;
  379. }


  382. ngx_int_t
  383. ‌ngx_enable_accept_events(ngx_cycle_t *cycle)
  384. {
  385.     ngx_uint_t         i;
  386.     ngx_listening_t   *ls;
  387.     ngx_connection_t  *c;

  389.     ls = cycle->listening.elts;
  390.     for (i = 0; i < cycle->listening.nelts; i++) {

  392.         c = ls[i].connection;

  394.         if (c == NULL || c->read->active) {
  395.             continue;
  396.         }

  398.         if (ngx_add_event(c->read, NGX_READ_EVENT, 0) == NGX_ERROR) {
  399.             return NGX_ERROR;
  400.         }
  401.     }

  403.     return NGX_OK;
  404. }


  407. static ngx_int_t
  408. ‌ngx_disable_accept_events(ngx_cycle_t *cycle, ngx_uint_t all)
  409. {
  410.     ngx_uint_t         i;
  411.     ngx_listening_t   *ls;
  412.     ngx_connection_t  *c;

  414.     ls = cycle->listening.elts;
  415.     for (i = 0; i < cycle->listening.nelts; i++) {

  417.         c = ls[i].connection;

  419.         if (c == NULL || !c->read->active) {
  420.             continue;
  421.         }

  423. #if (NGX_HAVE_REUSEPORT)

  425.         /*
  426.          * do not disable accept on worker's own sockets
  427.          * when disabling accept events due to accept mutex
  428.          */

  430.         if (ls[i].reuseport && !all) {
  431.             continue;
  432.         }

  434. #endif

  436.         if (ngx_del_event(c->read, NGX_READ_EVENT, NGX_DISABLE_EVENT)
  437.             == NGX_ERROR)
  438.         {
  439.             return NGX_ERROR;
  440.         }
  441.     }

  443.     return NGX_OK;
  444. }


  447. #if (NGX_HAVE_EPOLLEXCLUSIVE)

  449. static void
  450. ‌ngx_reorder_accept_events(ngx_listening_t *ls)
  451. {
  452.     ngx_connection_t  *c;

  454.     /*
  455.      * Linux with EPOLLEXCLUSIVE usually notifies only the process which
  456.      * was first to add the listening socket to the epoll instance.  As
  457.      * a result most of the connections are handled by the first worker
  458.      * process.  To fix this, we re-add the socket periodically, so other
  459.      * workers will get a chance to accept connections.
  460.      */

  462.     if (!ngx_use_exclusive_accept) {
  463.         return;
  464.     }

  466. #if (NGX_HAVE_REUSEPORT)

  468.     if (ls->reuseport) {
  469.         return;
  470.     }

  472. #endif

  474.     c = ls->connection;

  476.     if (c->requests++ % 16 != 0
  477.         && ngx_accept_disabled <= 0)
  478.     {
  479.         return;
  480.     }

  482.     if (ngx_del_event(c->read, NGX_READ_EVENT, NGX_DISABLE_EVENT)
  483.         == NGX_ERROR)
  484.     {
  485.         return;
  486.     }

  488.     if (ngx_add_event(c->read, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT)
  489.         == NGX_ERROR)
  490.     {
  491.         return;
  492.     }
  493. }

  495. #endif


  498. static void
  499. ‌ngx_close_accepted_connection(ngx_connection_t *c)
  500. {
  501.     ngx_socket_t  fd;

  503.     ngx_free_connection(c);

  505.     fd = c->fd;
  506.     c->fd = (ngx_socket_t) -1;

  508.     if (ngx_close_socket(fd) == -1) {
  509.         ngx_log_error(NGX_LOG_ALERT, c->log, ngx_socket_errno,
  510.                       ngx_close_socket_n " failed");
  511.     }

  513.     if (c->pool) {
  514.         ngx_destroy_pool(c->pool);
  515.     }

  517. #if (NGX_STAT_STUB)
  518.     (void) ngx_atomic_fetch_add(ngx_stat_active, -1);
  519. #endif
  520. }


  523. u_char *
  524. ‌ngx_accept_log_error(ngx_log_t *log, u_char *buf, size_t len)
  525. {
  526.     return ngx_snprintf(buf, len, " while accepting new connection on %V",
  527.                         log->data);
  528. }


  531. #if (NGX_DEBUG)

  533. void
  534. ‌ngx_debug_accepted_connection(ngx_event_conf_t *ecf, ngx_connection_t *c)
  535. {
  536.     struct sockaddr_in   *sin;
  537.     ngx_cidr_t           *cidr;
  538.     ngx_uint_t            i;
  539. #if (NGX_HAVE_INET6)
  540.     struct sockaddr_in6  *sin6;
  541.     ngx_uint_t            n;
  542. #endif

  544.     cidr = ecf->debug_connection.elts;
  545.     for (i = 0; i < ecf->debug_connection.nelts; i++) {
  546.         if (cidr[i].family != (ngx_uint_t) c->sockaddr->sa_family) {
  547.             goto next;
  548.         }

  550.         switch (cidr[i].family) {

  552. #if (NGX_HAVE_INET6)
  553.         case AF_INET6:
  554.             sin6 = (struct sockaddr_in6 *) c->sockaddr;
  555.             for (n = 0; n < 16; n++) {
  556.                 if ((sin6->sin6_addr.s6_addr[n]
  557.                     & cidr[i].u.in6.mask.s6_addr[n])
  558.                     != cidr[i].u.in6.addr.s6_addr[n])
  559.                 {
  560.                     goto next;
  561.                 }
  562.             }
  563.             break;
  564. #endif

  566. #if (NGX_HAVE_UNIX_DOMAIN)
  567.         case AF_UNIX:
  568.             break;
  569. #endif

  571.         default: /* AF_INET */
  572.             sin = (struct sockaddr_in *) c->sockaddr;
  573.             if ((sin->sin_addr.s_addr & cidr[i].u.in.mask)
  574.                 != cidr[i].u.in.addr)
  575.             {
  576.                 goto next;
  577.             }
  578.             break;
  579.         }

  581.         c->log->log_level = NGX_LOG_DEBUG_CONNECTION|NGX_LOG_DEBUG_ALL;
  582.         break;

  584.     next:
  585.         continue;
  586.     }
  587. }

  589. #endif

One Level Up Top Level