One Level Up Top Level

src/event/ngx_event_accept.c - nginx-1.31.9 nginx/ @ 2a3a19c6f

Functions defined

Source code


  2. /*
  3. * Copyright (C) Igor Sysoev
  4. * Copyright (C) Nginx, Inc.
  5. */


  8. #include <ngx_config.h>
  9. #include <ngx_core.h>
  10. #include <ngx_event.h>


  13. static ngx_int_t ngx_disable_accept_events(ngx_cycle_t *cycle, ngx_uint_t all);
  14. #if (NGX_HAVE_EPOLLEXCLUSIVE)
  15. static void ngx_reorder_accept_events(ngx_listening_t *ls);
  16. #endif
  17. static void ngx_close_accepted_connection(ngx_connection_t *c);


  20. void
  21. ‌ngx_event_accept(ngx_event_t *ev)
  22. {
  23.     socklen_t          socklen;
  24.     ngx_err_t          err;
  25.     ngx_log_t         *log;
  26.     ngx_uint_t         level;
  27.     ngx_socket_t       s;
  28.     ngx_event_t       *rev, *wev;
  29.     ngx_sockaddr_t     sa;
  30.     ngx_listening_t   *ls;
  31.     ngx_connection_t  *c, *lc;
  32.     ngx_event_conf_t  *ecf;
  33. #if (NGX_HAVE_ACCEPT4)
  34.     static ngx_uint_t  use_accept4 = 1;
  35. #endif

  37.     if (ev->timedout) {
  38.         if (ngx_enable_accept_events((ngx_cycle_t *) ngx_cycle) != NGX_OK) {
  39.             return;
  40.         }

  42.         ev->timedout = 0;
  43.     }

  45.     ecf = ngx_event_get_conf(ngx_cycle->conf_ctx, ngx_event_core_module);

  47.     if (!(ngx_event_flags & NGX_USE_KQUEUE_EVENT)) {
  48.         ev->available = ecf->multi_accept;
  49.     }

  51.     lc = ev->data;
  52.     ls = lc->listening;
  53.     ev->ready = 0;

  55.     ngx_log_debug2(NGX_LOG_DEBUG_EVENT, ev->log, 0,
  56.                    "accept on %V, ready: %d", &ls->addr_text, ev->available);

  58.     do {
  59.         socklen = sizeof(ngx_sockaddr_t);

  61. #if (NGX_HAVE_ACCEPT4)
  62.         if (use_accept4) {
  63.             s = accept4(lc->fd, &sa.sockaddr, &socklen, SOCK_NONBLOCK);
  64.         } else {
  65.             s = accept(lc->fd, &sa.sockaddr, &socklen);
  66.         }
  67. #else
  68.         s = accept(lc->fd, &sa.sockaddr, &socklen);
  69. #endif

  71.         if (s == (ngx_socket_t) -1) {
  72.             err = ngx_socket_errno;

  74.             if (err == NGX_EAGAIN) {
  75.                 ngx_log_debug0(NGX_LOG_DEBUG_EVENT, ev->log, err,
  76.                                "accept() not ready");
  77.                 return;
  78.             }

  80.             level = NGX_LOG_ALERT;

  82.             if (err == NGX_ECONNABORTED) {
  83.                 level = NGX_LOG_ERR;

  85.             } else if (err == NGX_EMFILE || err == NGX_ENFILE) {
  86.                 level = NGX_LOG_CRIT;
  87.             }

  89. #if (NGX_HAVE_ACCEPT4)
  90.             ngx_log_error(level, ev->log, err,
  91.                           use_accept4 ? "accept4() failed" : "accept() failed");

  93.             if (use_accept4 && err == NGX_ENOSYS) {
  94.                 use_accept4 = 0;
  95.                 ngx_inherited_nonblocking = 0;
  96.                 continue;
  97.             }
  98. #else
  99.             ngx_log_error(level, ev->log, err, "accept() failed");
  100. #endif

  102.             if (err == NGX_ECONNABORTED) {
  103.                 if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
  104.                     ev->available--;
  105.                 }

  107.                 if (ev->available) {
  108.                     continue;
  109.                 }
  110.             }

  112.             if (err == NGX_EMFILE || err == NGX_ENFILE) {
  113.                 if (ngx_disable_accept_events((ngx_cycle_t *) ngx_cycle, 1)
  114.                     != NGX_OK)
  115.                 {
  116.                     return;
  117.                 }

  119.                 if (ngx_use_accept_mutex) {
  120.                     if (ngx_accept_mutex_held) {
  121.                         ngx_shmtx_unlock(&ngx_accept_mutex);
  122.                         ngx_accept_mutex_held = 0;
  123.                     }

  125.                     ngx_accept_disabled = 1;

  127.                 } else {
  128.                     ngx_add_timer(ev, ecf->accept_mutex_delay);
  129.                 }
  130.             }

  132.             return;
  133.         }

  135. #if (NGX_STAT_STUB)
  136.         (void) ngx_atomic_fetch_add(ngx_stat_accepted, 1);
  137. #endif

  139.         ngx_accept_disabled = ngx_cycle->connection_n / 8
  140.                               - ngx_cycle->free_connection_n;

  142.         c = ngx_get_connection(s, ev->log);

  144.         if (c == NULL) {
  145.             if (ngx_close_socket(s) == -1) {
  146.                 ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  147.                               ngx_close_socket_n " failed");
  148.             }

  150.             return;
  151.         }

  153.         c->type = SOCK_STREAM;

  155. #if (NGX_STAT_STUB)
  156.         (void) ngx_atomic_fetch_add(ngx_stat_active, 1);
  157. #endif

  159.         c->pool = ngx_create_pool(ls->pool_size, ev->log);
  160.         if (c->pool == NULL) {
  161.             ngx_close_accepted_connection(c);
  162.             return;
  163.         }

  165.         if (socklen > (socklen_t) sizeof(ngx_sockaddr_t)) {
  166.             socklen = sizeof(ngx_sockaddr_t);
  167.         }

  169.         c->sockaddr = ngx_palloc(c->pool, socklen);
  170.         if (c->sockaddr == NULL) {
  171.             ngx_close_accepted_connection(c);
  172.             return;
  173.         }

  175.         ngx_memcpy(c->sockaddr, &sa, socklen);

  177.         log = ngx_palloc(c->pool, sizeof(ngx_log_t));
  178.         if (log == NULL) {
  179.             ngx_close_accepted_connection(c);
  180.             return;
  181.         }

  183.         if (!ngx_inherited_nonblocking) {
  184.             if (ngx_nonblocking(s) == -1) {
  185.                 ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  186.                               ngx_nonblocking_n " failed");
  187.                 ngx_close_accepted_connection(c);
  188.                 return;
  189.             }
  190.         }

  192. #if (NGX_HAVE_KEEPALIVE_TUNABLE && NGX_DARWIN)

  194.         /* Darwin doesn't inherit TCP_KEEPALIVE from a listening socket */

  196.         if (ls->keepidle) {
  197.             if (setsockopt(s, IPPROTO_TCP, TCP_KEEPALIVE,
  198.                            (const void *) &ls->keepidle, sizeof(int))
  199.                 == -1)
  200.             {
  201.                 ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_socket_errno,
  202.                               "setsockopt(TCP_KEEPALIVE, %d) failed, ignored",
  203.                               ls->keepidle);
  204.             }
  205.         }

  207. #endif

  209.         *log = ls->log;

  211.         c->recv = ngx_recv;
  212.         c->send = ngx_send;
  213.         c->recv_chain = ngx_recv_chain;
  214.         c->send_chain = ngx_send_chain;

  216.         c->log = log;
  217.         c->pool->log = log;

  219.         c->socklen = socklen;
  220.         c->listening = ls;
  221.         c->local_sockaddr = ls->sockaddr;
  222.         c->local_socklen = ls->socklen;

  224. #if (NGX_HAVE_UNIX_DOMAIN)
  225.         if (c->sockaddr->sa_family == AF_UNIX) {
  226.             c->tcp_nopush = NGX_TCP_NOPUSH_DISABLED;
  227.             c->tcp_nodelay = NGX_TCP_NODELAY_DISABLED;
  228. #if (NGX_SOLARIS)
  229.             /* Solaris's sendfilev() supports AF_NCA, AF_INET, and AF_INET6 */
  230.             c->sendfile = 0;
  231. #endif
  232.         }
  233. #endif

  235.         rev = c->read;
  236.         wev = c->write;

  238.         wev->ready = 1;

  240.         if (ev->deferred_accept) {
  241.             rev->ready = 1;
  242. #if (NGX_HAVE_KQUEUE || NGX_HAVE_EPOLLRDHUP)
  243.             rev->available = 1;
  244. #endif
  245.         }

  247.         rev->log = log;
  248.         wev->log = log;

  250.         /*
  251.          * TODO: MT: - ngx_atomic_fetch_add()
  252.          *             or protection by critical section or light mutex
  253.          *
  254.          * TODO: MP: - allocated in a shared memory
  255.          *           - ngx_atomic_fetch_add()
  256.          *             or protection by critical section or light mutex
  257.          */

  259.         c->number = ngx_atomic_fetch_add(ngx_connection_counter, 1);

  261.         c->start_time = ngx_current_msec;

  263. #if (NGX_STAT_STUB)
  264.         (void) ngx_atomic_fetch_add(ngx_stat_handled, 1);
  265. #endif

  267.         if (ls->addr_ntop) {
  268.             c->addr_text.data = ngx_pnalloc(c->pool, ls->addr_text_max_len);
  269.             if (c->addr_text.data == NULL) {
  270.                 ngx_close_accepted_connection(c);
  271.                 return;
  272.             }

  274.             c->addr_text.len = ngx_sock_ntop(c->sockaddr, c->socklen,
  275.                                              c->addr_text.data,
  276.                                              ls->addr_text_max_len, 0);
  277.             if (c->addr_text.len == 0) {
  278.                 ngx_close_accepted_connection(c);
  279.                 return;
  280.             }
  281.         }

  283. #if (NGX_DEBUG)
  284.         {
  285.         ngx_str_t  addr;
  286.         u_char     text[NGX_SOCKADDR_STRLEN];

  288.         ngx_debug_accepted_connection(ecf, c);

  290.         if (log->log_level & NGX_LOG_DEBUG_EVENT) {
  291.             addr.data = text;
  292.             addr.len = ngx_sock_ntop(c->sockaddr, c->socklen, text,
  293.                                      NGX_SOCKADDR_STRLEN, 1);

  295.             ngx_log_debug3(NGX_LOG_DEBUG_EVENT, log, 0,
  296.                            "*%uA accept: %V fd:%d", c->number, &addr, s);
  297.         }

  299.         }
  300. #endif

  302.         if (ngx_add_conn && (ngx_event_flags & NGX_USE_EPOLL_EVENT) == 0) {
  303.             if (ngx_add_conn(c) == NGX_ERROR) {
  304.                 ngx_close_accepted_connection(c);
  305.                 return;
  306.             }
  307.         }

  309.         log->data = NULL;
  310.         log->handler = NULL;

  312.         ls->handler(c);

  314.         if (ngx_event_flags & NGX_USE_KQUEUE_EVENT) {
  315.             ev->available--;
  316.         }

  318.     } while (ev->available);

  320. #if (NGX_HAVE_EPOLLEXCLUSIVE)
  321.     ngx_reorder_accept_events(ls);
  322. #endif
  323. }


  326. ngx_int_t
  327. ‌ngx_trylock_accept_mutex(ngx_cycle_t *cycle)
  328. {
  329.     if (ngx_shmtx_trylock(&ngx_accept_mutex)) {

  331.         ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
  332.                        "accept mutex locked");

  334.         if (ngx_accept_mutex_held && ngx_accept_events == 0) {
  335.             return NGX_OK;
  336.         }

  338.         if (ngx_enable_accept_events(cycle) == NGX_ERROR) {
  339.             ngx_shmtx_unlock(&ngx_accept_mutex);
  340.             return NGX_ERROR;
  341.         }

  343.         ngx_accept_events = 0;
  344.         ngx_accept_mutex_held = 1;

  346.         return NGX_OK;
  347.     }

  349.     ngx_log_debug1(NGX_LOG_DEBUG_EVENT, cycle->log, 0,
  350.                    "accept mutex lock failed: %ui", ngx_accept_mutex_held);

  352.     if (ngx_accept_mutex_held) {
  353.         if (ngx_disable_accept_events(cycle, 0) == NGX_ERROR) {
  354.             return NGX_ERROR;
  355.         }

  357.         ngx_accept_mutex_held = 0;
  358.     }

  360.     return NGX_OK;
  361. }


  364. ngx_int_t
  365. ‌ngx_enable_accept_events(ngx_cycle_t *cycle)
  366. {
  367.     ngx_uint_t         i;
  368.     ngx_listening_t   *ls;
  369.     ngx_connection_t  *c;

  371.     ls = cycle->listening.elts;
  372.     for (i = 0; i < cycle->listening.nelts; i++) {

  374.         c = ls[i].connection;

  376.         if (c == NULL || c->read->active) {
  377.             continue;
  378.         }

  380.         if (ngx_add_event(c->read, NGX_READ_EVENT, 0) == NGX_ERROR) {
  381.             return NGX_ERROR;
  382.         }
  383.     }

  385.     return NGX_OK;
  386. }


  389. static ngx_int_t
  390. ‌ngx_disable_accept_events(ngx_cycle_t *cycle, ngx_uint_t all)
  391. {
  392.     ngx_uint_t         i;
  393.     ngx_listening_t   *ls;
  394.     ngx_connection_t  *c;

  396.     ls = cycle->listening.elts;
  397.     for (i = 0; i < cycle->listening.nelts; i++) {

  399.         c = ls[i].connection;

  401.         if (c == NULL || !c->read->active) {
  402.             continue;
  403.         }

  405. #if (NGX_HAVE_REUSEPORT)

  407.         /*
  408.          * do not disable accept on worker's own sockets
  409.          * when disabling accept events due to accept mutex
  410.          */

  412.         if (ls[i].reuseport && !all) {
  413.             continue;
  414.         }

  416. #endif

  418.         if (ngx_del_event(c->read, NGX_READ_EVENT, NGX_DISABLE_EVENT)
  419.             == NGX_ERROR)
  420.         {
  421.             return NGX_ERROR;
  422.         }
  423.     }

  425.     return NGX_OK;
  426. }


  429. #if (NGX_HAVE_EPOLLEXCLUSIVE)

  431. static void
  432. ‌ngx_reorder_accept_events(ngx_listening_t *ls)
  433. {
  434.     ngx_connection_t  *c;

  436.     /*
  437.      * Linux with EPOLLEXCLUSIVE usually notifies only the process which
  438.      * was first to add the listening socket to the epoll instance.  As
  439.      * a result most of the connections are handled by the first worker
  440.      * process.  To fix this, we re-add the socket periodically, so other
  441.      * workers will get a chance to accept connections.
  442.      */

  444.     if (!ngx_use_exclusive_accept) {
  445.         return;
  446.     }

  448. #if (NGX_HAVE_REUSEPORT)

  450.     if (ls->reuseport) {
  451.         return;
  452.     }

  454. #endif

  456.     c = ls->connection;

  458.     if (c->requests++ % 16 != 0
  459.         && ngx_accept_disabled <= 0)
  460.     {
  461.         return;
  462.     }

  464.     if (ngx_del_event(c->read, NGX_READ_EVENT, NGX_DISABLE_EVENT)
  465.         == NGX_ERROR)
  466.     {
  467.         return;
  468.     }

  470.     if (ngx_add_event(c->read, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT)
  471.         == NGX_ERROR)
  472.     {
  473.         return;
  474.     }
  475. }

  477. #endif


  480. static void
  481. ‌ngx_close_accepted_connection(ngx_connection_t *c)
  482. {
  483.     ngx_socket_t  fd;

  485.     ngx_free_connection(c);

  487.     fd = c->fd;
  488.     c->fd = (ngx_socket_t) -1;

  490.     if (ngx_close_socket(fd) == -1) {
  491.         ngx_log_error(NGX_LOG_ALERT, c->log, ngx_socket_errno,
  492.                       ngx_close_socket_n " failed");
  493.     }

  495.     if (c->pool) {
  496.         ngx_destroy_pool(c->pool);
  497.     }

  499. #if (NGX_STAT_STUB)
  500.     (void) ngx_atomic_fetch_add(ngx_stat_active, -1);
  501. #endif
  502. }


  505. u_char *
  506. ‌ngx_accept_log_error(ngx_log_t *log, u_char *buf, size_t len)
  507. {
  508.     return ngx_snprintf(buf, len, " while accepting new connection on %V",
  509.                         log->data);
  510. }


  513. #if (NGX_DEBUG)

  515. void
  516. ‌ngx_debug_accepted_connection(ngx_event_conf_t *ecf, ngx_connection_t *c)
  517. {
  518.     struct sockaddr_in   *sin;
  519.     ngx_cidr_t           *cidr;
  520.     ngx_uint_t            i;
  521. #if (NGX_HAVE_INET6)
  522.     struct sockaddr_in6  *sin6;
  523.     ngx_uint_t            n;
  524. #endif

  526.     cidr = ecf->debug_connection.elts;
  527.     for (i = 0; i < ecf->debug_connection.nelts; i++) {
  528.         if (cidr[i].family != (ngx_uint_t) c->sockaddr->sa_family) {
  529.             goto next;
  530.         }

  532.         switch (cidr[i].family) {

  534. #if (NGX_HAVE_INET6)
  535.         case AF_INET6:
  536.             sin6 = (struct sockaddr_in6 *) c->sockaddr;
  537.             for (n = 0; n < 16; n++) {
  538.                 if ((sin6->sin6_addr.s6_addr[n]
  539.                     & cidr[i].u.in6.mask.s6_addr[n])
  540.                     != cidr[i].u.in6.addr.s6_addr[n])
  541.                 {
  542.                     goto next;
  543.                 }
  544.             }
  545.             break;
  546. #endif

  548. #if (NGX_HAVE_UNIX_DOMAIN)
  549.         case AF_UNIX:
  550.             break;
  551. #endif

  553.         default: /* AF_INET */
  554.             sin = (struct sockaddr_in *) c->sockaddr;
  555.             if ((sin->sin_addr.s_addr & cidr[i].u.in.mask)
  556.                 != cidr[i].u.in.addr)
  557.             {
  558.                 goto next;
  559.             }
  560.             break;
  561.         }

  563.         c->log->log_level = NGX_LOG_DEBUG_CONNECTION|NGX_LOG_DEBUG_ALL;
  564.         break;

  566.     next:
  567.         continue;
  568.     }
  569. }

  571. #endif

One Level Up Top Level