<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">In a SIP video environment we have a pair of opensips servers load balancing traffic to freeswitch. The call volume is modest among the two proxies, about 400 concurrent calls at peak times.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">We are occasionally seeing opensips lock up and stop responding to SIP traffic. There is no error in the syslog and no indication of resource exhaustion on the VM (it is a 4-core VMware instance with 4GB of
 RAM). Once opensips locks up, CPU soon reaches 100%, but before that, it was not using even 50% of the CPU.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Get_statistics shows that neither the shared memory nor pkg memory are heavily used. They are set at 64M / 4M<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">opensipsctl trace shows this on the udp worker threads (children=8 in config – it was previously set to children=4 and showed the same behavior)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[Thread debugging using libthread_db enabled]<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">0x00007f5b14028bb7 in sched_yield () at ../sysdeps/unix/syscall-template.S:81<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#0  0x00007f5b14028bb7 in sched_yield () at ../sysdeps/unix/syscall-template.S:81<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No locals.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#1  0x00000000005323a5 in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#2  0x00007f5b0ec6c48f in send_pr_buffer () from /usr/lib/x86_64-linux-gnu/opensips/modules/tm.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#3  0x00007f5b0ec9eb9b in t_forward_nonack () from /usr/lib/x86_64-linux-gnu/opensips/modules/tm.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#4  0x00007f5b0ec6defe in t_relay_to () from /usr/lib/x86_64-linux-gnu/opensips/modules/tm.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#5  0x00007f5b0ec815ee in ?? () from /usr/lib/x86_64-linux-gnu/opensips/modules/tm.so<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#6  0x000000000042b20a in do_action ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#7  0x0000000000430590 in run_action_list ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#8  0x000000000046d3bc in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#9  0x000000000046cc1d in eval_expr ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#10 0x000000000046cc39 in eval_expr ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#11 0x000000000046cc09 in eval_expr ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#12 0x000000000042b19a in do_action ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#13 0x0000000000430590 in run_action_list ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#14 0x00000000004306ba in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#15 0x000000000042da9a in do_action ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#16 0x0000000000430590 in run_action_list ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#17 0x000000000042e62e in do_action ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#18 0x0000000000430590 in run_action_list ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#19 0x000000000042e62e in do_action ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#20 0x0000000000430590 in run_action_list ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#21 0x00000000004308d0 in run_top_route ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#22 0x0000000000436ef3 in receive_msg ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#23 0x000000000052d5c5 in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#24 0x000000000051536d in ?? ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#25 0x000000000051837a in udp_rcv_loop ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#26 0x0000000000519c38 in udp_start_processes ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">#27 0x000000000041c38a in main ()<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">No symbol table info available.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">---end 82753 -------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">We also find no evidence in network captures of any network problem or anomalous SIP packet that could be causing a problem. How can we troubleshoot this? The only way to recover the service is to restart
 opensips.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
<br>
<br>
“The information transmitted is intended only for the person or entity to which it is addressed and may contain proprietary, business-confidential and/or privileged material. If you are not the intended recipient of this message you are hereby notified that
 any use, review, retransmission, dissemination, distribution, reproduction or any action taken in reliance upon this message is prohibited. If you received this in error, please contact the sender and delete the material from any computer.”
</body>
</html>