Bogdan,<div>I do periodic cache stores also in the background. But that&#39;s a rather new thing I do now. Even before I was doing those I got these hangs.. I&#39;ll try to get another bt that shows it hanging but without the cache_store. However, I think the same underlying problem is affecting both.</div>

<div><br><br><div class="gmail_quote">On Tue, Sep 22, 2009 at 7:43 AM, Bogdan-Andrei Iancu <span dir="ltr">&lt;<a href="mailto:bogdan@voice-system.ro">bogdan@voice-system.ro</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

Hi Brett,<br>
<br>
hmm...that is rather strange as the backtrace you show here definitely<br>
is from the fifo process and the run command is clear to be the<br>
&quot;cache_store&quot;.<br>
<br>
Maybe there is some other app that (in the same time with your tests) do<br>
run some caching commands??<br>
<br>
BTW, can you simply run via fifo the the cache_store command via<br>
memcached backend? Just to see if that is blocking or not.<br>
<div class="im"><br>
Regards,<br>
Bogdan<br>
<br>
Brett Nemeroff wrote:<br>
</div><div><div></div><div class="h5">&gt; Bogdan,<br>
&gt; Here&#39;s my bt full. Towards the top there is a cache_store line. The<br>
&gt; fifo operation I&#39;m waiting on is a profile_get_values.. Interesting<br>
&gt; that I don&#39;t call cache_store in any of these hung opensipsctl calls.<br>
&gt;<br>
&gt; # ps ax|grep opensipsctl<br>
&gt; 17929 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_values trunk<br>
&gt; 17974 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_values trunk<br>
&gt; 17976 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_values trunk<br>
&gt; 27643 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_size inbound<br>
&gt; 27687 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_size inbound<br>
&gt; 27688 ?        S      0:00 /bin/bash /usr/local/sbin/opensipsctl fifo<br>
&gt; profile_get_size inbound<br>
&gt;<br>
&gt;<br>
&gt; I took the mi_fifo ps for the gdb..<br>
&gt;<br>
&gt; 0x00000034c1ac54f0 in __read_nocancel () from /lib64/libc.so.6<br>
&gt; (gdb) bt full<br>
&gt; #0  0x00000034c1ac54f0 in __read_nocancel () from /lib64/libc.so.6<br>
&gt; No symbol table info available.<br>
&gt; #1  0x00000034c1a6cbb7 in _IO_new_file_underflow () from /lib64/libc.so.6<br>
&gt; No symbol table info available.<br>
&gt; #2  0x00000034c1a6d57e in _IO_default_uflow_internal () from<br>
&gt; /lib64/libc.so.6<br>
&gt; No symbol table info available.<br>
&gt; #3  0x00000034c1a62664 in _IO_getline_info_internal () from<br>
&gt; /lib64/libc.so.6<br>
&gt; No symbol table info available.<br>
&gt; #4  0x00000034c1a61509 in fgets () from /lib64/libc.so.6<br>
&gt; No symbol table info available.<br>
&gt; #5  0x00002b68c3c2e619 in mi_read_line (b=0x79cd50 &quot;:cache_store&quot;,<br>
&gt; max=1024, stream=0x1e81b110, read=0x7fffe834bad4) at fifo_fnc.c:255<br>
&gt; retry_cnt = 0<br>
&gt; len = &lt;value optimized out&gt;<br>
&gt; __FUNCTION__ = &quot;mi_read_line&quot;<br>
&gt; #6  0x00002b68c3c2f52f in mi_fifo_server (fifo_stream=0x1e81b110) at<br>
&gt; fifo_fnc.c:400<br>
&gt; mi_cmd = (struct mi_root *) 0x7a1568<br>
&gt; mi_rpl = (struct mi_root *) 0x7a17c0<br>
&gt; hdl = (struct mi_handler *) 0x0<br>
&gt; line_len = 35<br>
&gt; file_sep = 0x79cd5c &quot;&quot;<br>
&gt; command = 0x79cd51 &quot;cache_store&quot;<br>
&gt; file = 0x79d160 &quot;/tmp/opensips_receiver_1372&quot;<br>
&gt; f = (struct mi_cmd *) 0x7995e8<br>
&gt; reply_stream = (FILE *) 0x1e82e7e0<br>
&gt; __FUNCTION__ = &quot;mi_fifo_server&quot;<br>
&gt; #7  0x00002b68c3c31001 in fifo_process (rank=&lt;value optimized out&gt;) at<br>
&gt; mi_fifo.c:212<br>
&gt; fifo_stream = (FILE *) 0x1e81b110<br>
&gt; __FUNCTION__ = &quot;fifo_process&quot;<br>
&gt; #8  0x000000000046b4bc in start_module_procs () at sr_module.c:585<br>
&gt; m = (struct sr_module *) 0x76ca88<br>
&gt; n = 0<br>
&gt; l = 0<br>
&gt; x = &lt;value optimized out&gt;<br>
&gt; __FUNCTION__ = &quot;start_module_procs&quot;<br>
&gt; #9  0x000000000042745d in main (argc=5, argv=0x7fffe834bcf8) at main.c:823<br>
&gt; cfg_log_stderr = &lt;value optimized out&gt;<br>
&gt; cfg_stream = (FILE *) 0x1e80c010<br>
&gt; c = &lt;value optimized out&gt;<br>
&gt; r = 8<br>
&gt; tmp = 0x7fffe834dbe4 &quot;&quot;<br>
&gt; tmp_len = &lt;value optimized out&gt;<br>
&gt; port = &lt;value optimized out&gt;<br>
&gt; proto = &lt;value optimized out&gt;<br>
&gt; ret = &lt;value optimized out&gt;<br>
&gt; seed = 2557210813<br>
&gt; rfd = &lt;value optimized out&gt;<br>
&gt; __FUNCTION__ = &quot;main&quot;<br>
&gt;<br>
&gt;<br>
&gt; On Thu, Sep 17, 2009 at 11:10 AM, Bogdan-Andrei Iancu<br>
</div></div><div class="im">&gt; &lt;<a href="mailto:bogdan@voice-system.ro">bogdan@voice-system.ro</a> &lt;mailto:<a href="mailto:bogdan@voice-system.ro">bogdan@voice-system.ro</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     Hi Brett,<br>
&gt;<br>
&gt;     if you get a hang, do try to attach with gdb to the fifo proc (you can<br>
&gt;     do a &quot;fifo ps&quot; in the beginning to see the PID of the fifo process).<br>
&gt;<br>
&gt;     A backtrace of the fifo proc will help in understanding the issue.<br>
&gt;<br>
&gt;     BTW - what about cpu load ?<br>
&gt;<br>
&gt;     Regards,<br>
&gt;     Bogdan<br>
&gt;<br>
&gt;     Brett Nemeroff wrote:<br>
&gt;     &gt; Hello list,<br>
&gt;     &gt; I periodically call opensipsctl fifo profile_get_values &lt;profile<br>
&gt;     &gt; name&gt;. Manually, it always works great.. but called from cron every<br>
&gt;     &gt; minute, it frequently hangs indefinitely until I kill it. Often<br>
&gt;     I run<br>
&gt;     &gt; ps ax and see about 5 of them in there.<br>
&gt;     &gt;<br>
&gt;     &gt; Running 1.5.3. Any ideas?<br>
&gt;     &gt; -Brett<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     ------------------------------------------------------------------------<br>
&gt;     &gt;<br>
&gt;     &gt; _______________________________________________<br>
&gt;     &gt; Users mailing list<br>
</div>&gt;     &gt; <a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a> &lt;mailto:<a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a>&gt;<br>
<div class="im">&gt;     &gt; <a href="http://lists.opensips.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.opensips.org/cgi-bin/mailman/listinfo/users</a><br>
&gt;     &gt;<br>
&gt;<br>
&gt;<br>
&gt;     _______________________________________________<br>
&gt;     Users mailing list<br>
</div>&gt;     <a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a> &lt;mailto:<a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a>&gt;<br>
<div><div></div><div class="h5">&gt;     <a href="http://lists.opensips.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.opensips.org/cgi-bin/mailman/listinfo/users</a><br>
&gt;<br>
&gt;<br>
&gt; ------------------------------------------------------------------------<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Users mailing list<br>
&gt; <a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a><br>
&gt; <a href="http://lists.opensips.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.opensips.org/cgi-bin/mailman/listinfo/users</a><br>
&gt;<br>
<br>
<br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.opensips.org">Users@lists.opensips.org</a><br>
<a href="http://lists.opensips.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.opensips.org/cgi-bin/mailman/listinfo/users</a><br>
</div></div></blockquote></div><br></div>