<div dir="ltr"><div>The usual use case of Kafka (or Redis/AMQP) is to sit as the middle man to buffer and queue the material before it goes into logstash and then elastic.<br></div><div><br></div><div>ie.  Kafka -> Logstash -> Elastic nodes</div><div><br></div><div>If you are only pushing the data to Elastic then pushing it via the logstash HTTP input or a load balanced logstash should be suitable to give you some form of buffering and queueing of messages.</div><div>Or you can skip the intermediate step here and go directly to the event queue based approach start using Kafka/AMQP or even a simple Redis queue, where you would then publish your message to these queues and logstash just pulls them out to populate elastic nodes at the rate it can handle.</div><div><br></div><div>Cheers,</div><div><br></div><div><br></div><div>Gerwin</div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, 26 Nov 2020 at 07:04, Calvin Ellison <<a href="mailto:calvin.ellison@voxox.com">calvin.ellison@voxox.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Is there any best practice or standard method of getting data from OpenSIPS to Elasticsearch?<div><br></div><div>The scenario is an internal call filter that will block or permit a call. e.g. 503 route advance or 603 stop route. Checks are performed against pre-populated caches and database queries, and we want the results of those checks to ultimately reach Elasticsearch.</div><div><br></div><div>I'd prefer to avoid file-based things like syslog + logstash. The "OpenSIPS and BigData" presentation from 2016 suggested using the Elasticsearch REST API directly with async(rest_post()) or RabbitMQ. Our experience with Elasticsearch indicates it will not keep up with our call volume without a message queue, and now I'm seeing talking about Kafka being the new standard for this.</div><div><br></div><div>Is this a solved problem?<br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br></div><div dir="ltr"><br></div><div dir="ltr">Regards,<div><br></div><div><p style="font-family:helvetica,arial,sans-serif;font-size:12px;margin:0px;padding:0px 0px 20px;color:rgb(0,0,0)"><strong>Calvin Ellison</strong><br>Senior Voice Operations Engineer<br><a href="mailto:calvin.ellison@voxox.com" style="text-decoration:none;color:rgb(14,123,174)" target="_blank">calvin.ellison@voxox.com</a><br>+1 (213) 285-0555<br><br>-----------------------------------------------<br><strong><a href="http://www.voxox.com/" style="text-decoration:none;color:rgb(14,123,174)" target="_blank">voxox.com</a> </strong><br>5825 Oberlin Drive, Suite 5<br>San Diego, CA 92121<br></p><img src="http://cdn.voxox.com/img/voxox-logo.png" alt="Voxox" style="color: rgb(0, 0, 0); font-family: "Times New Roman"; font-size: medium;"><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.opensips.org" target="_blank">Users@lists.opensips.org</a><br>
<a href="http://lists.opensips.org/cgi-bin/mailman/listinfo/users" rel="noreferrer" target="_blank">http://lists.opensips.org/cgi-bin/mailman/listinfo/users</a><br>
</blockquote></div>