Вопрос: Splunk фантастически дорог: какие альтернативы? [Дубликат]


Возможный дубликат:
Альтернативы Splunk? 

Это обсуждалось, но прошло несколько месяцев, поэтому, возможно, пора пересмотреть его:

Предыдущие обсуждения RE Splunk alternatives

Для записи Splunk rock. Но ценообразование просто выходит за рамки того, что мы можем рассмотреть (когда я говорил сегодня с Splunk, стоимость системы для индексации 5 гб / день данных составляет более 30 000 долларов США.)

Это больше, чем мы тратим на SQL Server (на большое количество), больше, чем мы тратим на стойку серверов (несколькими) и т. Д. И т. Д.

Команда продаж Splunk верна (что за 30 тыс. Долларов мы получаем большую ценность и функциональность, чем если бы мы проводили одно и то же строительство в нашей собственной системе), но это не имеет значения. Стоимость осколков просто слишком высока (на несколько).

Soooooo, мы смотрим вокруг!

Кто-нибудь там строит такую ​​систему?

Наша основная потребность:

  • Возможность прослушивания сообщений syslog на нескольких портах udp
  • Возможность индексировать входящие данные асинхронным способом
  • Некоторая поисковая система
  • Какой-то пользовательский интерфейс
  • API для поисковой системы (для внедрения в нашу консоль)

В настоящее время нам нужно индексировать 3-5 гб / день, но нужно иметь возможность масштабирования до 10 гб / день или более. Нам не нужно много истории (30 дней в порядке).

Мы используем серверы Windows 2008 и 2003.

Спасибо за ваши мысли!

ОБНОВИТЬ: Мы потратили две недели на изучение коммерческих и открытых исходных кодов. Наш вывод: напишите наши собственные (мы - софтверная компания ... мы знаем, как писать вещи). Мы построили отличную систему, построенную на mongodb и .NET, которая дает нам функции, которые нам нужны от MongoDB примерно за одну неделю разработки. Мы завершили нашу реализацию. Мы используем два сервера Mongodb (master и slave) и можем регистрировать и индексировать любое количество данных журнала (5gb / day, 15gb / day и т. Д.), Ограниченное только дисковым пространством.

ОБНОВЛЕНИЕ ОБ ОБНОВЛЕНИИ (декабрь 2012 г.): Мы продолжаем использовать наше решение mongodb, и оно отлично работает! Если бы мы строили его сегодня, мы бы решительно рассмотрели вопрос о его создании поверх поиска elastics.

НАБЛЮДЕНИЯ: Для этого пространства требуется твердое решение с фиксированной ставкой 1000-3000 долларов США. Модели лицензирования, используемые коммерческими фирмами, основаны на моделях «молоко, работающее с центрами обработки данных». Это их право (конечно!), Но это оставляет ОГРОМНОЕ пространство, открытое для того, чтобы кто-то попал под ними. Я предполагаю, что через год или два будет хорошее решение с открытым исходным кодом, которое будет действительно полезным.

Спасибо всем за ваш вклад (даже если это была самореклама).


49
2018-02-23 20:28


Источник


Извините, но вы действительно генерируете 5gb / day 4-8 серверов (что вы можете получить за 30 тысяч в зависимости от спецификации)? Я бы предложил вернуться и действительно посмотреть на то, что вы индексируете, независимо от того, с каким решением вы идете. - Zypher
Эти данные поступают из приложения (нашего кода), а не из ОС. - samsmith
На самом деле, я считаю, что Splunk очень дешев для того, что он собой, так или иначе это дубликат, по крайней мере, TRY, чтобы выполнить поиск в следующий раз. Закрытие. - Chopper3
Эй, эта тема честна! Он ссылается на другой поток, он обсуждает больше альтернатив, чем другой поток, и это единственный поток, который обсуждает жесткие затраты на альтернативы. Кажется, вы поспешите. - samsmith
Это все хорошо и хорошо, если ваши потребности чрезвычайно сфокусированы и не изменятся. Чем больше я узнаю о Splunk, тем больше я вижу его ценность. Может ли ваша система импортировать данные из файла? Syslog? Поток TCP? Отчет о сбоях? Веб-сервис REST? База данных? Тогда может ли это сопоставить все это вместе и обеспечить визуализацию? Могут ли они создавать оповещения? Может ли он экспортировать? Сколько это стоило бы вам разработать собственное программное обеспечение для всего этого? Отказ от ответственности: у меня нет связи с Splunk - Wade Williams


Ответы:


logstash - это инструмент для управления событиями и журналами. Вы можете использовать его для сбора журналов, их анализа и хранения для последующего использования (например, для поиска). Говоря о поиске, logstash поставляется с веб-интерфейсом для поиска и сверления всех ваших журналов.

https://www.elastic.co/products/logstash

Это все еще довольно рано развивается, но звучит очень многообещающе и быстро движется.


25
2018-02-23 22:42



logstash выглядит интересным, но выглядит как много работы по реализации. Кроме того, в разделе загрузки нет текущих загрузок? - samsmith
Logstash распространяется как рубигем. Так что вы можете просто сказать gem install logstash, Видеть rubygems.org/gems/logstash а также code.google.com/p/logstash/wiki/GettingStartedCentralized - Holger Just
Вы также можете использовать другие инструменты поиска на данных, собранных Logstash, таких как Graylog2, который имеет интерфейс, который предпочитают некоторые пользователи. - Martijn Heemels
Я рекомендую Logstash использовать Kibana ( kibana.org ), очень масштабируемый интерфейс для Logstash. Да, это тоже с открытым исходным кодом :) - Paulo Coghi
@Paulocoghi Учитывая, что первая фиксация в Kibana произошла примерно через три месяца после последнего комментария, я уверен, что вы можете извинить меня за то, что не включили ее здесь. Тем не менее, Кибана действительно потрясающе, особенно. новая версия Ruby. - Holger Just


У меня нет матрицы сравнения для следующего в моем сознании, особенно когда дело доходит до сравнения с splunk:

Это некоторые полностью оперативные инструменты:

Осьминожка http://www.octopussy.pm

LogReport http://www.logreport.org/

Snare: http://www.intersectalliance.com/projects/index.html

Журналист: http://www.crypt.gen.nz/logsurfer/

Log Analyzer: http://loganalyzer.adiscon.com/

Строка журнала 2: http://log2timeline.net/#download  (это скорее инструмент анализа временной шкалы)

Наконец, если вы хотите сделать некоторую кодировку самостоятельно, но, возможно, имеете более масштабируемое решение: (следующие инструменты для сбора данных журнала, они не обязательно имеют все функциональные возможности для поиска данных).

Honu https://github.com/jboulon/Honu

Chukwa http://wiki.apache.org/hadoop/Chukwa

акведук http://archive.cloudera.com/cdh/3/flume/

Редактировать: Добавлена ​​ссылка для сравнения: http://csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html

Редактировать: добавленной Graylog2: добавленной Logstash, Logstash, вероятно, лучше всего подходит для того, чтобы стать «заменой сплитеров с открытым исходным кодом».


9
2018-03-03 03:02



Мы рассмотрели все эти инструменты. Они либо $$$, либо они являются слабыми / под девелопментом и т. Д. - samsmith
Вы изучили Искра? Я знаю, что это произошло через несколько лет, и вам вполне может быть, но мы столкнулись с подобными решениями, поэтому мне было бы интересно узнать, с чем вы столкнулись. - PKHunter