Timeout bei einem Service

    This site uses cookies. By continuing to browse this site, you are agreeing to our Cookie Policy.

    • Timeout bei einem Service

      Hallo,

      wenn ich die Beschreibung von dem Timeout Wert richtig verstehe, dann müsste der Status auf Kritisch umspringen, wenn Bloonix von Agent nach einer bestimmten Zeit keine Rückantwort bekommt, oder?

      Das ist der Timeout des Service. Wenn in dieser Zeit der Status des Service nicht aktualisiert wurde, dann wird ein kritischer Status gesetzt mit der Information, dass der Bloonix-Agent wohlmöglich ausgefallen ist. Wenn kein Wert gesetzt ist, dann wird der Timeout des Hosts vererbt.


      Ich habe jetzt einen Host, wo seit dem 28.05.2015 der Agent keine Infos mehr liefert. "Letzte Prüfung" steht dem nach auf "2015-05-28 12:06:13". Der Timeout steht auf 10m. Warum wird trotzdem noch OK als Status angezeigt?

      Der Agent läuft auf dem betroffenen Server noch und in der Log Datei steht jede Minute folgendes:

      Source Code

      1. [Jun 01 2015 21:25:20] NOTICE 437 60.053938 host 10 ready (/usr/share/perl5/Bloonix/Agent.pm, line 180)
      2. [Jun 01 2015 21:25:20] INFO 437 0.000111 1 objects ready, 4/4 children ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 331)
      3. [Jun 01 2015 21:25:20] INFO 437 0.000047 send object to child 11434 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 350)
      4. [Jun 01 2015 21:25:20] INFO 437 0.000063 object send sent to child 11434 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 359)
      5. [Jun 01 2015 21:25:20] INFO 11434 59.949916 child 11434 status: alive (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      6. [Jun 01 2015 21:25:20] INFO 11434 0.000065 reading job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 491)
      7. [Jun 01 2015 21:25:20] INFO 11434 0.000046 got a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 495)
      8. [Jun 01 2015 21:25:20] INFO 11434 0.000182 start processing (/usr/share/perl5/Bloonix/Agent/Worker.pm, line 48)
      9. [Jun 01 2015 21:25:20] INFO 11434 0.000060 get services (/usr/share/perl5/Bloonix/Agent/Worker.pm, line 525)
      10. [Jun 01 2015 21:25:20] WARNING 11434 0.015159 SSL wants a read first - SSL wants a read first at /usr/share/perl5/Bloonix/IO/SIPC.pm line 157, <DATA> line 1.
      11. (/usr/share/perl5/Bloonix/Agent.pm, line 71)
      12. [Jun 01 2015 21:25:20] ERROR 437 0.035168 child 11434 died: 2304 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 574)
      13. [Jun 01 2015 21:25:20] NOTICE 437 0.000744 child 11873 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      14. [Jun 01 2015 21:25:20] INFO 437 0.000190 reaping child 11434 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 403)
      15. [Jun 01 2015 21:25:20] NOTICE 11873 0.000998 child 11873 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      16. [Jun 01 2015 21:25:20] INFO 437 0.000386 flushing 3 finished objects (/usr/share/perl5/Bloonix/Dispatcher.pm, line 309)
      17. [Jun 01 2015 21:25:20] NOTICE 437 0.000127 next check of host id 10 at 1433186780 (/usr/share/perl5/Bloonix/Agent.pm, line 325)
      18. [Jun 01 2015 21:25:20] INFO 11873 0.000624 child 11873 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      19. [Jun 01 2015 21:25:20] INFO 11873 0.000114 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      20. [Jun 01 2015 21:25:20] INFO 11448 90.053494 child 11448 status: alive (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      21. [Jun 01 2015 21:25:20] INFO 11448 0.000091 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      22. [Jun 01 2015 21:25:50] INFO 11474 90.088149 child 11474 status: alive (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      23. [Jun 01 2015 21:25:50] INFO 11474 0.000111 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      Display All


      Nach einem Neustart des Agent funktioniert wieder alles.
      Wie kriege ich mit, wenn der Agent einmal ein Problem hat und keine Infos mehr liefert?
      Images
      • Bildschirmfoto 2015-06-01 um 21.27.44.png

        126.27 kB, 1,103×309, viewed 169 times
      Viele Grüße
      Marvin

      The post was edited 1 time, last by NevaKee ().

    • Leider muss ich mich doch noch mal melden, da es nicht funktioniert.

      Bei einem Server steht bei allen Checks "Letzte Prüfung: 2015-06-04 01:44:57" und als Status trotzdem OK.
      In der Log Datei von dem Agent sind weiterhin die Einträge, wie ich im ersten Beitrag geschrieben habe.

      Der Bloonix-Service-Checker hat es aber mitbekommen. Dort steht folgendes jede Minute in der bloonix-srvchk.log Datei:

      Source Code

      1. [Jun 04 2015 08:39:25] INFO 20280 *** 14 expired services found (/usr/share/perl5/Bloonix/ServiceChecker.pm, line 344)
      2. [Jun 04 2015 08:39:25] NOTICE 20280 reporting 6 expired services (/usr/share/perl5/Bloonix/ServiceChecker.pm, line 363)
      3. [Jun 04 2015 08:39:25] INFO 20280 $VAR1 = {
      4. 'password' => 'xxxxxxx',
      5. 'host_id' => '4',
      6. 'version' => '0.2',
      7. 'action' => 'post-service-data',
      8. 'data' => {
      9. '286' => {
      10. 'status' => 'CRITICAL',
      11. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      12. },
      13. '289' => {
      14. 'status' => 'CRITICAL',
      15. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      16. },
      17. '142' => {
      18. 'status' => 'CRITICAL',
      19. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      20. },
      21. '134' => {
      22. 'status' => 'CRITICAL',
      23. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      24. },
      25. '139' => {
      26. 'status' => 'CRITICAL',
      27. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      28. },
      29. '287' => {
      30. 'status' => 'CRITICAL',
      31. 'message' => 'Service check timeout after 600s (host/agent dead?)'
      32. }
      33. [...]
      34. },
      35. 'whoami' => 'srvchk'
      36. };
      37. (/usr/share/perl5/Bloonix/ServiceChecker.pm, line 364)
      38. [Jun 04 2015 08:39:25] NOTICE 20282 checking services (/usr/share/perl5/Bloonix/ServiceChecker.pm, line 335)
      39. [Jun 04 2015 08:39:25] NOTICE 20281 checking services (/usr/share/perl5/Bloonix/ServiceChecker.pm, line 335)
      Display All

      Viele Grüße
      Marvin
    • Danke, da war der Fehler. Funktioniert jetzt.

      Jetzt wird auch das deutlich sichtbar, was ich mir schon gedacht habe. Alle Server, die bei mir schon mit Debian 8 laufen, liefern unzuverlässig Daten bzw. teilweise über Tage gar keine.
      Einen Auszug aus der Log Datei von einem betroffenen System, hatte ich in meinem ersten Beitrag schon hinzugefügt.
      Viele Grüße
      Marvin
    • So, hab eine Test VM mit Debian 8 gebaut, der Agent läuft.

      Es wird manchmal eine Warnung ins Logfile geschrieben "SSL wants a read first" und danach stirbt der Agent. Das ist uncool.

      Kannst du mal bei dir kontrollieren wie häufig das passiert? Also grep "SSL wants" /var/log/bloonix/bloonix-agent.log | wc -l

      Update: die Meldung ist seit einem Restart des Agenten weg. Ich beobachte weiter.
    • Habe ich gemacht.

      [Jun 07 2015 20:24:43] NOTICE 4246 0.257193 initializing dispatcher (/usr/share/perl5/Bloonix/Agent.pm, line 57)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.000529 set env PLUGIN_LIBDIR = /var/lib/bloonix/agent (/usr/share/perl5/Bloonix/Agent.pm, line 100)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.000326 set env CONFIG_PATH = /etc/bloonix/agent (/usr/share/perl5/Bloonix/Agent.pm, line 100)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.003135 initialized dispatcher (/usr/share/perl5/Bloonix/Dispatcher.pm, line 108)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.000357 initialize socket /var/run/bloonix/bloonix-agent.sock.1433701483.4246 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 182)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.001952 start dispatcher (/usr/share/perl5/Bloonix/Dispatcher.pm, line 85)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.002763 child 4247 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      [Jun 07 2015 20:24:43] NOTICE 4247 0.003259 child 4247 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      [Jun 07 2015 20:24:43] INFO 4247 0.002436 child 4247 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.003660 child 4248 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      [Jun 07 2015 20:24:43] INFO 4247 0.001133 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      [Jun 07 2015 20:24:43] NOTICE 4248 0.004265 child 4248 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      [Jun 07 2015 20:24:43] INFO 4248 0.002578 child 4248 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.003350 child 4249 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      [Jun 07 2015 20:24:43] NOTICE 4249 0.003871 child 4249 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      [Jun 07 2015 20:24:43] INFO 4248 0.001059 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      [Jun 07 2015 20:24:43] INFO 4249 0.002368 child 4249 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.003759 child 4250 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      [Jun 07 2015 20:24:43] INFO 4249 0.001088 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      [Jun 07 2015 20:24:43] NOTICE 4250 0.004327 child 4250 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      [Jun 07 2015 20:24:43] INFO 4250 0.001763 child 4250 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:43] INFO 4250 0.000977 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)
      [Jun 07 2015 20:24:43] NOTICE 4246 0.203712 host 4 ready (/usr/share/perl5/Bloonix/Agent.pm, line 180)
      [Jun 07 2015 20:24:43] INFO 4246 0.000555 1 objects ready, 4/4 children ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 331)
      [Jun 07 2015 20:24:43] INFO 4246 0.000342 send object to child 4247 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 350)
      [Jun 07 2015 20:24:43] INFO 4246 0.000711 object send sent to child 4247 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 359)
      [Jun 07 2015 20:24:43] INFO 4247 0.212551 child 4247 status: alive (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:43] INFO 4247 0.000645 reading job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 491)
      [Jun 07 2015 20:24:43] INFO 4247 0.000516 got a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 495)
      [Jun 07 2015 20:24:43] INFO 4247 0.001056 start processing (/usr/share/perl5/Bloonix/Agent/Worker.pm, line 48)
      [Jun 07 2015 20:24:43] INFO 4247 0.000449 get services (/usr/share/perl5/Bloonix/Agent/Worker.pm, line 525)
      [Jun 07 2015 20:24:43] WARNING 4247 0.050952 IO::Socket::INET configuration failed - IO::Socket::INET configuration failed at /usr/share/perl5/Bloonix/IO/SIPC.pm line 157.
      (/usr/share/perl5/Bloonix/Agent.pm, line 71)
      [Jun 07 2015 20:24:44] ERROR 4246 0.136310 child 4247 died: 2304 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 574)
      [Jun 07 2015 20:24:44] NOTICE 4246 0.002435 child 4251 forked (/usr/share/perl5/Bloonix/Dispatcher.pm, line 420)
      [Jun 07 2015 20:24:44] NOTICE 4251 0.002783 child 4251 initialized (/usr/share/perl5/Bloonix/Agent.pm, line 136)
      [Jun 07 2015 20:24:44] INFO 4246 0.000651 reaping child 4247 (/usr/share/perl5/Bloonix/Dispatcher.pm, line 403)
      [Jun 07 2015 20:24:44] INFO 4246 0.000542 flushing 3 finished objects (/usr/share/perl5/Bloonix/Dispatcher.pm, line 309)
      [Jun 07 2015 20:24:44] INFO 4251 0.001420 child 4251 status: ready (/usr/share/perl5/Bloonix/Dispatcher.pm, line 722)
      [Jun 07 2015 20:24:44] NOTICE 4246 0.000621 next check of host id 4 at 1433701544 (/usr/share/perl5/Bloonix/Agent.pm, line 325)
      [Jun 07 2015 20:24:44] INFO 4251 0.000589 waiting to get a job (/usr/share/perl5/Bloonix/Dispatcher.pm, line 479)

      Viele Grüße
      Marvin
    • Das heißt, es müsste jetzt bei dir so aussehen, korrekt?

      Source Code

      1. } else {
      2. $opts{sockmod} = "IO::Socket::INET";
      3. }
      4. $opts{sockopts}{SSL_hostname} = "";
      5. if ($@) {
      6. die "unable to load $opts{sockmod}";
      7. }
      8. my %bytes = (
      9. b => 1,
      10. k => 1024,
      11. m => 1048576,
      12. g => 1073741824,
      13. t => 1099511627776,
      14. );
      Display All


      Es kann sein, dass bei dir eine andere Version läuft als bei mir... daher könnte die Zeilennummer unterschiedlich sein.
    • Dann kann ich bei dir die Warnung nicht verstehen:

      [Jun 07 2015 20:24:43] WARNING 4247 0.050952 IO::Socket::INET configuration failed - IO::Socket::INET configuration failed at /usr/share/perl5/Bloonix/IO/SIPC.pm line 157.(/usr/share/perl5/Bloonix/Agent.pm, line 71)

      denn dann hast du die Zeile nicht auf dem Server angepasst wo die SSL-Warnungen auftreten.
    • Muss die Zeile wirklich genau so $opts{sockopts}{SSL_hostname} = ""; aussehen oder eher so $opts{sockopts}{SSL_hostname} = "bloonix-server-adresse";?
      Bei Variante 1. kommt die oben genannte Fehlermeldung und bei der 2. Variante kommt nach einem Neustart weiterhin die Meldung "SSL wants a read first" und der Agent stirbt.
      Viele Grüße
      Marvin
    • Source Code

      1. ~ # dpkg -l | grep perl
      2. ii libalgorithm-c3-perl 0.09-1 all Perl module for merging hierarchies using the C3 algorithm
      3. ii libarchive-extract-perl 0.72-1 all generic archive extracting module
      4. ii libauthen-sasl-perl 2.1600-1 all Authen::SASL - SASL Authentication framework
      5. ii libcgi-fast-perl 1:2.04-1 all CGI subclass for work with FCGI
      6. ii libcgi-pm-perl 4.09-1 all module for Common Gateway Interface applications
      7. ii libclass-c3-perl 0.26-1 all pragma for using the C3 method resolution order
      8. ii libclass-c3-xs-perl 0.13-2+b1 amd64 Perl module to accelerate Class::C3
      9. ii libcommon-sense-perl 3.73-2+b3 amd64 module that implements some sane defaults for Perl programs
      10. ii libcpan-meta-perl 2.142690-1 all Perl module to access CPAN distributions metadata
      11. ii libdata-optlist-perl 0.109-1 all module to parse and validate simple name/value option pairs
      12. ii libdata-section-perl 0.200006-1 all module to read chunks of data from a module's DATA section
      13. ii libdbd-mysql-perl 4.028-2+b1 amd64 Perl5 database interface to the MySQL database
      14. ii libdbi-perl 1.631-3+b1 amd64 Perl Database Interface (DBI)
      15. ii libdigest-hmac-perl 1.03+dfsg-1 all module for creating standard message integrity checks
      16. ii libfcgi-perl 0.77-1+b1 amd64 helper module for FastCGI
      17. ii libgetopt-long-descriptive-perl 0.097-1 all module that handles command-line arguments with usage text
      18. ii libhtml-template-perl 2.95-1 all module for using HTML templates with Perl
      19. ii libhttp-cookiejar-perl 0.006-1 all minimalist HTTP user agent cookie jar
      20. ii libhttp-date-perl 6.02-1 all module of date conversion routines
      21. ii libhttp-tiny-perl 0.050-1 all Perl module that implements a small, simple, correct HTTP/1.1 client
      22. ii libio-multiplex-perl 1.13-1 all object-oriented interface to select() for Perl
      23. ii libio-socket-inet6-perl 2.72-1 all object interface for AF_INET6 domain sockets
      24. ii libio-socket-ssl-perl 2.002-2 all Perl module implementing object oriented interface to SSL sockets
      25. ii libio-stringy-perl 2.110-5 all Perl modules for IO from scalars and arrays
      26. ii libjson-perl 2.61-1 all module for manipulating JSON-formatted data
      27. ii libjson-xs-perl 2.340-1+b2 amd64 module for manipulating JSON-formatted data (C/XS-accelerated)
      28. ii liblist-moreutils-perl 0.33-2+b1 amd64 Perl module with additional list functions not found in List::Util
      29. ii liblocale-gettext-perl 1.05-8+b1 amd64 module using libc functions for internationalization in Perl
      30. ii liblog-handler-perl 0.84-1 all module to handle output destined for log files
      31. ii liblog-message-perl 0.8-1 all powerful and flexible message logging mechanism
      32. ii liblog-message-simple-perl 0.10-2 all simplified interface to Log::Message
      33. ii libmodule-build-perl 0.421000-2 all framework for building and installing Perl modules
      34. ii libmodule-implementation-perl 0.09-1 all module for loading one of several alternate implementations of a module
      35. ii libmodule-pluggable-perl 5.1-1 all module for giving modules the ability to have plugins
      36. ii libmodule-runtime-perl 0.014-1 all Perl module for runtime module handling
      37. ii libmodule-signature-perl 0.73-1+deb8u2 all module to manipulate CPAN SIGNATURE files
      38. ii libmro-compat-perl 0.12-1 all mro::* interface compatibility for Perls < 5.9.5
      39. ii libnet-cidr-perl 0.17-1 all Manipulate IPv4/IPv6 netblocks in CIDR notation
      40. ii libnet-dns-perl 0.81-2 amd64 Perform DNS queries from a Perl script
      41. ii libnet-ip-perl 1.26-1 all Perl extension for manipulating IPv4/IPv6 addresses
      42. ii libnet-libidn-perl 0.12.ds-2+b1 amd64 Perl bindings for GNU Libidn
      43. ii libnet-server-perl 2.008-1 all extensible, general perl server engine
      44. ii libnet-smtp-ssl-perl 1.01-3 all Perl module providing SSL support to Net::SMTP
      45. ii libnet-snmp-perl 6.0.1-2 all Script SNMP connections
      46. ii libnet-ssleay-perl 1.65-1+b1 amd64 Perl module for Secure Sockets Layer (SSL)
      47. ii libnet-xwhois-perl 0.90-4 all Whois Client Interface for Perl5
      48. ii libpackage-constants-perl 0.04-1 all List constants defined in a package
      49. ii libparams-classify-perl 0.013-4+b2 amd64 Perl module for argument type classification
      50. ii libparams-util-perl 1.07-2+b1 amd64 Perl extension for simple stand-alone param checking functions
      51. ii libparams-validate-perl 1.13-1+b1 amd64 Perl module to validate parameters to Perl method/function calls
      52. ii libperl4-corelibs-perl 0.003-1 all libraries historically supplied with Perl 4
      53. ii libpod-latex-perl 0.61-1 all module to convert Pod data to formatted LaTeX
      54. ii libpod-readme-perl 0.11-1 all Perl module to convert POD to README file
      55. ii libregexp-common-perl 2013031301-1 all module with common regular expressions
      56. ii libsocket6-perl 0.25-1+b1 amd64 Perl extensions for IPv6
      57. ii libsoftware-license-perl 0.103010-3 all module providing templated software licenses
      58. ii libsub-exporter-perl 0.986-1 all sophisticated exporter for custom-built routines
      59. ii libsub-install-perl 0.928-1 all module for installing subroutines into packages easily
      60. ii libterm-readkey-perl 2.32-1+b1 amd64 perl module for simple terminal control
      61. ii libterm-ui-perl 0.42-1 all Term::ReadLine UI made easy
      62. ii libtext-charwidth-perl 0.04-7+b3 amd64 get display widths of characters on the terminal
      63. ii libtext-iconv-perl 1.7-5+b2 amd64 converts between character sets in Perl
      64. ii libtext-soundex-perl 3.4-1+b2 amd64 implementation of the soundex algorithm
      65. ii libtext-template-perl 1.46-1 all perl module to process text templates
      66. ii libtext-wrapi18n-perl 0.06-7 all internationalized substitute of Text::Wrap
      67. ii libtime-modules-perl 2013.1113-2 all Transitional package for libtime-modules-perl
      68. ii libtime-parsedate-perl 2013.1113-2 all collection of Perl modules for time/date manipulation
      69. ii libtimedate-perl 2.3000-2 all collection of modules to manipulate date/time information
      70. ii libtry-tiny-perl 0.22-1 all module providing minimalistic try/catch
      71. ii libuuid-perl 0.05-1+b1 amd64 Perl extension for using UUID interfaces as defined in e2fsprogs
      72. ii perl 5.20.2-3+deb8u1 amd64 Larry Wall's Practical Extraction and Report Language
      73. ii perl-base 5.20.2-3+deb8u1 amd64 minimal Perl system
      74. ii perl-modules 5.20.2-3+deb8u1 all Core Perl modules
      Display All
      Viele Grüße
      Marvin