Fehler 500 - der blocati-Server strampelt
Hallo liebe Freunde, eine kurze Info an die Leidgeplagten, die hier seit gut 2 Wochen regelmäßig einen 500er Fehler (allgemeiner Serverfehler) angezeigt bekommen. Ja, wir wissen davon und es nervt uns auch 
Der Hintergrund ist, dass blocati auf dem vServer meines besten Kumpels drauf liegt und er den Server vor ca. 2 Wochen mit einem 
frischen Debian Etch und diversen notwendigen aktuellen Paketen (vor allem für mehr Stabilität *g* und Sicherheit) ausgestattet hat. Das Problem daran: Systeme, die dem heutigen Stand der softwareseitigen Möglichkeiten entsprechen, benötigen reichlich Speicher. Der vServer hat allerdings nur 256MB + 128(?) MB Flex-RAM, kann also wenn die anderen vServer auf der Hardware gnädig sind, noch ein paar Reserven ziehen. Nur leider sind die 256MB eigentlich schon weg, bevor hier auch nur eine Webseite läuft - mpf 
Auf bewußtem vServer laufen allerdings neben blocati noch ca. 10 kleine Webseiten und ein auch ziemlich ressourcenhungriges phpBB-Forum. In den letzten 2 Wochen kam es dadurch aber leider mehrfach dazu, dass die hier eingesetzte Software (icpCP als Managementsoftware und Apache2 mit fast-cgi für sichere vHosts) sich gnadenlos festgefressen hat. Auch zahlreiche Anpassungen im System brachten leider keine dauerhafte Stabilität und auch meine Bemühungen, das WordPress (hier läuft schon eine stark optimierte Version) und die zuvor laufenden Bot-Filter weiter zu optimieren reichen nicht aus. Aus den Logfiles konnten wir immerhin ablesen, was letztlich meist der Hauptauslöser für die enormen Spitzenlasten (mitunter 2-stellige Load Average) war: die Bots von Yahoo und MSN verhalten sich gerne wie die Axt im Walde, rufen binnen kürzester Zeit zahlreiche Unterseiten auf und starten dafür jedes mal eine neue Session. Obwohl der Apache die eigentlich nach einiger Zeit automatisch killen müßte, bleiben auf diesem völlig überforderten System hier regelmäßig Prozesse viel zu lange am Leben und sorgen dafür, dass für weitere Besucher noch weniger Speicher zur Verfügung steht. Kommen zu MSN oder Yahoo noch ein paar andere Bots oder gar User dazu, ist dann schnell Schicht im Schacht und wenn man “Glück” hat, dann nur für blocati - meist haut’s gleich den anderen Domains auch noch die virtuellen Füße weg. Wir haben zwar MSN und Yahoo inzwischen das überäßige Crawlen per robots.txt abgewöhnt, aber auch das reicht noch nicht. Mangels Zeit bleibt blocati vorerst noch auf dem vServer hier und wird dadurch wohl noch 1-2 Wochen gelegentlich etwas träge sein oder auch mit 500er Fehlern herumnerven. Besonders übel ist übrigens der Admin-Bereich: frisch verfaßte Texte speichern oder nachbearbeiten ist eine wahre Zumutung *g* Deshalb habe ich auch erst heute die beiden letzten Artikel veröffentlicht, obwohl die schon seit ein paar Tagen bei mir herumlagen. Der “Problem-Löser”, ein dicker Dedicated Server, steht aber schon bereit und der verträgt locker ein paar hundert Domains in der Größenordnung von blocati Bis dahin darf das Teil hier hin und wieder von meinem Kumpel manuell wieder angeschupst werden 
PS: Cati ist momentan auch out of order, deshalb gibt’s halt nur mehr oder weniger verständliches Geblubber von mir
Am 2. February 2008 um 21:18 Uhr
Jetzt scheint es, als würde der Server wieder halbwegs stabil laufen. Vorgestern wurde eine der “kleinen” Seiten von dem vServer hier runtergenommen, weil die gelegentlich für ordentlich Last gesorgt hatte. Zwar wenig User, aber als dickes WoW-Forum doch bei so einigen der Zugriffe ganz schön hungrig, war das einen Versuch wert. Wie ich heute erfuhr, schaffen es auf der Domain knapp 50 User an einem Tag 28000 Zugriffe zu verzapfen - dafür braucht blocati etwa 1800 Besucher und somit knappe 3 Tage … Also Grund genug, dass Ding auf einen größeren Server zu verschieben.
Dieses nette Tool sorgt eigentlich dafür, dass man relativ leicht diverse automatisierte Angriffe abwehren kann, dafür nimmt das Script aber auch mal eben 160MB RAM ^^ Sicher, ein bissel was wird fail2ban in der letzten Woche schon erreicht haben, aber gleichzeitig hat’s halt den Server gnadenlos überfordert und sämtliche Versuche, die Last runterzudrücken damit ziemlich bedeutungslos werden lassen. Seit das Script weg ist und der Server sämtliche hängenden Prozesse endlich auch schon frühzeitig gekillt bekommt, scheint blocati wieder stabil zu laufen. Na schaun wir mal und wer’nen 500er findet, der darf ihn einrahmen und behalten 
Gestern früh, als ich den Artikel hier verfaßte, zeigte sich, dass dies noch nicht ausreichen würde und ein paar Stündchen später gab es dann mal wieder einen kompletten Hänger. Als wir dann heute just4fun mal den Speicherverbrauch unserer Server, also den von 2 dicken Dedicated Servern und dem des vServers, verglichen, fielen uns dabei ein paar Dinge auf, die etwas merkwürdig waren. zum einen war der virtuell beschlagnahmte Speicher wie auf allen Linux-Systemen ziemlich hoch - selbst auf meinem Server mit bisher gerade mal 3 Domains ohne Inhalte reserviert sich das System nach gut 10 Tagen Laufzeit satte 1.2GB RAM, somit also noch deutlich mehr, als auf dem weit stärker beschäftigten vServer. Das da scheinbar bedeutend mehr genommen wird, als wirklich notwenig ist, war klar, aber eine genauere Betrachtung zeigte, dass der real verbrauchte Speicher dieser Installation eigentlich nur im Bereich zw. 120-140MB (zzgl. der fcgi-Threads für die User) liegen sollte. Auf dem vServer wurden allerdings, wie schon im Artikel oben erwähnt, permanent an die 250MB real verbraucht. Noch mal hinschauen und es fiel auf, dass da einer von uns beiden (*mit Finger auf meinen guten Freund zeig*) einen ganz üblen Speicherffresser installiert hatte: fail2ban