What a great feeling to resolve a ticket with our datacenter provider after over a year of work and a lot of unexpected problems. 🎉

Zum ersten Mal kann man sich bei uns auf etwas anderes bewerben als Entwicklung oder Vertrieb: Wir suchen zum nächstmöglichen Zeitpunkt eine Systemadministrator:in. Darauf habt ihr alle nur gewartet? Hier lang: behind.pretix.eu/2021/02/12/jo :)

It is totally okay to have some fun with the graphs while rebooting some VMs 🌈

Updated all switches and routers at all locations. Downtime less than 2 Minutes (zero will be possible in the future)! Hopefully the bug is now fixed.

Show thread

We've planed everything for an update fixing an annoying bug today. And then we got hit by it in the night before. That's bad luck 😂

The mitigation for the sudo vulnerability wasn't that great from a performance perspective. Thankfully there was a update available this morning ;)

Someone tried to attack all WordPress installations with their xmlrpc.php on all our hosts at once 😂 Happily we were able to block the attack on the routers.

You really really don't want your log file to look like this while you are trying to debug an incident with your storage on a specific host.

So we jumped back nearly 30 minutes. Then we were in a time loop for 1 hour (image 2) and then jumped forward to the normal time again.

Did we fly our spaceship too close to a black hole? 🚀

Wenn ihr euer großes 25 Minuten Weihnachtsvideo hosten wollt, macht das doch lieber bei den Freundinnen von Peertube, da macht das mehr Spaß und unser Monitoring schreit auch nicht ;)

joinpeertube.org/instances

Tja dank altem Kernel werden aus geplanten 20-25 Minuten Downtime halt schnell mal 86 Minuten. Mist. Aber jetzt läuft wieder alles.

Wir haben mal wieder ein paar SSDs nachgeschoben. Das sieht wie immer sehr hübsch in den Graphen aus 😍

Still not migrated your old U6 account to the new and shiny U7 platform? Make us happy and do it this weekend! EOL is coming in 10 days.

Still not migrated your old U6 account to the new and shiny U7 platform? Make us happy and do it this weekend! EOL is coming in 10 days.

Heiliger Bimbam...wir müssen unsere Aussage zur Ursache korrigieren. Es gibt Dinge die sollte ihr bei uns lieber nicht laufen lassen. Dazu gehört auch ein ElasticSearch...vor allem wenn die zugehörige VM noch auf dem HDD Pool liegt.

Show thread

Und jetzt sollte wieder alles wie gewohnt funktionieren. 🎉 :uberspace:

Show thread

Root Cause Analyse sagt: Wir haben zu viele VMs zu schnell neu gestartet. Das hat dann die Ressourcen des alten HDD Pools überlastet. Ist beim größten Teil gut gelaufen, aber am Ende waren wir wohl zu hungrig aufs Mittagessen ;)

Show more
Uberspace Mastodon

This server is for internal use only at the moment (Imprint)