Show newer

We've planed everything for an update fixing an annoying bug today. And then we got hit by it in the night before. That's bad luck 😂

The mitigation for the sudo vulnerability wasn't that great from a performance perspective. Thankfully there was a update available this morning ;)

Someone tried to attack all WordPress installations with their xmlrpc.php on all our hosts at once 😂 Happily we were able to block the attack on the routers.

The time on the host since epoch... right this is how time behaves...🧐

Show thread

You really really don't want your log file to look like this while you are trying to debug an incident with your storage on a specific host.

So we jumped back nearly 30 minutes. Then we were in a time loop for 1 hour (image 2) and then jumped forward to the normal time again.

Did we fly our spaceship too close to a black hole? 🚀

Wenn ihr euer großes 25 Minuten Weihnachtsvideo hosten wollt, macht das doch lieber bei den Freundinnen von Peertube, da macht das mehr Spaß und unser Monitoring schreit auch nicht ;)

joinpeertube.org/instances

Tja dank altem Kernel werden aus geplanten 20-25 Minuten Downtime halt schnell mal 86 Minuten. Mist. Aber jetzt läuft wieder alles.

Wir haben mal wieder ein paar SSDs nachgeschoben. Das sieht wie immer sehr hübsch in den Graphen aus 😍

Still not migrated your old U6 account to the new and shiny U7 platform? Make us happy and do it this weekend! EOL is coming in 10 days.

Still not migrated your old U6 account to the new and shiny U7 platform? Make us happy and do it this weekend! EOL is coming in 10 days.

Heiliger Bimbam...wir müssen unsere Aussage zur Ursache korrigieren. Es gibt Dinge die sollte ihr bei uns lieber nicht laufen lassen. Dazu gehört auch ein ElasticSearch...vor allem wenn die zugehörige VM noch auf dem HDD Pool liegt.

Show thread

Und jetzt sollte wieder alles wie gewohnt funktionieren. 🎉 :uberspace:

Show thread

Root Cause Analyse sagt: Wir haben zu viele VMs zu schnell neu gestartet. Das hat dann die Ressourcen des alten HDD Pools überlastet. Ist beim größten Teil gut gelaufen, aber am Ende waren wir wohl zu hungrig aufs Mittagessen ;)

Die ganze Aktion mit den Reboots ist unter anderem übrigens notwendig um euch schneller auf SSDs migrieren zu können ;)

Show thread

Leider sind wir bei unseren Reboots in ein kaskadierendes Problem auf dem Storage gelaufen. Daher mussten wir einige VMs nochmal kontrolliert neu starten. Das dauert leider auch noch ein bisschen, sollte aber bald fertig sein.

Rebooted and chanced the config of 132 VMs in the last 24 hours, manually ;)

CPU Features, Storage, Updates... Wir arbeiten weiter fleißig an U7. Diesmal brauchen wir dafür aber einen Reboot. Daher werden wir alle U7 VMs in den nächsten 2-3 Wochen einmal neu starten. Wir hoffen eure Services sind Reboot sicher 😉

Show older
Uberspace Mastodon

This server is for internal use only at the moment (Imprint)