Uberspace Operations @ops@uberspace.social

Still not migrated your old U6 account to the new and shiny U7 platform? Make us happy and do it this weekend! EOL is coming in 10 days.

Heiliger Bimbam...wir müssen unsere Aussage zur Ursache korrigieren. Es gibt Dinge die sollte ihr bei uns lieber nicht laufen lassen. Dazu gehört auch ein ElasticSearch...vor allem wenn die zugehörige VM noch auf dem HDD Pool liegt.

Und jetzt sollte wieder alles wie gewohnt funktionieren. 🎉

Root Cause Analyse sagt: Wir haben zu viele VMs zu schnell neu gestartet. Das hat dann die Ressourcen des alten HDD Pools überlastet. Ist beim größten Teil gut gelaufen, aber am Ende waren wir wohl zu hungrig aufs Mittagessen ;)

Die ganze Aktion mit den Reboots ist unter anderem übrigens notwendig um euch schneller auf SSDs migrieren zu können ;)

Leider sind wir bei unseren Reboots in ein kaskadierendes Problem auf dem Storage gelaufen. Daher mussten wir einige VMs nochmal kontrolliert neu starten. Das dauert leider auch noch ein bisschen, sollte aber bald fertig sein.

Rebooted and chanced the config of 132 VMs in the last 24 hours, manually ;)

If you get a mail from us because we are seeing too much traffic from your site and you don't fix it in 5 days we are not that happy if you just switch the host after we've disabled your site.

Finished the migration from our old location FRA2 ;)

If you build very big dashboards with many hosts in Grafana and if you use nginx with http2 as reverse proxy you want to set "http2_max_field_size" to a higher value to prevent hard to debug errors. For us 16k worked.

We had a network outage because of a failing switch today. We think we've found the cause by a missing 'storm-controll multicast'. So we hope this has finally fixed the problem that bit us multiple times.

After some sleep we still need to clean a few things up like our transporter 🧹 😂

And now back home ;)

Finished the data center migration with my great team :) Everything went better than expected :)

And everything should be up and running by now. And we had not a single hardware failure beside a empty bios battery 🎉🎉🎉

Looks like there is someone trying to build a switch museum on another rack 😂