update : #bitnl storing
NL: Met de ingeschakelde externe specialisten worden de Ceph logfiles geanalyseerd. Zodra bekend is wat de conclusies van die analyse zijn, wordt de incidentmelding bijgewerkt.
EN: Together with the external specialists the Ceph log files are being analysed. As soon as more infomation from the investigation is available the incident notice will be updated.
NL: OSD's in alle drie de failure domains zijn gecrasht en blijven crashen bij restarts. Het is nog niet duidelijk waar dit door veroorzaakt wordt. Externe expertise wordt hiervoor nu ingeschakeld.
EN: OSD's in all three failure domains have crashed en continue to crash when restarting. It is still unclear why this happens. External expertise is being contacted.
Problemen met storage bij BIT , op https://www.bit.org/status/ zijn status updates. Er zijn problemen met storage systemen van BIT. Diverse diensten, waaronder virtual machines en mail, zijn hierdoor niet of sterk verminderd bereikbaar. Engineers hebben de exacte oorzaak in onderzoek. #bitnl
NL: Alle diensten van BIT die gebruik maken van shared Ceph storage zijn getroffen door dit incident. Engineers van BIT onderzoeken de oorzaak van de verstoring.
EN: All BIT services depending on Ceph storage are affected by this incident. BIT engineers are pinpointing the cause of the outage.
Problemen met storage bij BIT , op https://www.bit.org/status/ zijn status updates. Er zijn problemen met storage systemen van BIT. Diverse diensten, waaronder virtual machines en mail, zijn hierdoor niet of sterk verminderd bereikbaar. Engineers hebben de exacte oorzaak in onderzoek. #bitnl
Onderhouds medling voor vandaag: Periodiek onderhoud transformator BIT-2A. Er wordt periodiek onderhoud uitgevoerd aan de transformator van BIT-2A.
www.bit.nl/news/3328/92/Periodiek-onderhoud-transformator-BIT-2A
#bitnl
De chillers vliegen over het dak. (Vervanging chillers BIT-2A) https://www.bit.nl/news/3321/92/Vervanging-chillers-BIT-2A https://nostr.build/av/nostr.build_7163a8ca09b19f7a9725cf0ae67dca9e0a073eaa0c1b418a97c6f5f64928a39a.mp4 #bitnl
BIT heeft een vacature open voor een Support Engineer. Je moet een voorliefde hebben voor internet gerelateerde zaken en leuk vinden om dingen te leren (want er is altijd wel weer iets nieuws) Zie https://www.bit.nl/vacature-support-engineer . #bitnl
NL-IX had zo te zien wat issues , op https://www.nl-ix.net/locations/ zie je in grafiekje niet vloeiende lijnen. #internet
Gister was er een "kleine" netwerkstoring : Netwerkonderbreking leaf-sw5.bit-2a
https://www.bit.nl/news/3325/93/Netwerkonderbreking-leaf-sw5.bit-2a
#bitnl
Er was Spoedonderhoud Ceph storage cluster , 23-02-2023 00:00 - 07:00
Van donderdag 23 februari 0.00 tot en met 7.00 uur zullen engineers van BIT onderhoud uitvoeren aan het Ceph storage cluster. Klanten met een CephFS shared filesystem en / of een shared hosting website zullen deze, mogelijk meermaals, kortstondig als niet beschikbaar ervaren.
[update 23-02-2023, 1:55]
Het complete onderhoud is succesvol uitgevoerd en afgerond. Het onderhoudsvenster voor 24 februari komt hierdoor ook te vervallen.
https://www.bit.nl/news/3319/92/Spoedonderhoud-Ceph-storage-cluster
#bitnl
Storing email platform - Door een storing in ons opslagplatform gisteravond is de index van een aantal e-mailboxen gecorrumpeerd. Hierdoor kan het zijn dat uw e-mail niet zichtbaar is na het inloggen. We werken momenteel aan een oplossing om de index van alle e-mailopslag te herstellen.
https://www.bit.nl/news/3317/93/storing-email-platform
#bitnl
Er is een update op deze storing : Update geplaatst op 22-02-2023, 11.05
Er is een oplossing geimplementeerd om de index bij te werken en alle e-mail boxen zouden weer normaal moeten functioneren.
#bitnl
Storing email platform - Door een storing in ons opslagplatform gisteravond is de index van een aantal e-mailboxen gecorrumpeerd. Hierdoor kan het zijn dat uw e-mail niet zichtbaar is na het inloggen. We werken momenteel aan een oplossing om de index van alle e-mailopslag te herstellen.
https://www.bit.nl/news/3317/93/storing-email-platform
#bitnl
IMAP email dienst verstoord , gisteravond van 21.15 tot 22.15 https://www.bit.nl/news/3315/93/IMAP-email-dienst-verstoord
Update : Onderhoud Ceph storage cluster https://www.bit.nl/news/3311/92/Onderhoud-Ceph-storage-cluster
Onderhoud van dinsdag 21 februari is succesvol uitgevoerd. Er heeft wel een onvoorziene verstoring aan het CephFS shared filesysteem plaatsgevonden. Dit filesysteem was niet beschikbaar tussen 00:28 - 00:52 uur.
#bitnl
Spoedonderhoud glasvezelverbinding BIT-1 - Equinix AM7
Verwachte impact:
- internetverkeer wordt automatisch omgeleid via andere paden
- wavelengths van klanten worden voor enkele minuten onderbroken
https://www.bit.nl/news/3313/92/Spoedonderhoud-glasvezelverbinding-BIT-1-Equinix-AM7
#bitnl
Aankondiging onderhoud Ceph storage cluster week van 21 t/m 24 februari. verwachte impact Verminderde redundantie & CephFS shared filesystem zal, mogelijk meermaals, kortstondig niet beschikbaar zijn https://www.bit.nl/news/3311/92/Onderhoud-Ceph-storage-cluster #bitnl