Blackbuilding noodstroomtest BIT-1 06-06-2023 05:00-07:00
Op dinsdag 6 juni tussen 5.00 en 7.00 uur zullen wij een blackbuilding noodstroomtest bij BIT-1 uitvoeren.
Blackbuilding noodstroomtest BIT-2 13-06-2023 05:00-07:00
Op dinsdag 13 juni tussen 5.00 en 7.00 uur zullen wij een blackbuilding noodstroomtest uitvoeren bij BIT-2.
#bitnl
Onderhoud : Onderhoud core router BIT-1 (24-05-2023 00:00-05:00 uur)
De software op onze core router in BIT-1 wordt bijgewerkt naar de op dit moment door de leverancier geadviseerde versie. Hierdoor is het mogelijk dat er korte onderbrekingen zijn in het verkeer van en naar het internet en zullen BGP-sessies van klanten met BIT gedurende enkele minuten verbroken zijn.
https://www.bit.nl/news/3379/92/Onderhoud-core-router-BIT-1
#bitnl
Update geplaatst op 24-05-2023, 02.15
Dit onderhoud is succesvol afgerond om 2.00u. Engineers houden het netwerk nog enige tijd extra in de gaten.
#bitnl
Onderhoud : Onderhoud core router BIT-1 (24-05-2023 00:00-05:00 uur)
De software op onze core router in BIT-1 wordt bijgewerkt naar de op dit moment door de leverancier geadviseerde versie. Hierdoor is het mogelijk dat er korte onderbrekingen zijn in het verkeer van en naar het internet en zullen BGP-sessies van klanten met BIT gedurende enkele minuten verbroken zijn.
https://www.bit.nl/news/3379/92/Onderhoud-core-router-BIT-1
#bitnl
Daarom meeste op activitypub (gotosocial) doen , nostr leuk speelgoed.
Onderhoud geslaagd : Uitbreiding capaciteit core netwerk
De capaciteit tussen het Arista access netwerk en de Juniper core routers, en de capaciteit van de Juniper core routers naar het core netwerk zal worden verdubbeld. Ook zullen verbindingen tussen het access netwerk en de core routers in een meer redundante setup worden geconfigureerd.
https://www.bit.nl/news/3358/92/Uitbreiding-capaciteit-core-netwerk
#bitnl
Gezocht: Datacenter Engineer.
Bouw als Datacenter Engineer mee aan de digitale wereld van de toekomst.
Bij BIT zijn we op zoek naar een getalenteerde en gemotiveerde Datacenter Engineer om ons team te versterken. Als Datacenter Engineer speel je een essentiële rol in het beheren en onderhouden van onze datacenterinfrastructuur. Je zorgt voor de betrouwbaarheid, veiligheid en efficiëntie van onze datacenters, waarbij je gebruik maakt van je technische vaardigheden en kennis van datacenterbeheer.
https://www.bit.nl/vacature-datacenter-engineer
#bitnl
Onderhoud deze week :
Periodiek onderhoud koeling BIT-1 & BIT-2BCD
De computairs (die verantwoordelijk zijn voor het rondblazen van koude lucht in de datacenters) zullen één voor één uitgezet worden voor de onderhoudsbeurt. Dit kan op bepaalde plaatsen in de ruimte een lichte verhoging in de temperatuur veroorzaken.
Het gehele onderhoud wordt begeleid door datacenter engineers van BIT. Deze engineers zullen ook de temperatuur in de serverruimtes monitoren.
https://www.bit.nl/onderhoud #bitnl
update: #bitnl storage storing
NL: Komende dagen wordt er nader onderzoek gedaan naar de exacte oorzaak van het incident. De expertise van één van de core developers van Ceph wordt hierbij ingeschakeld. Zodra dit onderzoek gereed is zal er een definitieve RFO op www.bit.nl gepubliceerd worden. Het is zeker dat het incident zich alleen voor heeft kunnen doen omdat er op dat moment capaciteit in het cluster toegevoegd werd. Totdat duidelijk is wat de oorzaak was zal er geen capaciteit toegevoegd worden en is er daarom geen risico op herhaling van het incident.
EN: The incident and its cause will be investigated further coming days. The expertise of one of the core developers of Ceph will be added to our team. As soon as the investigation reaches a conclusion a definitive RFO will be published on www.bit.nl. It is clear that the incident could only occur because at that moment extra capacity was being added to the cluster. Untill the root cause is known we will not add extra capacity and therefor there is no risk that the same incident will re-occur.
https://www.bit.nl/news/3353/88/Storage-incident-vrijdag-14-april-gepubliceerd-op-www.bit.org
RFO incident 14-04-2023
De RFO voor het incident dat zich op 14 april j.l. voor deed is gereed. Reguliere operaties op het Ceph shared storaged cluster van BIT lopen op vrijdag 14 april om 11.55 uur tegen een tot op dat moment onbekende bug in de Ceph code aan. Het cluster wordt onbeschikbaar en hersteloperaties zorgen ervoor dat op 15 april om 00.39 uur het cluster weer beschikbaar is. Er is geen data corrupt geraakt of verloren gegaan als gevolg van dit incident.
meer info op en daar staat rfo compleet
update: #bitnl storage storing
NL: Komende dagen wordt er nader onderzoek gedaan naar de exacte oorzaak van het incident. De expertise van één van de core developers van Ceph wordt hierbij ingeschakeld. Zodra dit onderzoek gereed is zal er een definitieve RFO op www.bit.nl gepubliceerd worden. Het is zeker dat het incident zich alleen voor heeft kunnen doen omdat er op dat moment capaciteit in het cluster toegevoegd werd. Totdat duidelijk is wat de oorzaak was zal er geen capaciteit toegevoegd worden en is er daarom geen risico op herhaling van het incident.
EN: The incident and its cause will be investigated further coming days. The expertise of one of the core developers of Ceph will be added to our team. As soon as the investigation reaches a conclusion a definitive RFO will be published on www.bit.nl. It is clear that the incident could only occur because at that moment extra capacity was being added to the cluster. Untill the root cause is known we will not add extra capacity and therefor there is no risk that the same incident will re-occur.
https://www.bit.nl/news/3353/88/Storage-incident-vrijdag-14-april-gepubliceerd-op-www.bit.org
NL: Het cluster is weer operationeel. De backfills en recoveries zijn gereed en alle diensten zijn weer beschikbaar. De komende dagen zal er her en der nog wat gerebalanced worden in het cluster. In een enkel geval kan dat nog wat beperkte performance issues geven.
EN: The cluster is operational. The backfills and recoveries are done and all services are available. The cluster will be rebalanced coming days. Occasionally this might cause some minor performance issues.
update: #bitnl storage storing
NL: Een groot deel van de PG's die nu geïsoleerd worden, zullen niet apart teruggeplaatst hoeven te worden omdat er andere OSD's zijn waar die PG wel beschikbaar is. Voor PG's die niet automatisch kunnen recoveren is uit tests duidelijk geworden dat ze wel apart geïmporteerd kunnen worden. Er wordt geen dataverlies verwacht als gevolg van dit incident.
EN: The majority of the PG's that are now being isolated, will recover automatically because there will be other OSD that have these PG's mapped. Tests show that PG's that won't recover automatically will import successfully later on. No data loss is expected from this incident.
NL: Er komen steeds meer, voorheen crashende, OSD's weer beschikbaar. Het zal nog enige tijd duren voordat alle OSD's weer beschikbaar zijn. Er wordt nog onderzocht of de geïsoleerde PG's weer beschikbaar gemaakt kunnen worden.
EN: More and more previously crashing OSD's are coming available. It will take some time to get all OSD's online. Investigation on the possibility of recovering the problematic, isolated PG's is still going on.
update: #bitnl storage storing
NL: Een deel van de placement groups (PG) veroorzaakt problemen en zorgt ervoor dat bepaalde OSD's niet starten. Als die PG uit de OSD gehaald wordt start de OSD wel. Er wordt nu onderzocht of dit voor alle OSD's geldt en hoe de geïsoleerde PG alsnog toegevoegd kan worden aan een OSD. Als data op de storage wordt geplaatst, worden objecten gemapped naar PG's. PG's op hun beurt worden weer naar OSD's gemapped.
EN: Some of the placement groups (PG) are causing issues and this resulting in crashing OSD's. When those PG's get extracted from the OSD, the OSD does start. Ongoing investigation should point out whether all crashing OSD's are the result of these PG's. Furthermore it will be investigated if the isolated PG's can be added later on to an OSD. When placing data in the cluster, objects are mapped into PGs, and those PGs are mapped onto OSDs.
update: #bitnl storage storing
NL: Het herstarten van de OSD's heeft geen effect gehad, deze blijven crashen. Er wordt met externe experts verder gezocht naar een oorzaak en oplossing.
EN: Restarting all OSD's has not helped, the crashes continue. Together with a team of external experts continue to search for a cause and resolution.
update: #bitnl storage storing
NL: Alle OSD's zullen een restart krijgen in een poging om meer OSD's beschikbaar te krijgen.
EN: All OSD's will be restarted in an attempt to get more OSD's available
update: #bitnl storing
NL: De Ceph monitoring daemons op alle Ceph monitoring servers zijn herstart. Er wordt daarna gepoogd de OSD's weer beschikbaar te maken. EN: The Ceph monitoring daemons have been restarted. After that an attempt will be made to get the OSD's available again.
update: #bitnl storing
NL: Een enkele OSD is weer beschikbaar gekomen, maar de rest van de OSD's niet. Middels debugging tools wordt verder uitgezocht wat het probleem veroorzaakt.
EN: A single OSD is available again, but the other OSD's are not. Debugging tools are deployed to investigate the incident further.
update : #bitnl storing
NL: Onze eigen engineers en de externe Ceph specialisten zijn mogelijke oorzaken voor de verstoring aan het uitsluiten. Het is nog niet duidelijk wat de oorzaak wel is.
EN: Our own engineers with the external Ceph specialists are ruling out possible causes. It is still unclear what is causing the disruption.