Incident Investigation after DC3HAM Datacenter Maintenance of 16th October 2019 by CenturyLink

2019-10-25 11:28:  Century Link has delivered an Incident Report,  this can be requested per ticket to service@mcon-group.com .

2019-10-18 17:29: Century Link promissed to provide a formal Incident Report with the reason for outage within 3-5 business days.  

2019-10-17 10:20 : Requested incident report from CenturyLink

Finished: DC3HAM Maintenance 16th October 2019 by CenturyLink

Dear Sir or Madam,

2019-10-16 18:25: The service interruption on Century Link side caused by the scheduled network maintenance of Century Link is finished . All systems are reachable now.

2019-10-16 16:40: seems we are connected againe, we are checking all systems

2019-10-16 14:50: Century Link is still investigating on the DC3HAM network interruption issues, our engineers are supporting them.

2019-10-16 13:32 : unfortunately no progress till now, Century link is still investigating on the issue, our engineers are supporting them.

2019-10-16 11:30 AM: unfortunately no progress till now, Century link is still investigating the issue.

2019-10-16 09:20 AM: The scheduled network maintenance of Century link resulted in a service interruption on century link side which is still ongoing, Century Link‘s network staff is investigating the issue.

2019-10-16 08:30 AM: CenturyLink is still working on the network maintence. We will inform you when the systems are up and running. Our engineers are still checking with Century link since 2019-10-16 01:00 CEST.

2019-10-16 07:00 AM: according to our announcement below, the carrier of Datacenter CenturyLink is still working on the network maintence. We will inform you when all updates are finished and the systems are up and running. Our engineers are checking with Century link since 2019-10-16 01:00 CEST.

Announcement from 09th October 2019:

please be informed about the following  scheduled network maintenance by our carrier CenturyLink.
CenturyLink intends to carry out internal maintenance within its network. This has been classified as ESSENTIAL. The nature of this work is to perform complex circuit re-route. Work is required to groom circuits to new optimum path to ensure the continued integrity of the network. 
During the maintenance window you may experience one period of outage to the maximum of 45 Minutes. 

The maintenances are scheduled for : 
2019-10-16 from 01:00 till 07:00 CEST, as announced on 09 October
2019-10-22 from 01:00 till 07:00 CEST 


We will test the systems after the maintenance window and inform you about the status.

CenturyLink apologises for any inconvenience caused by this maintenance.

Best regards
Your MCON Operations Team 

Sehr geehrte Damen und Herren,

2019-10-16 11:30 AM: leider kein Fortschritt bis jetzt, Century Link untersucht das Problem noch.

gemäß unserer Ankündigung unten ist die Wartung am Netzwerk durch den Datacenter Provider CenturyLink noch im Gange. Wir melden uns, sobald alle Updates abgeschlossen und alle Systeme im Betrieb sind. Unsere Engineers sind seit 16.10.2019 um 01:00 dabei mit CenturyLink die Maintenance zu prüfen.

Ankündigung vom 09.10.2019:

hiermit möchten wir Sie über die folgende planmäßige Wartung am Netzwerk unseres Providers CenturyLink informieren.

CenturyLink beabsichtigt, in seinem Netzwerk eine interne Wartung durchzuführen. Diese wurde als WICHTIG eingestuft. Die Art dieser Arbeit besteht darin, komplexe circuit re-route durchzuführen. Es sind Arbeiten erforderlich, um Schaltkreise auf einen neuen, optimalen Weg zu bringen, um die Integrität des Netzwerks zu gewährleisten. 
Während des Wartungsfensters kann es zur Ausfallzeit von maximal 45 Minuten kommen. 

Die Wartungsarbeiten sind geplant für : 
16.10.2019 von 01:00 bis 07:00 Uhr MESZ , wie bereits am 09. Oktober angekündigt
22.10.2019 von 01:00 bis 07:00 Uhr MESZ 


Wir werden die Systeme nach dem Wartungsfenster testen und Sie über den Status informieren.

CenturyLink entschuldigt sich für die Unannehmlichkeiten, die durch diese Wartung entstehen.

Best regards
Your MCON Hosting

Work in Progress: DC3HAM Maintenance 16th October 2019 by CenturyLink

Dear Sir or Madam,

2019-10-16 07:00 AM: according to our announcement below, the carrier of Datacenter CenturyLink is still working on the network maintence. We will inform you when all updates are finished and the systems are up and running. Our engineers are checking with Century link since 2019-10-16 01:00 CEST.

Announcement from 09th October 2019:

please be informed about the following  scheduled network maintenance by our carrier CenturyLink.
CenturyLink intends to carry out internal maintenance within its network. This has been classified as ESSENTIAL. The nature of this work is to perform complex circuit re-route. Work is required to groom circuits to new optimum path to ensure the continued integrity of the network. 
During the maintenance window you may experience one period of outage to the maximum of 45 Minutes. 

The maintenances are scheduled for : 
2019-10-16 from 01:00 till 07:00 CEST, as announced on 09 October
2019-10-22 from 01:00 till 07:00 CEST 


Wewill test the systems after the maintenance window and inform you about the status.

CenturyLink apologises for any inconvenience caused by this maintenance.

Best regards
Your MCON Operations Team 

Sehr geehrte Damen und Herren,

gemäß unserer Ankündigung unten ist die Wartung am Netzwerk durch den Datacenter Provider CenturyLink noch im Gange. Wir melden uns, sobald alle Updates abgeschlossen und alle Systeme im Betrieb sind. Unsere Engineers sind seit 16.10.2019 um 01:00 dabei mit CenturyLink die Maintenance zu prüfen.

Ankündigung vom 09.10.2019:

hiermit möchten wir Sie über die folgende planmäßige Wartung am Netzwerk unseres Providers CenturyLink informieren.

CenturyLink beabsichtigt, in seinem Netzwerk eine interne Wartung durchzuführen. Diese wurde als WICHTIG eingestuft. Die Art dieser Arbeit besteht darin, komplexe circuit re-route durchzuführen. Es sind Arbeiten erforderlich, um Schaltkreise auf einen neuen, optimalen Weg zu bringen, um die Integrität des Netzwerks zu gewährleisten. 
Während des Wartungsfensters kann es zur Ausfallzeit von maximal 45 Minuten kommen. 

Die Wartungsarbeiten sind geplant für : 
16.10.2019 von 01:00 bis 07:00 Uhr MESZ , wie bereits am 09. Oktober angekündigt
22.10.2019 von 01:00 bis 07:00 Uhr MESZ 


Wir werden die Systeme nach dem Wartungsfenster testen und Sie über den Status informieren.

CenturyLink entschuldigt sich für die Unannehmlichkeiten, die durch diese Wartung entstehen.

Best regards
Your MCON Hosting

Success: Patch Day October 2019 – System Upgrades MCON Hostings

Dear Sir or Madam,

according to our announcement below the security and performance relevant updates on our switches were successfully done. All systems are up and running. However if you encounter any problem please contact service@mcon-group.support.

Announcement from 04th October 2019:

In order to keep our server systems updated and secure, we need to apply patches on a regular basis.

The next patch day is scheduled for Friday, October 11th 2019 between 0:00 am and 4:00 am*.

The patches for the development and QA systems are applied one day earlier on Thursday, October 10th 2019, development starting at 10 am and QA starting at 12 pmThe purpose of this gap is to be able to recognize problems that could be introduced by software patching before the production systems are patched.

There may be short downtimes during service, or when the operating system restarts.

If we don’t receive any feedback, we assume that you agree with the next scheduled update and will perform the update as planned.

For any maintenance announcements and status, please view status.cloudpowered.services.

Best regards
The MCON Hosting Team

*The times are valid for the respective timezone


Sehr geehrte Damen und Herren,

gemäß unserer Ankündigung unten wurden die sicherheits- und performancerelevanten Updates unserer Switche erfolgreich durchgeführt. Alle Systeme sind im Betrieb. Wenn Sie jedoch auf ein Problem stoßen, wenden Sie sich bitte an service@mcon-group.support.

Ankündigung vom 04.10.2019:

Der nächste Termin ist Freitag, 11. Oktober 2019 zwischen 0:00 – 4:00 Uhr** Die Patches für die Entwicklungs- und QA-Systeme werden am Vortag, Donnerstag, 10. Oktober, 2019 eingespielt, Entwicklung ab 10 Uhr vormittags, QA ab 12 Uhr mittags. Dieser zeitliche Abstand dient dazu, eventuelle Probleme durch das Patchen zu erkennen, bevor die Produktivsysteme gepatcht werden.

Der Neustart von Diensten oder Betriebssystemen kann die Erreichbarkeit von Systemen kurzzeitig einschränken.

Sollten wir keine Rückmeldung erhalten, so werden wir die Updates wie geplant durchführen.

Daten und Fortschritte der Wartungsarbeiten können unter status.cloudpowered.services eingesehen werden.

Mit freundlichen Grüßen
Ihr MCON Hosting Team

** Die Zeitangaben beziehen sich auf die jeweilige Zeitzone

Success: Patch Day September 2019 – System Upgrades MCON Hostings

Dear Sir or Madam,

according to our announcement below the security and performance relevant updates on our switches were successfully done. All systems are up and running. However if you encounter any problem please contact service@mcon-group.support.

Announcement from 05th September 2019:

In order to keep our server systems updated and secure, we need to apply patches on a regular basis.

The next patch day is scheduled for Friday, September 13th 2019 between 0:00 am and 4:00 am*

The patches for the development and QA systems are applied one day earlier on Thursday, September 12th 2019, development starting at 10 am and QA starting at 12 pmThe purpose of this gap is to be able to recognize problems that could be introduced by software patching before the production systems are patched.

There may be short downtimes during service, or when the operating system restarts.

If we don’t receive any feedback, we assume that you agree with the next scheduled update and will perform the update as planned.

For any maintenance announcements and status, please view status.cloudpowered.services.

Best regards
The MCON Hosting Team

The times are valid for the respective timezone


Sehr geehrte Damen und Herren,

gemäß unserer Ankündigung unten wurden die sicherheits- und performancerelevanten Updates unserer Switche erfolgreich durchgeführt. Alle Systeme sind im Betrieb. Wenn Sie jedoch auf ein Problem stoßen, wenden Sie sich bitte an service@mcon-group.support.

Ankündigung vom 05.09.2019:

Um unsere Serversysteme auf einem aktuellen Stand und sicher zu halten, werden regelmäßig Patches eingespielt.

Der nächste Termin ist Freitag, 13. September 2019 zwischen 0:00 – 4:00 Uhr**

Die Patches für die Entwicklungs- und QA-Systeme werden am Vortag, Donnerstag, 12. September, 2019 eingespielt, Entwicklung ab 10 Uhr vormittags, QA ab 12 Uhr mittags. Dieser zeitliche Abstand dient dazu, eventuelle Probleme durch das Patchen zu erkennen, bevor die Produktivsysteme gepatcht werden.

Der Neustart von Diensten oder Betriebssystemen kann die Erreichbarkeit von Systemen kurzzeitig einschränken.

Sollten wir keine Rückmeldung erhalten, so werden wir die Updates wie geplant durchführen.

Daten und Fortschritte der Wartungsarbeiten können unter status.cloudpowered.services eingesehen werden.

Mit freundlichen Grüßen
Ihr MCON Hosting Team

** Die Zeitangaben beziehen sich auf die jeweilige Zeitzone

Success: Maintenance Datacenter DC3HAM on 30th August 2019

Dear Sir or Madam,

according to our announcement below the security and performance relevant updates on our switches were successfully done. All systems are up and running. However if you encounter any problem please contact service@mcon-group.support.

Announcement from 20th August 2019:

we have to carry out security and performance relevant updates on our switches in the storage network. Due to the fact that we need to shut down the redundant switches at the same time this implies that we need to shut down the respective VMs.
This will result in a downtime of approximately 120 minutes.

The scheduled date is the night of Friday 30th August. The downtime will be between 0:00 am and 4:00 am on Friday 30th August 2019.

If we don’t receive any feedback we assume that you agree with the next scheduled update and will perform the update as scheduled.

Sehr geehrte Damen und Herren,

gemäß unserer Ankündigung unten wurden die sicherheits- und performancerelevanten Updates unserer Switche erfolgreich durchgeführt. Alle Systeme sind im Betrieb. Wenn Sie jedoch auf ein Problem stoßen, wenden Sie sich bitte an service@mcon-group.support.

Ankündigung vom 20.08.2019:
wir müssen an 
Switches für die Storageverbindungen in unserem Datacenter Arbeiten vornehmen, diese Arbeiten sind aus Performance und aus Sicherheitsgründen notwendig.
Da wir die redundanten Switche in diesem Fall leider gleichzeitig herunter fahren müssen, bedingt dies ein Ausschalten der betroffenen VMs und damit eine Downtime.


Die Arbeiten werden in der Nacht von Donnerstag den 29.08.2019 auf Freitag den 30.08.2019 vorgenommen, die Downtime wird voraussichtlich ca. 120 Minuten betragen in dem Zeitfenster von 0:00 Uhr – 4:00 Uhr morgens.

Sollten wir keine Rückmeldung erhalten, so werden wir die Updates wie geplant durchführen.

Best regards
Your MCON Hosting Team

Work in Progress: Maintenance Datacenter DC3HAM on 30th August 2019

Dear Sir or Madam,

according to our announcement below, we are still working on the security and performance relevant updates on our switches. We will inform you when all updates are finished and the systems are up and running. However if you encounter any problem please contact service@mcon-group.support.

Announcement from 20th August 2019:

we have to carry out security and performance relevant updates on our switches in the storage network. Due to the fact that we need to shut down the redundant switches at the same time this implies that we need to shut down the respective VMs.
This will result in a downtime of approximately 120 minutes.

The scheduled date is the night of Friday 30th August. The downtime will be between 0:00 am and 4:00 am on Friday 30th August 2019.

If we don’t receive any feedback we assume that you agree with the next scheduled update and will perform the update as scheduled.

Sehr geehrte Damen und Herren,

gemäß unserer Ankündigung unten sind die sicherheits- und performancerelevanten Updates unserer Switche noch im Gange. Wir melden uns, sobald alle Updates abgeschlossen und ale Systeme im Betrieb sind. Wenn Sie jedoch auf ein Problem stoßen, wenden Sie sich bitte an service@mcon-group.support.

Ankündigung vom 20.08.2019:
wir müssen an Switches für die Storageverbindungen in unserem Datacenter Arbeiten vornehmen, diese Arbeiten sind aus Performance und aus Sicherheitsgründen notwendig.
Da wir die redundanten Switche in diesem Fall leider gleichzeitig herunter fahren müssen, bedingt dies ein Ausschalten der betroffenen VMs und damit eine Downtime.

Die Arbeiten werden in der Nacht von Donnerstag den 29.08.2019 auf Freitag den 30.08.2019 vorgenommen, die Downtime wird voraussichtlich ca. 120 Minuten betragen in dem Zeitfenster von 0:00 Uhr – 4:00 Uhr morgens.

Sollten wir keine Rückmeldung erhalten, so werden wir die Updates wie geplant durchführen.

Best regards
Your MCON Hosting Team

Maintenance Datacenter DC3HAM on 30th August 2019

Dear Sir or Madam,

we have to carry out security and performance relevant updates on our switches in the storage network. Due to the fact that we need to shut down the redundant switches at the same time this implies that we need to shut down the respective VMs.
This will result in a downtime of approximately 120 minutes.

The scheduled date is the night of Friday 30th August. The downtime will be between 0:00 am and 4:00 am on Friday 30th August 2019.

If we don’t receive any feedback we assume that you agree with the next scheduled update and will perform the update as scheduled.


Sehr geehrte Damen und Herren,

wir müssen an Switches für die Storageverbindungen in unserem Datacenter Arbeiten vornehmen, diese Arbeiten sind aus Performance und aus Sicherheitsgründen notwendig.
Da wir die redundanten Switches in diesem Fall leider gleichzeitig herunter fahren müssen bedingt dies ein Ausschalten der betroffenen VMs und damit eine Downtime.

Die Arbeiten werden in der Nacht von
Donnerstag den 29.08.2019 auf Freitag den 30.08.2019 vorgenommen, die Downtime wird voraussichtlich ca. 120 Minuten betragen in dem Zeitfenster von 0:00 Uhr – 4:00 Uhr morgens.

Sollten wir keine Rückmeldung erhalten, so werden wir die Updates wie geplant durchführen.


Best regards
Your MCON Hosting Team