Backbone-GAU bei Init7
Ein Ausfall im Backbone des Zürcher Providers Init7 liess heute zwischen 12 und 17 Uhr zahlreiche Blogs, Homepages und Hoster aus dem Internet verschwinden. Betroffen waren beispielsweise die Hoster cyon (wo auch BloggingTom gehostet wird) und rubas.net, die Startups Amazee und Collanos, aber auch Blogwerk mit seinen Blogs wie neuerdings.com oder medienlese.com.
Durch den Totalausfall gestaltete sich die Suche nach den Ursachen schwierig, denn selbst die Homepage von Init7 war nicht mehr erreichbar. Und als sie wieder erreichbar war, waren ausser einem „At the moment we record no outage“ keine aktuellen Informationen zum Netzwerkstatus verfügbar. Erst rund vier Stunden nach dem Ausfall erschienen dann die ersten kurzen Infos:
Das Problem bei solchen Ausfällen ist natürlich die Information der Kunden, denn wenn die eigene Infrastruktur keine Internetverbindung hat, wirds schwierig. cyon-Chef David Burkardt hingegen machte schon bald via Twitter auf die Problemquelle aufmerksam:
Als Grund für den Ausfall nennt Init7 in einem an die Kunden des Colocation-Center Layer One gerichteten eMail übrigens „menschliches Versagen“:
Aufgrund einer Fehlkonfiguration auf einem userer Router, hat es eine unglückliche Verkettung von Umständen im Backbone gegeben. Dies führte zu erheblichen Verbindungsproblemen und verschiedene Kunden waren durch den Ausfall betroffen.
cyon nahm den heutigen Ausfall jedenfalls zum Anlass, nicht nur einen Twitter-Account für Netz-Statusmeldungen anzulegen, sondern auch um die Anbindung via Multihoming in der Prioritätenliste wieder ganz nach oben zu schieben. Gemäss David Burkardt darf denn auch spätestens ab Sommer 2009 mit einer Anbindung der cyon-Infrastruktur an zwei Provider gerechnet werden.
Klar, der heutige Ausfall war eine nervige Sache. Es liegt allerdings in der Natur der Sache, dass kein Provider einen 100-prozentigen Service garantieren kann. Insofern muss man bei jedem Provider mit Ausfällen leben. Wer nun trotzdem lamentiert, sollte sich vielleicht auch einmal fragen, ob es seinem Provider mit dem wenigen Geld, das fürs Hosting bezahlt wird, überhaupt möglich ist, Ausfallsicherheit zu garantieren. Und sonst bleibt nur: Geld in die Hand nehmen und selber hosten. Init7 hat ja die entsprechenden Produkte im Angebot, wie Fredy Künzler gegenüber inside-it.ch betonte…
Weitere Infos zum Thema:
- Dave’s Blog: Wenn die halbe Schweizer Blogosphäre offline ist
- MacMacken: Ein halber Tag ohne MacMacken
- Rol!’s Blog: Website offline – Cyon Ausfall
- cyon Blog: Störung im Netz -der Bericht
Wie Peerings funktionieren
Wer bei Begriffen wie Direct Approach, Dual Transit, End run tactic, Peering oder eben IP Interkonnektion nur Bahnhof versteht, ist in guter Gesellschaft. Etwas Licht in die Sache bringt nun Fredy mit seiner Serie zum Thema „Peerings, AS Nummern, Interkonnektionen und deren technischen und politischen Hintergründe„. Leicht trockenes (da sehr technisches) Thema, dafür umso erhellender, was die technischen Abläufe im Internet betrifft. Wer also wissen will, wieso sein Datenpaket auf seiner Reise zum Ziel zwar Provider A besucht, Provider B aber links liegen lässt, dem sei die Lektüre wärmstens empfohlen.
Da Fredy zu seiner erst begonnenen Serie noch kein „Inhaltsverzeichnis“ liefert, sei dies an dieser Stelle nachgeholt. Bisher erschienen sind:
Totalausfall beim Hoster mhs
Der Webhoster mhs@internet kämpfte seit gestern Abend bis kurz vor heute 14 Uhr mit einem Ausfall seiner gesamten Infrastruktur. Dadurch waren die Firmenwebseite sowie Hunderte von Kunden-Websites nicht mehr erreichbar. Gemäss InfoWeek soll der Komplettausfall an einer Störung in der „Hauptverbindung zwischen Cablecom und Swisscom im Raum St. Gallen“ gelegen haben.
In einer ersten Stellungnahme erklärt mhs-Geschäftsführer Matthias Hertzog den GAU wie folgt:
Der Grund liegt in einer defekten Swisscom Backbone-Leitung zwischen St. Gallen und Zürich. Die mhs @ internet AG ist über 5 getrennte, redundante Leitungen mit dem Backbone verbunden, leider war aber seitens Swisscom der komplette Backbone offline.
[…]
Alle bei der mhs@internet AG getroffenen Vorsichtsmassnahmen sind bei dieser Grossstörung seitens Cablecom/Swisscom „ausgehebelt“ worden.Die mhs@internet AG ist stets bemüht, hochverfügbare Services anzubieten. Uns wurde heute Morgen schmerzlich vor Augen geführt, dass eine 5-fache Leitungsredundanz in der heutigen Zeit nicht mehr ausreicht. Aus diesem Grund werden wir die notwendigen Schritte einleiten, um eine noch höhere Unabhängigkeit von Swisscom zu erreichen und damit solche Fälle besser abfedern zu können.
Genau die Frage nach der Redundanz stellt sich auch mir, denn mhs preist Ihre Hosting-Angebote unter andem mit „Redundante Internet-Anbindung über mehrere Carrier“ an und erklärt das ganze beim Housing-Angebot noch genauer:
Der Anschluss ans Internet erfolgt über alle bei mhs@internet verfügbaren Carriern mittels BGP4-Routing und zielorientiertem Load-Balancing. Der Ausfall einer Leitung hat im Extremfall lediglich Geschwindigkeitseinbussen zur Folge, das System bleibt aber erreichbar.
Offenbar besteht die Redundanz bei mhs aber „nur“ darin, fünf unabhängige Verbindungen zum eigentlichen Backbone zu betreiben, nicht aber, eine unabhängige Verbindung zu einem zweiten Internet-Backbone zu haben. Redundanz habe ich aber bisher so verstanden, dass ein Backbone Carrier komplett ausfallen kann und die Connectivity trotzdem gewährleistet bleibt. Seh‘ ich das falsch? Irgendwelche Profis hier, die das beantworten können?
Eine Stellungnahme von Swisscom zur Ursache des Backbone-Unterbruchs wurde mir auf den späten Nachmittag versprochen. Sobald diese eintrifft, werde ich diese als Update in diesem Post publizieren.
Weitere Blogs zum Thema:
- Yoda: mhs ist down
- nutzbar: „Webhoster mhs ist offline“ mit Zeix als Testimonial
[Update] 17:36 Uhr
Gemäss Auskunft von Herrn Frei von Swisscom Media Relations bestand tatsächlich ein Problem mit einer 34 Mbit-Leitung im Raum St. Gallen. Die Leitung habe einen ungenügenden Durchsatz gezeigt, ist also nicht vollständig unterbrochen worden. Man legt aber Wert auf die Tatsache, dass die Leitung zwar der Swisscom gehört, jedoch von Cablecom gemietet ist. Demzufolge habe man auch nur beschränkte Eingriffsmöglichkeiten, da jegliche weitere Geräte, die für die Störung in Frage kämen, nicht zur Swisscom gehören, sondern von Cablecom gestellt werden. Ebenfalls sei man bei der Störungssuche von der Cablecom etwas zurückgebunden worden, wohl um einem Totalausfall vorzubeugen. Die Leitung funktioniere nun zwar wieder einwandfrei, eine Ursache konnte bis jetzt jedoch auf Seiten der Swisscom nicht gefunden werden. Im Rahmen eines normalen „Wartungsfensters“ werde man die Leitung dann nochmals genau ausmessen um der Störung allenfalls auf die Spur zu kommen.