Totalausfall beim Hoster mhs
Der Webhoster mhs@internet kämpfte seit gestern Abend bis kurz vor heute 14 Uhr mit einem Ausfall seiner gesamten Infrastruktur. Dadurch waren die Firmenwebseite sowie Hunderte von Kunden-Websites nicht mehr erreichbar. Gemäss InfoWeek soll der Komplettausfall an einer Störung in der „Hauptverbindung zwischen Cablecom und Swisscom im Raum St. Gallen“ gelegen haben.
In einer ersten Stellungnahme erklärt mhs-Geschäftsführer Matthias Hertzog den GAU wie folgt:
Der Grund liegt in einer defekten Swisscom Backbone-Leitung zwischen St. Gallen und Zürich. Die mhs @ internet AG ist über 5 getrennte, redundante Leitungen mit dem Backbone verbunden, leider war aber seitens Swisscom der komplette Backbone offline.
[…]
Alle bei der mhs@internet AG getroffenen Vorsichtsmassnahmen sind bei dieser Grossstörung seitens Cablecom/Swisscom „ausgehebelt“ worden.Die mhs@internet AG ist stets bemüht, hochverfügbare Services anzubieten. Uns wurde heute Morgen schmerzlich vor Augen geführt, dass eine 5-fache Leitungsredundanz in der heutigen Zeit nicht mehr ausreicht. Aus diesem Grund werden wir die notwendigen Schritte einleiten, um eine noch höhere Unabhängigkeit von Swisscom zu erreichen und damit solche Fälle besser abfedern zu können.
Genau die Frage nach der Redundanz stellt sich auch mir, denn mhs preist Ihre Hosting-Angebote unter andem mit „Redundante Internet-Anbindung über mehrere Carrier“ an und erklärt das ganze beim Housing-Angebot noch genauer:
Der Anschluss ans Internet erfolgt über alle bei mhs@internet verfügbaren Carriern mittels BGP4-Routing und zielorientiertem Load-Balancing. Der Ausfall einer Leitung hat im Extremfall lediglich Geschwindigkeitseinbussen zur Folge, das System bleibt aber erreichbar.
Offenbar besteht die Redundanz bei mhs aber „nur“ darin, fünf unabhängige Verbindungen zum eigentlichen Backbone zu betreiben, nicht aber, eine unabhängige Verbindung zu einem zweiten Internet-Backbone zu haben. Redundanz habe ich aber bisher so verstanden, dass ein Backbone Carrier komplett ausfallen kann und die Connectivity trotzdem gewährleistet bleibt. Seh‘ ich das falsch? Irgendwelche Profis hier, die das beantworten können?
Eine Stellungnahme von Swisscom zur Ursache des Backbone-Unterbruchs wurde mir auf den späten Nachmittag versprochen. Sobald diese eintrifft, werde ich diese als Update in diesem Post publizieren.
Weitere Blogs zum Thema:
- Yoda: mhs ist down
- nutzbar: „Webhoster mhs ist offline“ mit Zeix als Testimonial
[Update] 17:36 Uhr
Gemäss Auskunft von Herrn Frei von Swisscom Media Relations bestand tatsächlich ein Problem mit einer 34 Mbit-Leitung im Raum St. Gallen. Die Leitung habe einen ungenügenden Durchsatz gezeigt, ist also nicht vollständig unterbrochen worden. Man legt aber Wert auf die Tatsache, dass die Leitung zwar der Swisscom gehört, jedoch von Cablecom gemietet ist. Demzufolge habe man auch nur beschränkte Eingriffsmöglichkeiten, da jegliche weitere Geräte, die für die Störung in Frage kämen, nicht zur Swisscom gehören, sondern von Cablecom gestellt werden. Ebenfalls sei man bei der Störungssuche von der Cablecom etwas zurückgebunden worden, wohl um einem Totalausfall vorzubeugen. Die Leitung funktioniere nun zwar wieder einwandfrei, eine Ursache konnte bis jetzt jedoch auf Seiten der Swisscom nicht gefunden werden. Im Rahmen eines normalen „Wartungsfensters“ werde man die Leitung dann nochmals genau ausmessen um der Störung allenfalls auf die Spur zu kommen.
Hoster-Wechsel mit Hindernissen
Derzeit laufen bei mir die letzten Arbeiten betreffend des Umzugs meiner Websites vom eigenen Housing-Server zu Cyon. Soweit klappt das alles ganz gut, allerdings werden dabei auch Schwachstellen im Zusammenhang mit der Änderung der DNS-Server bei .ch-Domains sichtbar.
Ändert man nämlich bei nic.ch die Nameserver einer Domain, erhält der Provider des „ehemaligen“ DNS-Servers ein Mail, in dem ihm mitgeteilt wird, dass die DNS-Server für die Domain geändert wurden und er somit das Zone-File löschen solle. Insofern sicher richtig, allerdings gerät man in Schwierigkeiten, wenn der Provider dies unmittelbar nach Erhalt des eMails tut. nic.ch aktualisiert das ch-Zonenfile nämlich nur viermal pro Tag, jeweils um 2:00, 8:00, 14:00 und 20:00 Uhr.
Meine Änderung habe ich um 10:42 Uhr vorgenommen und offenbar hat der ehemalige Provider das Zonenfile umgehend gelöscht, so dass derzeit grosse Teile meiner Sites (und damit auch eMail-Adressen) ausser Betrieb sind. Sehr unschön… Da kann ich nur hoffen, dass nach 14 Uhr wieder etwas Normalität eintreten wird. Aber zumindest betrifft es (mit Ausnahme der Mails) keines meiner Blogs…
Hoster-Suche II
Wie ich gestern beschrieben habe, bin ich derzeit auf der Suche nach einem Hosting-Provider und ich habe auch einige Tipps von euch in den Kommentaren erhalten. Vielen Dank!
Ich habe mir jeden einzelnen genannten Provider angesehen, eine Vergleichstabelle erstellt und mit einigen sogar per Mail korrespondiert, um das Angebot mit meinen Bedürfnissen abzugleichen. Und das ist wahrlich nicht ganz einfach, denn die Angebote sind zwar auf den ersten Blick ziemlich ähnlich, bei genauerem Hinsehen ändert sich das Bild aber…
Da wäre beispielsweise die Anzahl der umziehenden Domains. Es handelt sich dabei um zwölf Websites, jede mit eigener Domain und eigenem Inhalt. Einige Provider haben in Ihren Angeboten die Anzahl der Domains (zu tief) limitiert, andere lassen zwar unbegrenzte Domains zu, dafür wird der Mailserver eingeschränkt, indem Mails, welche an die gleichnamige Adresse der zweiten Domain gesendet werden, automatisch in den Account der Hauptdomain gelangen.
Aufgefallen sind mir auch die teilweise doch recht hohen Preisunterschiede zwischen der Schweiz und Deutschland, insbesondere auch bei den Rootservern. Ob wir auch in diesem Bereich eine Hochpreisinsel sind, oder ob das rationale Gründe hat, weiss ich nicht. Vielleicht kann Fredy dazu etwas sagen?
Ich habe mich nun mal für das Angebot von Cyon entschieden und werde das in den nächsten Wochen ausgiebig testen. Neben dem Angebot als solches war ein weiterer Grund für die Wahl die rasche und sehr kompetente Auskunft des Pre-Sales von Cyon, der mir spontan eine Aenderung der Grundkonfiguration angeboten hatte, um meine Bedürfnisse besser abzudecken. Vielen Dank!
Noch ist nichts (endgültig) entschieden, denn ich kann ja, wenns schlimm kommt, immer noch vom Vertrag zurücktreten. Aber der erste Eindruck ist gut, sehr gut sogar…
Einmal mehr: Hoster-Probleme
Wie beim Leumund zu lesen ist, sind die Kunden-Websites des Billighoster hotspace.ch wegen einer Hardware-Panne seit rund 32 Stunden nicht erreichbar. Hoster-Ausfälle sind in den letzten Wochen in der Schweiz (leider) öfters vorgekommen, doch der Kommunikationsstil von HotSpace.ch ist im Vergleich mit den früher betroffenen Hostern ziemlich ungewohnt:
Leider können wir immer noch nicht voraussagen, wann wir endlich wieder ein funktionierendes System haben. Wir können jedoch leider nicht davon ausgehen, dass das heute noch der Fall sein wird.
Wir können Ihren grossen Ärger, Ihre Enttäuschung und Ihren Frust sehr gut nachvollziehen, doch glauben Sie uns, uns trifft solch ein Ausfall mindestens so hart, wie er Sie trifft.
Um Ihre Offlinezeit möglichst gering zu halten, bleibt uns leider nichts anderes übrig, als Ihnen einen Providerwechsel zu empfehlen.
Gerade Reseller (Wiederverkäufer) wie HotSpace haben bei Pannen ein Problem: Da die Infrastruktur nur gemietet ist, können sie auch keine Hand anlegen um das Problem zu beseitigen. Man ist via eMail oder Telefon auf den Support des effektiven Hosters angewiesen, und das kann durchaus dauern. Reseller die ihre Kapazitäten in den USA anmieten, haben dazu noch das Problem der Zeitverschiebung.
Wie das bei HotSpace genau aussieht, vermag ich nicht zu sagen. Gemäss HotSpace stehen die Server „in verschiedenen Rechenzentren in Deutschland und in der Schweiz“. Klar ist jedoch, dass ein Traceroute zu hotspace.ch in die USA zu NetSonic führt. Allerdings ist die dort gezeigt Seite nur ein Frameset, der eigentliche Inhalt [PDF] kommt von einem Cablecom-Hosting. Ein Traceroute zu Killerkitty, welcher ebenfalls vom Ausfall betroffen ist, zeigt jedoch zu Hetzner nach Deutschland. Interessant aber die Aussage von HotSpace:
Die Server stehen in verschiedenen Rechenzentren, weil auf diese Weise ein kompletter Ausfall verhindert werden kann.
ist auf den Technik-Seiten zu lesen (PDF, via WebArchive). Die Verteilung hat damit, wenn es denn den Tatsachen entspricht, offenbar nicht den gewünschten Effekt gehabt.
Fredy Künzler äusserte sich Anfang Jahr zum Billig-Hosting wie folgt:
Zudem muss man den 9-Franken-90 Hosting Kunden wieder mal in Erinnerung rufen, was Sie für CHF 9.90 eigentlich erwarten können. Zwei Biere? Ein Sandwich und eine Cola? Nicht mal einen ZVV 9-Uhr Pass mit Halbtaxabo kriegt man dafür.
Und damit hat Fredy, auch wenn das viele nicht einsehen wollen, recht: Nicht nur, aber gerade bei „9-Franken-90-Hostern“, die über keine eigene Infrastruktur verfügen, muss man mit solchen längeren Ausfällen rechnen, da diese, wie oben erwähnt, keinerlei Möglichkeiten haben, selbst auf den Ausfall zu reagieren. Und Hotspace zähle ich aufgrund der publizierten Angebote [PDF der Homepage] sicherlich zu den Billighostern, schliesslich kostete das teuerste Angebot nur gerade 8 Franken pro Monat…
Hostpoint erneut mit Problemen
Das Jahr 2006 scheint für Hostpoint allles andere als Glück zu bringen. Nachdem der Hosting-Provider bereits im Januar 2006 von massiven Problemen geschüttelt wurde, geht das Drama nun weiter, wie in einem neuen Trouble-Ticket von heute mittag, 12 Uhr, zu lesen ist:
Leider müssen wir mitteilen, dass unsere neue Storage-Lösung ein erneutes Problem aufweist. Nach der Störung über Weihnachten/Neujahr konnten wir dieses in Zusammenarbeit mit unserem Partner Sun Microsystems beheben. Es wurde uns mehrmals versichert, dass diese Lösung an hunderten anderen Umgebungen einwandfrei funktioniere und das diese Probleme gelöst werden könne. Wir haben darauf vertraut und sind bis zum heutigen Zeitpunkt auch hinter dieser Lösung gestanden.
Dies ist leider nicht der Fall und daher haben wir heute Morgen folgende Entscheidung getroffen. Die aktuelle Storage-Lösung wird umgehend ersetzt. Sun Microsystems hat uns bereits eine neue Infrastruktur zur Verfügung gestellt, welche in diesem Moment in unserem Data Center eingebaut wird.
(und da die Trouble-Tickets bei Hostpoint ständig kommen und wieder verschwinden, hier das Trouble-Ticket als PDF)
Erneut scheint Storage-Lösung, die bereits im Januar 2006 Probleme machte, für den Ausfall verantwortlich sein. Nicht nur für Hostpoint wird das langsam seeehr ungemütlich, sondern auch für Sun Microsystems, die Ihre Hard- bzw. Software offenbar nicht zufriedenstellend zum Laufen bringt.
(via blog.claudioschwarz.com)
Hostpoint is back
Seit 10 Uhr heute morgen scheint der Hosting-Provider Hostpoint die technischen Probleme, welche einen tagelangen Ausfall Hunderter von Webpräsenzen zur Folge hatten, überwunden zu haben. Zumindest kann man dies dem nun geschlossenen Troubleticket und auch dem Post „Hostpoint hat die Probleme behoben“ auf torus.ch entnehmen.
Andi von blog.artefact bemängelt hingegen, dass er nur eMails bis zum 31.12. erhalten habe und die MySQL-Datenbank aus dem Hostpoint-Backup inkonsistent war. Dazu ist allerdings fairerweise zu sagen, dass es aus Erfahrung einige Stunden dauern kann, bis alle Mails von den Backup-Mailservern zurückgespielt sind.
Derweil fällt auf, dass der Hostpoint-GAU teilweise recht irritierende Aussagen von Bloggern mit sich bringt. Während die einen eine Solidaritätskampagne für Hostpoint starten oder den eigenen Kunden ziemlich offensichtlich zu verteidigen versuchen, gibt es natürlich auch die anderen, die mit ihrer Kritik etwas über das Ziel hinausschiessen und persönlich werden.
Keines von beidem scheint mir wirklich angebracht: Hostpoint hatte ein „gröberes“ Problem, das kundenmässig sicherlich noch einige Zeit seine Auswirkungen haben wird, und schlussendlich wohl hausgemacht war (auch wenn, wie es derzeit heisst, die „externen“ Lieferanten daran schuld seien). Hostpoint hat das zu verantworten und es wird sich zeigen, wie die Firma in der Öffentlichkeit dazu stehen wird. Daraus aber gleich zu schliessen, dass Hostpoint die einzige Firma sei, der so etwas passieren könne, ist aber natürlich ebenfalls falsch. Kein Provider der Welt ist gegen Ausfälle seiner Hardware gefeit, das sollte jedem klar sein.
Allenfalls kann über den Kommunikationsstil von Hostpoint diskutiert werden, doch auch da ist fairerweise anzumerken, dass die Kräfte wohl eher auf die Fehlersuche als auf die Kommunikation konzentriert wurden. Vielleicht sollte da ein etwas ausgewogeneres Verhältnis für die Zukunft gesucht werden…
Hostpoint rappelt sich auf
So langsam scheint man den GAU bei Hostpoint in den Griff zu bekommen. Nachdem gestern vereinzelt bereits die Server wieder erreichbar waren, wurden nun offenbar auch die Inhalte wieder auf die Server zurückgespielt. Allerdings betrifft dies laut Trouble Ticket noch nicht alle Server:
Auf folgenden Servern besteht zur Zeit noch ein Problem:
– Server 3, – Server 11, – Server 12, – Server 24, – Server 26, – Server 27, – Server X001, – Server P001Das Hardware-Problem auf unserer Storage-Lösung konnte mittlerweile lokalisiert werden. Zur Zeit sind Techniker unserer Hardware-Lieferanten vor Ort im Datacenter und tauschen die fehlerhafte Hardware aus. Danach müssen noch diverse Checks am Dateisystem durchgeführt werden. Wir rechnen damit, dass dieses Problem bis zum nächsten Morgen (04.01.2006) gelöst sein wird.
Sollte dies allerdings tatsächlich bis zum Morgen des 4. Januar dauern, muss sich Hostpoint wohl warm anziehen, denn damit wäre die vertraglich zugesicherte Verfügbarkeit von 99% unterschritten, was einer Vertragsverletzung gleichkommt und zumindest beim einen oder anderen finanzielle Forderungen auslösen könnte.
Aber immerhin kommt (endlich) Bewegung in die Sache. Allerdings wird bei einigen Firmen und Privaten, die geschäftlich von den Webseiten abhängig sind, der Tag wohl eher wie im nachfolgenden Comic aussehen:
(Bild schamlos geklaut bei Jo’s Jobwelt)
Technikprobleme bei Hostpoint
Der Hosting-Provider Hostpoint, nach eigenen Angaben „mit 35’000 Kunden und rund 45’000 aktiven Domains (Stand September 2005) […] im reinen Hostingbereich die Nr. 1“, kämpft derzeit offenbar mit schwerwiegenden Problemen. Vor Wochen bereits hatte man dort offenbar Lastprobleme und sperrte beispielsweise die Webpräsenz von Christian Leu (Blogtrends, Leumund etc.) und Benjamin’s slug.ch. Via Technorati finden sich derzeit ebenfalls Postings die besagen, dass sich die Ausfälle beim Hoster seit rund 14 Tagen häufen und offensichtlich ist man bis zum jetzigen Zeitpunkt noch nicht Herr der Lage.
Peter liefert in seinem Post „Hostpoint schwächelt“ eine Zusammenfassung, die auch aufzeigt, dass ein Troubleticket seit dem 31.12. besteht bzw. bestand, denn das Troubleticket ist nicht mehr online. Das ist auch eine Sache, die mir nicht ganz einleuchten mag, denn ich beobachte die Ausfälle von Hostpoint ebenfalls seit ein paar Tagen und mir fällt auf, dass immer wieder neue Troubletickets eröffnet werden und gleichzeitig alte Tickets sang- und klanglos verschwinden. Keine Rede davon, dass bspw. ein Ticket geschlossen wurde oder so; nein, die Tickets werden schlicht gelöscht.
Hostpoint garantiert in ihren Geschäftsbedingungen eine Verfügbarkeit von 99% pro Jahr, was etwas mehr als 3.5 Tage Nichterreichbarkeit pro Jahr bedeutet. Insofern bewegt sich Hostpoint derzeit wohl noch im grünen Bereich, und auch die Tatsache, dass die Ausfälle bis jetzt vor allem über die Festtage stattfanden, war wohl Glück im Unglück.
Ungemütlich könnte es allerdings werden, wenn die Probleme nicht in Kürze gelöst werden, denn auf den „Problem-Servern“ finden sich nicht nur privat betriebene Seiten, sondern auch Unternehmens-Webauftritte wie z.B. Kuoni Reisen, Bridgestone/Firestone, swissmetal, Adam Touring, Aargauer Zentralmolkerei AZM, Würth AG oder Sony’s playstation.ch und auch das Alternative Lokalradio LoRa.
Hostpoint-Bashing bringt sicherlich nicht viel, da gebe ich Matthias recht. Allerdings sind die derzeitigen, nicht gerade kurzen Ausfälle bei Hostpoint auch nicht wegzudiskutieren. Und da stellt sich sicher einmal mehr die Frage, wie viel Wachstum innerhalb kurzer Zeit ein Provider verkraften kann…
20six – Quo vadis?
20six gehackt lese ich heute morgen im blogshop und erfahre, dass es sogar einen „Streikaufruf“ gegen 20six gibt.
Meine erster Gedanke dazu war, dass hier einige User wohl überreagieren, denn so unangenehm ein Hackerangriff auch sein mag, sowas kann (leider) passieren.
Beim weiteren „Einlesen“ in die Geschichte nimmt das ganze aber irgendwie eine andere Dimension an. Offenbar treibt der Hacker, der Posts in 20six-Weblogs verändert oder sogar ganze Blogs löscht, schon seit einer Woche sein Unwesen, und 20six scheint bis jetzt nicht in der Lage zu sein, das Tun zu unterbinden.
Das erste Statement am Samstag klang nicht wirklich erfolgsversprechend:
sandra ist leider am freitag aus dem 20six-büro ausgezogen. daher kommt es leider kurzfristig zu verzögerungen beim support, den sie an mich übergeben hat. ihr werdet hier bald mehr von mir lesen, außerdem bemühe ich mich, die mails, sobald ich zugriff auf alle habe, so bald wie möglich zu beantworten.
Bewegung in die Sache kam offenbar erst, als IT&W vom Zerfall von 20six und der Journalist Wolfgang Müller von vergraulten 20six-Kunden berichtete, denn seit heute morgen gibt es immerhin eine „Wir tun was“-Meldung:
Was wir jetzt tun müssen: die vorübergehend verlorengegangen Daten wiederherstellen und solche Hacks künftig verhindern. An nichts anderem arbeiten wir im Moment. Wir hoffen auf euer Verständnis, dass das keine Sache von Sekunden ist. So bald wie möglich werden wir uns hier zum Zeitplan äußern. Es gibt bereits eine Lösung, die das Löschen von Blogs durch Hacker verhindert, die wir nun schnellstmöglich umsetzen.
An allererster Stelle muss in solchen Fällen der Zugriff des Hackers verhindert werden, und erst dann kann mit dem Einspielen eines Backups begonnen werden. Interessant dürfte aber auch sein, wie weit diese Backups zurückreichen, denn wenn bspw. ein Backup von Samstag eingespielt wird, wird das die Blogs, die früher gelöscht wurden, nicht zurückholen.
Klar, die meisten der bei 20six gehosteten Blogs werden wohl zur kostenlosen Kategorie gehören und da lassen sich nicht so hohe Ansprüche an den Support stellen, wie das bei einem bezahlten Account wäre. Trotzdem scheint mir die Reaktionszeit von 20six gerade in einem solchen Fall doch unakzeptabel lang zu sein.
Das Thema erinnert gleichzeitig wieder einmal daran, wie wichtig vernünftige Backup-Strategien sind und dass man, so zeitraubend das manchmal (auch) auf dem Heim-PC sein kann, Datensicherungen nie vernachlässigen darf…