FeM

Schon wieder ist es erst einmal vorbei. Nach zwei Monaten Vorbereitungszeit haben es 13 Leute vor Ort und weitere Helfer geschafft, das Streaming & Recording des 28C3 zu stemmen. Bei den 97 gestreamten Veranstaltungen, welche in sieben verschiedenen Formaten übertragen wurden, fielen nicht nur 27 Streams gleichzeitig an, welche durch 39 Server verteilt wurden, sondern auch allein an HTTP-Traffic kamen ca. 10 TByte zusammen. Die Aufnahmen aller Veranstaltungen nehmen außerdem übrigens ca. 1,8TB an rohen Videodaten (DV) in Anspruch.

Tag 1

Der Beginn des Streamings am ersten Tag war durch Probleme mit dem Netzwerk geprägt und verursachte auch das meiste Aufkommen an Supportarbeit während des C3. Die Netzprobleme hatten ihren Ursprung in einem wegfallenden Peering nach außen. Da der Netzplan des NOC mehrere Uplinks vorsah, kam es vor, dass wir ab und zu diesem wegfallenden Peering zugeordnet waren. Gefixt wurde das Problem, zumindest für uns, durch feste Bindung unseres Subnetzes an ein stabiles Peering. Während des Restes des C3 konnten wir danach keine weiteren derartigen Probleme ausmachen.

Weiterhin mussten wir oftmals erklären, warum das HTTP-Streaming (neu in diesem Jahr) bei einigen Leuten nicht oder nicht richtig funktionierte. Dies lag meist einfach daran, dass außer Apple-Produkten und dem VLC-1.2pre dieses Format von keinem Browser oder Videoplayer richtig unterstützt wird und daher auch (noch) relativ unbekannt ist. Anhand der Videoschnipsel und zusätzlich generierten Playlisten war es uns möglich, ein on-demand HTTP-Live-Streaming anzubieten.

Tag 2

Am Tag 2 konnte der Release-Prozess von uns gestartet werden und war auch sehr produktiv, was man unter anderem daran merkte, dass Videos schon zwei Stunden nach Ende des Vortrages als Torrent veröffentlicht wurden. Dies funktionierte auch durchgehend bis zum Ende des Kongresses gut, so dass wir zumindest Audio bereits komplett fertig released hatten, als wir Berlin verließen.

Spaß hatten wir auch mit ein paar Scriptkiddies, welche die Übersichtsseite der Streams durch "einige" gleichzeitige Verbindungen lahm gelegt haben. Und der Zeitpunkt war günstig gewählt, da beide Administratoren gerade extern Essen waren und nur die Mailbox mit uns reden wollte. Als dann endlich wieder einer Anwesend war, stellte er schnell fest, dass der Errorlog bereits 17 Gbyte überschritten hatte, welche erstmal in /dev/null archiviert wurden. Die Konfiguration des Webservers wurde daraufhin angepasst und kam danach besser mit den Anfragen klar, der Rest des Kongresses verlief ohne weitere Probleme in dieser Richtung.

Eine schöne Sache an unserer Infrastruktur ist ja der Slides-Only-Stream, welcher auch die Bilder des Beamers abgreift, wenn auf den anderen Streams nur das Pausenbild eingeblendet wird. So ergab sich während einer Pause, dass das Bild eines Bluescreens für mehrere Minuten sichtbar war - wir streamen halt alles.

Tag 3

Für gewöhnlich ist es ja recht warm bei uns im Video Operation Center (VOC), da die ganzen Server dort stehen und die entsprechende Tür regelmäßig geöffnet wird. Zusätzlich zieht natürlich auch die ganze warme Luft des bcc zu uns hoch. An den ersten zwei Tagen ging das noch gut und es war eine angenehme Temperatur. Am dritten Tag jedoch, wurde es langsam wärmer, so dass irgendwann einer unserer H.264-Encoder ein Problem damit hatte. Zuerst entfernten wir das Gehäuse und verlegten den Ventilator aus dem VOC direkt in den Betriebsraum, um die Luftzirkulation zu verbessern. Alles dies brachte zwar immerhin eine Temperaturreduktion von 12°C, half jedoch nicht das Problem zu beseitigen und es stellte sich heraus, dass die Festplatte vermutlich am sterben war. Ein Austausch der Festplatte löste das Problem jedenfalls bis zum Ende des Kongresses.

Außerdem am Tag 3: Der schon fast traditionelle fefe-Peak! Der wohl meist erwartete Vortrag, "Fnord-Jahresrückblick", war in der Spitze mit ca. 3.500 Zuschauer gleichzeitig in Saal eins gesegnet. Zusammen mit den anderen beiden Sälen haben wir zu diesem Zeitpunkt insgesamt ca. 4.100 Zuschauer gleichzeitig bedient.

Zum Schluss des Tages haben wir beim Konzert auch mal selbst Hand angelegt. Wir wollten unsere Erfahrung im Umgang mit den Kameras und dem Videomischer auch einmal einbringen - immerhin beschäftigen wir uns im Verein schon jahrelang damit - und ein Konzert lebt schließlich auch von Dynamik, welche nicht ganz so einfach zu handhaben ist, wenn die Erfahrung für solche Situationen fehlt.

Setup

Am Setup hat sich im Laufe der Tage auch ein bischen was geändert. Wir haben zusätzliche Formate hinzu genommen (geplante und ungeplante) und damit natürlich auch zusätzliche Streams betreuen müssen. Zuerst sind wir mit WMV-, H.264 via RTMP-, HTTP- und Slides-Only-Stream gestartet. Zusätzlich wurde am Tag 1 vom Streaming-Team des CCCamp2011 eine Infrastruktur für OGG/Theora hingestellt, welche mit unserem Signal befüllt wurde. Als Weiteres kam dann der Audio-Only-Stream hinzu, welcher auch direkt auf den Slides-Only-Stream-Seiten eingebaut wurde. Aber auch spontane Ideen, wie einen ASCii-Stream via telnet anzubieten (aus der Wunschliste des 28C3-Kongresswikis), konnten wir umsetzen.

Das Monitoring betrieben wir über sechs SDI Monitore, welche jeweils alle Signale von Saal 1 bis 3 Live im VOC zeigten. Außerdem haben wir einen RTMP-Check über einen Laptop gefahren, der die Signale aller 12 RTMP-Server gleichzeitig angezeigt hat. Damit konnten wir prüfen ob noch alle 36 Signale im Netz verfügbar waren. Die Anwendung selbst war nicht trivial, da alles Flashplayer waren und CPU und RAM damit entsprechend gut ausgelastet waren. Der verwendete Crtmpserver - zum Verteilen der RTMP Signale - hatte die Angewohnheit, bei Signalverlust zum Encoder kein Bild mehr auszuliefern und musste deshalb im Zweifelsfall neugestartet werden. Ursprünglich hatten wir ja ein Setup mit einer Mischung aus Erlyvideo und Crtmpserver geplant. Diese wurde allerdings während des 28C3 schrittweise fast komplett auf Crtmpserver umgestellt, da dieser besser skalierte als die Erlyvideo-Variante, die wir bereits 2010 verwendet haben. Einzig ein Erlyvideo-Verteiler blieb aufgrund der Laufzeitstabilität übrig, welcher die Streams für die "No Nerd Left Behind" auslieferte.

Die Infrastruktur wurde gerade teilweise wieder aufgebaut und wird in der nächsten Zeit den Rest des Materials encodieren. So sollten die restlichen Formate und fehlenden Vorträge bald online sein. Einiges wird ein wenig länger dauern, da diese noch manuell nachbearbeitet werden müssen und speziell über Silvester niemand von uns so wirklich Lust hat sich dran zu setzen.

Katzen

Übrigens haben wir in der Nacht von Tag 3 auf 4 für Latenztests die Nyancat laufen lassen (Gesamt: 33904.9 Sekunden). Dies wurde auch über die DVB-T Bildschirme im BCC ausgestrahlt und lief dort durchaus mit Ton die Nacht durch und erfreute sich großer Beliebtheit. In der anschließenden Q/A-Runde im IRC wurde dann auch festgestellt, dass FeM die Aktion "No Cat Left Behind" unterstützt. Bei der Aktion wurden im übrigen keine Tiere verletzt.

Support

Auch wenn wir eigentlich nur für das Streaming und Recording zuständig sind, bekamen wir öfters Anfragen, welche eigentlich nichts mit dieser Arbeit zu tun haben. So wurden wir angerufen, wenn Leute bspw. mal ein Kabel brauchten. Außerdem hatten wir unzählige Anfragen, nach dem Track, welcher zwischen den Vorträgen abgespielt wurde. Wer den noch immer sucht dem sei es nun gesagt: "Machine Lullaby" von "Fear of Ghosts". Die Frage warum $Player das HTTP-Live-Streaming nicht unterstützt, haben wir ja oben schon einmal erwähnt. Ein Hinweis auf einen nicht funktionierenden Stream war nicht so trivial nachzuvollziehen, da es pro Saal neun verschiedene Streams gab, welche über mehrere Server verteilt ausgeliefert wurden. Manchmal lag es aber auch an der eigenen Verbindung der Anfragenden bzw. einer schlechten Route.

Aber nicht nur Supportanfragen haben uns erreicht.

Auch Dank der Zuschauer und Kommentare, welche uns zum Schmunzeln brachten: "Internet tut. WLAN tut. Streaming tut. Wie soll denn da Congressfeeling aufkommen?c3streamingc3infodesk Nein, ihr seid spitze!"

Dank

Abschließend möchten wir uns natürlich noch bei einigen Institutionen bedanken, welche es möglich gemacht haben die Infrastruktur aufzubauen bzw. zu benutzen. Dies wären: ErgoDATA GmbH, Selfnet e.V., ATekoN e.V., Hetzner AG, 1HE-Server.com, die TU Ilmenau - insbesondere das Rechenzentrum und dessen Cheftechniker, dem Institut für Medientechnik und der Hörsaaltechnik - und Andere, welche nicht näher genannt werden wollen.

Wir möchten uns aber auch bei all denjenigen bedanken, die uns auf Fehler während der Übertragung oder sonstige Probleme aufmerksam gemacht haben. Wir versuchen zwar alles selbst zu überwachen, aber es ist halt manchmal aufgrund anderer Aufgaben schlichtweg nicht machbar.

Das Team beim Arbeiten

kaum zurück, kommen die ersten server auch schon wieder zu ihrem ursprungsort zurück

rtmp verteiler übersicht, hier noch mit 10 servern

Unser Event T-Shirt in Aktion

der neue Stoffbanner darf natürlich auch nicht helfen

Regie für Saal1

nyan

Pegro in der Regie beim Regieren

Cosrahn beim Konzertfilmen

Karl die Kreuzschiene

Encoder bei der arbeit

Aussicht aus dem VOC

Bis zum Schluss wird noch an den releases gearbeitet

ASCii Stream Screenshot