FeM

Schon wieder ist es erst einmal vorbei. Nach zwei Monaten Vorbereitungszeit haben es 13 Leute vor Ort und weitere Helfer geschafft, das Streaming & Recording des 28C3 zu stemmen. Bei den 97 gestreamten Veranstaltungen, welche in sieben verschiedenen Formaten übertragen wurden, fielen nicht nur 27 Streams gleichzeitig an, welche durch 39 Server verteilt wurden, sondern auch allein an HTTP-Traffic kamen ca. 10 TByte zusammen. Die Aufnahmen aller Veranstaltungen nehmen außerdem übrigens ca. 1,8TB an rohen Videodaten (DV) in Anspruch.

Tag 1

Der Beginn des Streamings am ersten Tag war durch Probleme mit dem Netzwerk geprägt und verursachte auch das meiste Aufkommen an Supportarbeit während des C3. Die Netzprobleme hatten ihren Ursprung in einem wegfallenden Peering nach außen. Da der Netzplan des NOC mehrere Uplinks vorsah, kam es vor, dass wir ab und zu diesem wegfallenden Peering zugeordnet waren. Gefixt wurde das Problem, zumindest für uns, durch feste Bindung unseres Subnetzes an ein stabiles Peering. Während des Restes des C3 konnten wir danach keine weiteren derartigen Probleme ausmachen.

Weiterhin mussten wir oftmals erklären, warum das HTTP-Streaming (neu in diesem Jahr) bei einigen Leuten nicht oder nicht richtig funktionierte. Dies lag meist einfach daran, dass außer Apple-Produkten und dem VLC-1.2pre dieses Format von keinem Browser oder Videoplayer richtig unterstützt wird und daher auch (noch) relativ unbekannt ist. Anhand der Videoschnipsel und zusätzlich generierten Playlisten war es uns möglich, ein on-demand HTTP-Live-Streaming anzubieten.

Tag 2

Am Tag 2 konnte der Release-Prozess von uns gestartet werden und war auch sehr produktiv, was man unter anderem daran merkte, dass Videos schon zwei Stunden nach Ende des Vortrages als Torrent veröffentlicht wurden. Dies funktionierte auch durchgehend bis zum Ende des Kongresses gut, so dass wir zumindest Audio bereits komplett fertig released hatten, als wir Berlin verließen.

Spaß hatten wir auch mit ein paar Scriptkiddies, welche die Übersichtsseite der Streams durch "einige" gleichzeitige Verbindungen lahm gelegt haben. Und der Zeitpunkt war günstig gewählt, da beide Administratoren gerade extern Essen waren und nur die Mailbox mit uns reden wollte. Als dann endlich wieder einer Anwesend war, stellte er schnell fest, dass der Errorlog bereits 17 Gbyte überschritten hatte, welche erstmal in /dev/null archiviert wurden. Die Konfiguration des Webservers wurde daraufhin angepasst und kam danach besser mit den Anfragen klar, der Rest des Kongresses verlief ohne weitere Probleme in dieser Richtung.

Eine schöne Sache an unserer Infrastruktur ist ja der Slides-Only-Stream, welcher auch die Bilder des Beamers abgreift, wenn auf den anderen Streams nur das Pausenbild eingeblendet wird. So ergab sich während einer Pause, dass das Bild eines Bluescreens für mehrere Minuten sichtbar war - wir streamen halt alles.

Tag 3

Für gewöhnlich ist es ja recht warm bei uns im Video Operation Center (VOC), da die ganzen Server dort stehen und die entsprechende Tür regelmäßig geöffnet wird. Zusätzlich zieht natürlich auch die ganze warme Luft des bcc zu uns hoch. An den ersten zwei Tagen ging das noch gut und es war eine angenehme Temperatur. Am dritten Tag jedoch, wurde es langsam wärmer, so dass irgendwann einer unserer H.264-Encoder ein Problem damit hatte. Zuerst entfernten wir das Gehäuse und verlegten den Ventilator aus dem VOC direkt in den Betriebsraum, um die Luftzirkulation zu verbessern. Alles dies brachte zwar immerhin eine Temperaturreduktion von 12°C, half jedoch nicht das Problem zu beseitigen und es stellte sich heraus, dass die Festplatte vermutlich am sterben war. Ein Austausch der Festplatte löste das Problem jedenfalls bis zum Ende des Kongresses.

Außerdem am Tag 3: Der schon fast traditionelle fefe-Peak! Der wohl meist erwartete Vortrag, "Fnord-Jahresrückblick", war in der Spitze mit ca. 3.500 Zuschauer gleichzeitig in Saal eins gesegnet. Zusammen mit den anderen beiden Sälen haben wir zu diesem Zeitpunkt insgesamt ca. 4.100 Zuschauer gleichzeitig bedient.

Zum Schluss des Tages haben wir beim Konzert auch mal selbst Hand angelegt. Wir wollten unsere Erfahrung im Umgang mit den Kameras und dem Videomischer auch einmal einbringen - immerhin beschäftigen wir uns im Verein schon jahrelang damit - und ein Konzert lebt schließlich auch von Dynamik, welche nicht ganz so einfach zu handhaben ist, wenn die Erfahrung für solche Situationen fehlt.

Setup

Am Setup hat sich im Laufe der Tage auch ein bischen was geändert. Wir haben zusätzliche Formate hinzu genommen (geplante und ungeplante) und damit natürlich auch zusätzliche Streams betreuen müssen. Zuerst sind wir mit WMV-, H.264 via RTMP-, HTTP- und Slides-Only-Stream gestartet. Zusätzlich wurde am Tag 1 vom Streaming-Team des CCCamp2011 eine Infrastruktur für OGG/Theora hingestellt, welche mit unserem Signal befüllt wurde. Als Weiteres kam dann der Audio-Only-Stream hinzu, welcher auch direkt auf den Slides-Only-Stream-Seiten eingebaut wurde. Aber auch spontane Ideen, wie einen ASCii-Stream via telnet anzubieten (aus der Wunschliste des 28C3-Kongresswikis), konnten wir umsetzen.

Das Monitoring betrieben wir über sechs SDI Monitore, welche jeweils alle Signale von Saal 1 bis 3 Live im VOC zeigten. Außerdem haben wir einen RTMP-Check über einen Laptop gefahren, der die Signale aller 12 RTMP-Server gleichzeitig angezeigt hat. Damit konnten wir prüfen ob noch alle 36 Signale im Netz verfügbar waren. Die Anwendung selbst war nicht trivial, da alles Flashplayer waren und CPU und RAM damit entsprechend gut ausgelastet waren. Der verwendete Crtmpserver - zum Verteilen der RTMP Signale - hatte die Angewohnheit, bei Signalverlust zum Encoder kein Bild mehr auszuliefern und musste deshalb im Zweifelsfall neugestartet werden. Ursprünglich hatten wir ja ein Setup mit einer Mischung aus Erlyvideo und Crtmpserver geplant. Diese wurde allerdings während des 28C3 schrittweise fast komplett auf Crtmpserver umgestellt, da dieser besser skalierte als die Erlyvideo-Variante, die wir bereits 2010 verwendet haben. Einzig ein Erlyvideo-Verteiler blieb aufgrund der Laufzeitstabilität übrig, welcher die Streams für die "No Nerd Left Behind" auslieferte.

Die Infrastruktur wurde gerade teilweise wieder aufgebaut und wird in der nächsten Zeit den Rest des Materials encodieren. So sollten die restlichen Formate und fehlenden Vorträge bald online sein. Einiges wird ein wenig länger dauern, da diese noch manuell nachbearbeitet werden müssen und speziell über Silvester niemand von uns so wirklich Lust hat sich dran zu setzen.

Katzen

Übrigens haben wir in der Nacht von Tag 3 auf 4 für Latenztests die Nyancat laufen lassen (Gesamt: 33904.9 Sekunden). Dies wurde auch über die DVB-T Bildschirme im BCC ausgestrahlt und lief dort durchaus mit Ton die Nacht durch und erfreute sich großer Beliebtheit. In der anschließenden Q/A-Runde im IRC wurde dann auch festgestellt, dass FeM die Aktion "No Cat Left Behind" unterstützt. Bei der Aktion wurden im übrigen keine Tiere verletzt.

Support

Auch wenn wir eigentlich nur für das Streaming und Recording zuständig sind, bekamen wir öfters Anfragen, welche eigentlich nichts mit dieser Arbeit zu tun haben. So wurden wir angerufen, wenn Leute bspw. mal ein Kabel brauchten. Außerdem hatten wir unzählige Anfragen, nach dem Track, welcher zwischen den Vorträgen abgespielt wurde. Wer den noch immer sucht dem sei es nun gesagt: "Machine Lullaby" von "Fear of Ghosts". Die Frage warum $Player das HTTP-Live-Streaming nicht unterstützt, haben wir ja oben schon einmal erwähnt. Ein Hinweis auf einen nicht funktionierenden Stream war nicht so trivial nachzuvollziehen, da es pro Saal neun verschiedene Streams gab, welche über mehrere Server verteilt ausgeliefert wurden. Manchmal lag es aber auch an der eigenen Verbindung der Anfragenden bzw. einer schlechten Route.

Aber nicht nur Supportanfragen haben uns erreicht.

Auch Dank der Zuschauer und Kommentare, welche uns zum Schmunzeln brachten: "Internet tut. WLAN tut. Streaming tut. Wie soll denn da Congressfeeling aufkommen?c3streamingc3infodesk Nein, ihr seid spitze!"

Dank

Abschließend möchten wir uns natürlich noch bei einigen Institutionen bedanken, welche es möglich gemacht haben die Infrastruktur aufzubauen bzw. zu benutzen. Dies wären: ErgoDATA GmbH, Selfnet e.V., ATekoN e.V., Hetzner AG, 1HE-Server.com, die TU Ilmenau - insbesondere das Rechenzentrum und dessen Cheftechniker, dem Institut für Medientechnik und der Hörsaaltechnik - und Andere, welche nicht näher genannt werden wollen.

Wir möchten uns aber auch bei all denjenigen bedanken, die uns auf Fehler während der Übertragung oder sonstige Probleme aufmerksam gemacht haben. Wir versuchen zwar alles selbst zu überwachen, aber es ist halt manchmal aufgrund anderer Aufgaben schlichtweg nicht machbar.

Das Team beim Arbeiten

kaum zurück, kommen die ersten server auch schon wieder zu ihrem ursprungsort zurück

rtmp verteiler übersicht, hier noch mit 10 servern

Unser Event T-Shirt in Aktion

der neue Stoffbanner darf natürlich auch nicht helfen

Regie für Saal1

nyan

Pegro in der Regie beim Regieren

Cosrahn beim Konzertfilmen

Karl die Kreuzschiene

Encoder bei der arbeit

Aussicht aus dem VOC

Bis zum Schluss wird noch an den releases gearbeitet

ASCii Stream Screenshot

Jedes Jahr der selbe Spaß, mitten in der Weihnachtszeit finden sich am 26. Dezember gegen 8 Uhr morgens einige FeMies zusammen, um sich gemeinsam ein paar "erholsame" Tage in Berlin zu gönnen. Fast alle erschienen diesmal sogar pünktlich. Die Anderen hatten bereits letzte Nacht zu wenig Schlaf und kamen, grob nach den Zeiten der vergangenen Jahre abgeschätzt, zu spät, da wir bereits gegen neun mit dem Einladen fertig waren. Vorherige Kontaktversuche via Telefon scheiterten, da der Betroffene dies als Wecksignal betrachtete und uns dementsprechend einfach wegdrückte. Nachdem wir dann endlich los fuhren und gerade auf die Autobahn gefahren waren, bekamen wir auch schon einen Anruf vom Technik-Trapo, in welchem nachgefragt wurde, ob wir die T-Shirts mitgenommen hätten. Da dies keiner bei uns beantworten konnte, mussten wir diesbezüglich bis zur Ankunft in Berlin im Ungewissen bleiben. Zum Glück waren sie dabei, ansonsten könnten wir unsere diesjährigen Eventshirts nicht auf dem Event präsentieren.

Traditionell holten wir eines unserer Mitglieder aus der Nähe von Leipzig ab. Da dieses jedoch nicht auf sein Handy reagierte und nur die Mailbox antwortete, entschieden wir uns direkt zu klingeln. Seine Mutter antwortete leicht geschockt mit: "Oh, der liegt noch im Bett.", als wir nach ihm fragten. Ernüchterung machte sich breit, da der Zeitvorsprung zu den vergangenen Jahren doch wieder zu schrumpfen begann. Nachdem wir ca. eine halbe Stunde gewartet hatten, stieß er endlich zu uns und wir konnten ohne weitere Stops die Fahrt fortsetzen.

Endlich im BCC angekommen mussten wir am Technik-Trapo feststellen, dass dort bereits fleißig gewerkelt wurde und er schon leer war. Wirklich unglücklich waren wir über diese nicht geteilte Arbeit nicht. Die Technik wurde nun auf die drei Säle verteilt und gemäß Schaltplan verkabelt. Dies funktionierte auch bis auf zwei Defekte Kabel ganz gut und war relativ schnell erledigt. Überhaupt ging die Verkabelung heute schnell von statten, sodass wir bereits gegen 19 Uhr die ersten funktionierenden Streams hatten. So schnell waren wir bisher noch nie fertig und so nutzten wir die Chance, den Aufbau vor Ort nochmals durchzutesten. Es bestand auch wesentlich mehr Zeit die kleinen, bisher noch unfertigen Dinge, wie z. Bsp. die Streaming-Webseiten, fertig zu stellen. Im VOC hatten wir viel Spaß und erfreuten uns an Aussagen wie: "Ich dachte eigentlich, dass richtige Image gelöscht zu haben.", nachdem die Nagios-VM irgendwie einen Stand vom 9. Dezember erreicht hatte. Ein bisschen Action darf halt nicht fehlen, ebenso wenig wie ein paar defekte Geräte. Dieses Jahr wurde der Wasserkocher beim Transport entschärft. Die Kreuzschiene vom letzten Jahr konnte uns diesmal zumindest zum C3 nicht ärgern, da sie bereits vorher mit dem selben Fehler wie letztes Jahr wieder an den Hersteller geschickt wurde.

Es hat dieses Jahr mit der Planung erstaunlich gut geklappt. Kaum Probleme und im VOC haben wir diesmal sogar ausreichend Platz zum Sitzen (die Planung dazu wurde Donnerstagnacht spontan in einer ca. 3-stündigen Diskussion über die verschiedensten Möglichkeiten, Ausmessen der Pläne und grobem Schätzen durchgeführt - es endete damit, dass wir uns Tische ausgeliehen und mit ins BCC gebracht haben, um den Raum optimal ausnutzen zu können, dass Ergebnis ist jedenfalls sehr angenehm). Unser VOC ist übrigens dieses Jahr mit 10 Gbit/s an das NOC angebunden.

Auch unser alljährlich abendliche Ausflug am Tag 0 zum Steakhaus durfte natürlich nicht fehlen. Dort stärkten wir uns, um den restlichen Abend weiter an unseren Baustellen zu arbeiten, denn natürlich ist die Arbeit damit noch nicht abgeschlossen, es müssen noch einige Dienste eingerichtet werden, an das Netz angepasst und im kompletten Aufbau getestet werden. Wir wollen zumindest sicher sein, dass die Signale überall dorthin kommen, wo sie auch hin sollen. Am Ende sollen die Slides-Only-, H264-, WMV-, HTTP- und Audiostreams laufen sowie die Signale für die OGG/Theora-Streams und DVB-T bereitstehen, damit sie von den entsprechenden Teams abgegriffen werden können. Für euch soll also eine große Bandbreite an verfügbaren Formaten zur Verfügung stehen. So endet ein ruhiger Tag 0 mit Fehlerbehebungen und Verbesserungen, welche wir derzeit noch durchführen. Viel wird nicht mehr passieren, deshalb ist der Eintrag für heute zu Ende und morgen geht es dann endlich los. Wir werden sehen, was die Vorarbeit gebracht hat.

ein Teil der Technik die mit muss

ein "bisschen" Werbung darf natürlich nicht fehlen

Diese formschöne Verkabelung hält uns die Verbindung nach außen offen

Die Videoregie von vorne, hier in Saal 1

Hier ist ein Teil der verkabelten Technik zu sehen.

Die Technik muss jetzt noch auf die Säle verteilt werden

Auf dem Zwischenhalt sind wir so freundlich und füllen das Klopapier mit Freude nach

Der Streaming Elefant bewacht das Office, solange wir weg sind

und so der Technik-Transporter

so sieht der Konferenzraum aus, wenn die Technik wieder raus ist.

noch mehr Technik die mit muss

Es sind noch 5 Tage bis wir in Berlin aufbauen, deshalb ein kleiner Bericht zur Vorbereitung für euch.

Dieses Jahr läuft es auch erstaunlich gut, was die Vorbereitungen betrifft. Unsere Pipeline steht und funktioniert wie gewünscht, genug Rechenpower vor Ort zum Encodieren der Videos ist auch vorhanden. Wir haben also hoffentlich von Tag 0 an alles bereit und können, wenn nichts mehr schief geht schon ab dem ersten Tag releasen. Zum Vergleich: letztes Jahr hatten wir diesen Stand erst an Tag 4 erreicht. Dies liegt vermutlich daran, dass wir unsere Setup von Jahr zu Jahr verbessern, aber auch daran, dass wir zur Vorbereitung dieses Jahr das iWUT (Ilmenauer Weihnachts Unihockey Turnier) genutzt haben und dort einen ganz ähnlichen Aufbau verwendet haben. 

Neu dieses Jahr wird HTTP Live Streaming sein, welches den Stream in 8 Sekunden lange Teile segmentiert und über eine Playlist anbietet. Unterstützt wird dieses Verfahren von iPhone und co., Mac OS X ab 10.6 und VLC ab Version 1.2. Andere Player spielen dies zwar auch ab, laden aber die Liste im Hintergrund nicht nach, so dass es etwas stocken könnte, bzw nach Ablauf der Playlist zuende ist.

Dieses Jahr wird fast alles über SDI gemacht und der Weg fortgeführt, den wir letztes Jahr eingeschlagen haben. Vor nichtmal einem Monat haben wir drei neue Digital-Kameras angeschafft, wodurch wir von der Quelle bis zur Aufzeichnung für Saal1 komplett digital arbeiten. In den anderen beiden Sälen wird hinter den Analog-Kameras ein A/D-Wandler geschalten, so dass ab diesem ebenfalls alles über SDI läuft. Dazu passend, haben wir inzwischen auch genug SDI-Monitore, um die Bilder alle abgreifen zu können. Dies wird zwar zu etwas mehr Platzbedarf in der Regie führen, dafür sollte es mit der uns verfügbaren Technik aber die beste Bildqualität bieten.

Unsere Server im NSP0

Netzwerk für die Server

Durch dieses kleine Kabel müssen die 8Gbit