FeM

7:15 Der Wecker klingelt - ich mache ihn aus.

7:20 Der Wecker des Handys klingelt - ich mache ihn aus.

7:25 nochmals

7:30 Handy die dritte, kurzer Blick ins eMail-Postfach und ins Wiki, ob die Checkliste vorhanden ist an was ich alles denken muss - ist sie nicht.

8:00 Auf zum Auto und entfernen, was die Nacht beim feiern liegen gelassen hat. Mit dem Gurkenexpress nach Erfurt wollte ich bei dem Wetter jedenfalls nicht.

8:20 Ich fahre auf die Autobahn und plötzlich ist meine Scheibe ist dreckig. Ich stelle fest, dass mein linker Scheibenwischer eine schlechte Arbeitseinstellung hat, auf der Beifahrerseite ist natürlich wie immer alles frei, so dass ich zumindest etwas sehe

8:30 Halt an der ersten Raststätte, ich korrigiere die Arbeitseinstellung des Scheibenwischers und fahre weiter.

8:40 Die nächste Raststätte, war wohl vorhin nicht deutlich genug. Also hämmere ich noch einmal auf den Scheibenwischer ein, fahre weiter und hab dann zumindest ein wenig freie Sicht auf der Fahrerseite, ganz frei machen möchte er nicht (...wasn arsch...).

8:50 Nachdem ich mich verschätz habe, was eigentlich die schnellste abfahrt in Richtung Hauptbahnhof war, fahre ich quer durch Erfurt und bekomme langsam Zweifel ob ich es noch rechtzeitig schaffen werde.

9:00 Anzeige des Parkhaus Hauptbahnhof zeigt mir freundlich "0" freie Plätze an, da ich aber keine Zeit habe ein anderes Parkhaus zu nehmen versuche ich es trotzdem. Der Wächter am Eingang zeigt mir zum Glück grün an und lässt mich gewähren. Drin angekommen wird mir signalisiert, dass ich mich ganz unten einzuordnen hätte. Also von ganz unten nach ganz oben und noch fix was zu essen und trinken geholt, weil man so etwas ja nichtmehr zu hause hat.

9:10 Stehe am Bahngleis, da ich recht zeiteffizient aufgetaucht bin, ob der Zug nun 9:11 von dem Gleis losfährt oder spontan woanders auf mich wartet weis ich nicht. Die Anzeigetafel zeigt jedenfalls den wenig hilfreichen Hinweis, dass es 45 min Verspätung für einen anderen Zug gibt, der zufällig ungefähr jetzt ankommen sollte, tut er aber nicht.

9:12 Stehe richtig. (Nein, es ist kein Licht angegangen, sondern der passende Zug eingefahren.)

9:30 Durchsage; Die Triebwagen 2 und 3 fahren weiter nach Göttingen, Wagen 1 endet in Gotha. Ein kurzer Blick auf die Anzeigetafel verrät mir, dass ich beim Einsteigen die falsche Wahl getroffen habe. Da aber auch andere Personen aufspringen und mit mir zusammen Aussteigen und wieder einsteigen, scheine ich nicht alleine zu sein.

10:52 Pünktliche Ankunft in Göttingen, die 4 min Umstiegszeit sollten eigentlich reichen. Direkt nach dem Aussteigen kam dann auch die Nachricht, dass der Anschlusszug nach Hamburg ca. 20 min später ankommen wird. Zeit zum Umsteigen hatte ich also genug, das gleis war auch leicht zu finden, weil direkt gegenüber. Das Wetter hier ist nicht ganz so kalt wie in Ilmenau, aber viel weniger Schnee, die Felder sind zumindest nur grün-weiß gescheggt.

13:21 Ich steige aus dem Zug aus, und bekomme eine eMail, wo drin steht, an was ich eigentlich alles denken soll. Hatte zwar nichtmehr damit gerechnet, aber hier ist sie, pünktlich halt. Ich lese sie uns versuche grob zu verstehen, was eigentlich mit den einzelnen Punkten gemeint ist. Irgendwie ist mir nicht wirklich alles klar.

13:35 Ich rufe den Techniker an, warte Kurz dass er mich aus dem Foyer abholt und wir legen direkt los in Saal 6. Eine unserer MAZen an den ersten Anschluss gehangen und dann ab in die "alte Regie" um zu gucken ob was ankommt. Die Gute Nachricht, es tut, die schlechte, das Bild bricht regelmäßig weg. Da aber auch unsere Kabel vorher nicht direkt getestet wurden, haben wir es fix ausgetauscht und siehe da, ein fehlerfreies Bild. Weiter zu Saal 1, dort wird gerade für eine Seniorenweihnachtsfeier geprobt, deshalb hinter die Bühne geschlichen, die MAZ dran und geguckt was ankommt - nichts. Stellt sich heraus Beschriftung ist verdreht, auf Panel B kommt an, was in Saal 1 mit A beschriftet ist. Andersrum funktioniert es genauso. Um auch gleich mal die Betriebsfunken zu testen, werden diese Verwendet, damit der Techniker unten noch jeweils eine 2. Strecke für SDI aus jedem Saal testet und ich oben den Monitor entsprechend umhängen kann. Geht alles. Ich Löcher ihn noch mit den Fragen die ich aus der eMail zusammenbekomme und mache Fotos von der alten Regie sowie dem Treppenhaus. Dann sind auch schon anderthalb Stunden vorüber.

15:00 Die Privatführung durch die Katakomben des CCH ist vorbei, der Techniker zeigt mir netterweise noch den alternativen Eingang wo wir auch anliefern können.Danach stelle mein Gepäck beim Wachdienst ab und mache noch ein paar Fotos von der Anliefergegend.

15:05 Ich wage einen Selbstversuch: Mit Apple-Maps unser Hostel finden. Auf geht's. Mir ist vollkommen unklar ist in welche Richtung ich nun gehen muss. Deswegen gehe ich einfach mal auf Verdacht der Straße entlang, wie ich dem sich bewegenden Punkt entnehmen konnte, allerdings in die falsche Richtung. Weil ich auch nicht wirklich erkennen kann wo der Weg sein soll auf dem ich laut der App gehen sollte versuche ich einfach mal in die andere Richtung zu gehen. Die vielen Windungen gerade am Anfang machen es sehr interessant den Weg zu finden. Ein sehr gutes Augmented-Reality-Spiel, ich finde es gelungen ... . Nach ein paar Minuten habe ich dann den Dreh heraus und kann einer langen geraden Straße über die Kennedy-Brücke folgen. Danach wurde ich hinter einem Hotel in eine Seitengasse gelotst und komme dann nach ein paar kleinen Windungen mehr hinter einer Kirche, am Ziel an. Doch weit und breit ist kein Hostel zu sehen. Ich überprüfe ob die Adresse stimmt und stelle fest, dass irgendwie ein Teil der Strecke fehlt, die 2,3 km waren irgendwie zu schnell erreicht, mir war dann auch klar warum. Also noch einmal versucht, wobei ich nun darauf geachtet habe, dass nicht wieder eine andere Adresse gewählt wird. Noch 1,4 km mehr, ich überlege ob ich den Versuch abbreche und zurück zum CCH gehe, damit ich den Zug nicht verpasse, aber entscheide mich es durchzuziehen.

16:00 Ich erreiche unser Hostel, was direkt neben einem anderen Hostel liegt. Verspüre einen Duft der mich an frisches Grün erinnert, aber das liegt vermutlich an den Halbwüchsigen die dort einen geraucht haben. Ich mache kurz ein Beweisfoto vom Hostel (ich hoffe mal das richtige erwischt zu haben, gibt von dem Anbieter ca. fünf Hostels in Hamburg). Auf dem Rückweg mache ich noch ein paar Fotos um die Strecke für Fußgänger grob zu dokumentieren, damit auch die Spätaufsteher unter uns zum C3 den Wegs ins CCH finden.

16:37 Ich hole beim Gepäck beim Wachdienst ab (die Hatten bei Abgabe übrigens ein wenig angst davor, dass in der Tasche ein Kind ist, sind da wohl gebrandmarkt).

16:44 Ich kaufe noch schnell eine Postkarte und schreibe dem FeM-Office, werfe es in den Briefkasten und mache mich zum Gleis.

16:55 Alles einsteigen. Abfahrt. Yay wieder zwei Stunden Zugfahren. Ich fange an die Texte zusammenzutippen (was bisher geschah und meine texte von der Hinfahrt vom Papier zum Laptop zu übertragen).

18:03 Langweilig. Deswegen stehen wir jetzt im nirgendwo und es geht nicht weiter. Die Restfahrzeit nach Hannover beträgt konstant 17 Minuten, die normale Zeit läuft weiter. Ich hake schonmal ab, dass die 8 Minuten Umsteigzeit in Göttingen ausreichend sind.

18:15 Neuigkeiten. Durchsage: Es ist eine Signalstörung, die Kollegen beheben es, aber es kann noch ein paar Minuten Dauern.

18:20 Inzwischen ist die Anzeige der Restfahrtzeit verschwunden, ich nehme an sie liegt immer noch bei 17 Minuten.

18:26 Hab jetzt alles abgetippt und kann nun anfangen alles in eine "schönere" Form zu bringen, hab ja anscheinend noch mehr als genug Zeit.

18:30 Durchsage: Der Zug rollt jetzt weiter bis zum nächsten Bahnhof. Dort wird der Lokführer dann einen schriftlichen Befehl diktiert bekommen, was wohl auch noch einmal 5 Minuten dauern soll.

19:00 Restfahrzeit nach Göttingen 34 min. Ich glaub der Anschluss um 19:08 wird Knapp. Praktischerweise fährt der nächste Zug von Göttingen nach Erfurt erst 21:08, ich stelle mich schonmal auf 1,5 Stunden im Göttinger Bahnhof ein. Das hatte ich früher übrigens Regelmäßig, als ich die Verbindung jedes Wochenende während meiner Wehrdienstzeit fahren durfte. In Göttingen musste mal regelmäßig warten, weil dies Zug von Hannover aus immer Verspätung hatte. Ich hatte also schon damit gerechnet.

19:06 Durchsage: Ich darf bis Fulda weiter fahren und dann von dort aus Richtung Erfurt fahren. Ist von Göttingen noch ungefähr ne Stunde länger, laut der Broschüre über die Bahnstrecke. Ich bin gespannt.

19:59 Gleich in Kassel-Wilhelmshöhe, bis Fulda sind dann noch einmal so 40 min. Ein Blick in die Bahn-App verrät mir, dass der nächste Zug von dort Richtung Erfurt 20:14 fährt und derzeit 10 min Verspätung hat, dies wird dann wohl nix. Danach fährt dann 21:17 der nächste und hat bisher keine Verspätung, das könnte noch was werden. Alles immerhin besser als im kalten Warten. Eher ankommen werde ich jedenfalls nicht, aber ich lass mich gerne noch überraschen was mir die Zugbegleiter dort noch erzählen werden.

20:22 Mit 200 km/h durch Deutschland...

20:35 Ich hab da mal angefangen alles was mir zum Treffen mit dem Techniker, was dort passiert und herausgekommen ist in ein Dokument zu schreiben. Bin dann inzwischen fertig mit allen Texten die mir bis hierhin eingefallen sind, inklusive grobes Korrekturlesen.

20:43 Fulda. Ausgestiegen und direkt zum nächsten Gleis um zu warten, aber irgendwie alleine. Ich hätte gedacht, dass mehr Leute der Ansage bzgl. Fulda folgen würden, aber vermutlich haben die es sich noch kurz in einem Laden gemütlich gemacht oder ich war einfach alleine. Wenigstens einer steht da, aber der Fragt mich nur auf Englisch, ob dies der Zug nach Eisanach sei. Er ist aus Südafrika und besucht hier einen Bekannten. Seine versuche ihn Telefonisch zu erreichen scheinen allerdings nicht von Erfolg gekrönt zu sein. Er ist zwar erstaunt, dass sein Handy aus Südafrika hier funktioniert, allerdings klappt das irgendwie nicht. Er hat dann versucht ein Münztelefon zu finden, war aber erfolglos. Nachdem ich dann kurz auf seine Sachen währenddessen aufgepasst hatte, bat ich ihn, dies auch kurz für mich zu tun. Ich ging herunter um kurz vor Ladenschluss noch etwas essbares zu ergattern. Währenddessen entdeckte ich auch zwei Exemplare der Antiken Fernsprechgeräte. Aber als ich es ihm mitteilte und er sein Glück erneut versuchte, musste er feststellen, dass auf der anderen Seite kein Empfang ist.

Während ich da so herum Stand konnte ich übrigens erspähen, dass der Zug nach Hamburg-Altona (wie ich ihn morgens bereits gefahren bin, schon 100min Verspätung hatte), da bin ich ja mit meinen bisher 20 + 40 Minuten noch recht gut weggekommen. Die Gesamtreisezeit war allerdings zum jetzigen Zeitpunkt bereits 2 Stunden und 20 Minuten zuviel.

21:03 Ein langer Gütertransport mit Baumstämmen fährt vorbei und verbreitet den Duft von Nadelholz am Bahnhof. Ein heißes Bad wäre jetzt angenehm.

21:17 Versuch das Angebot aus dem ICE wahrzunehmen. Ich steige in den Zug in Richtung Erfurt ein.

21:37 Noch etwas mehr als eine Stunde Zugfahrt und die Heimreise mit dem Auto, so langsam werde ich müde. Spannend waren Bahnfahrten ja noch nie wirklich, wobei sich vorhin im ICE ein paar Leute darüber unterhalten haben, das die verschiedenen Ausreden für Zugverspätungen recht interessant währen.

21:49 Zugbegleiterin kommt: "Jemand hinzugestiegen". Ich reiche ihr mein Papierkram, sie guckt drauf und sagt Dankeschön. Also mal wieder viel zu viel Gedanken darüber gemacht, zumindest das läuft.

22:44 Pünktlich in Erfurt angekommen. Ab ins Auto.

23:25 Zurück im Office.

15,5 Stunden unterwegs um mal kurz sicher gehen zu können, ob wir SDI auf der Kabelstrecke Fahren können oder nicht. Ergebnis wir können. Jetzt werden noch die SDI-Capture-Karten ausgepackt und in die TouchMixer eingebaut, aber dazu mehr zum oder nach dem Congress.

By wide request of the crowd here is a translation of the 28C3 review article.

It is done already. After two months of preparation, 13 people attending the 28C3 and others outside have done the streaming & recording of the 28C3. The 97 events were streamed in 7 different formats, with 27 concurrent streams in total and distributed by 39 relay servers. HTTP live streaming alone generated more than 10 TBytes of traffic. The raw video data takes about 1.8 TBytes on our harddisks.

Day 1

In beginning of the first day streaming was characterized by problems with the network outside the BCC, which also created the most traffic for our support tickets during the whole 28C3. The network problems were caused by dropped peerings. As the network had different uplinks, some of them happend to get disconnected by incomplete routing tables. It was fixed, at least for us, by the NOC by assigning our subnet to a stable uplink. As we never encountered that problem again on the C3, the stream went outside the bcc without any further problems.

We also had to explain why the HTTP Live Streaming, a new service this year, did not work on some devices and media players: Except from products from apple and the VLC-1.2pre release, no player/browser supports that format, maybe because it is relatively new. But with its architecture it was really simple to generate additional playlists and reuse the live streaming snippets for on-demand streaming.

Day 2

On day 2 we have started with the release process and were really productive from the beginning, so we were able to release some recordings two hours after the end of an event as torrent file, a personal record. This worked pretty well until the end of the congress, at the end we released all audio files before we left Berlin.

Also some script kiddies had some fun and kept our streams overview site from working with a lot of concurrent connections. Unfortunately this was bad timing, as both of the webmasters were outside of the bcc, grabing something to eat and only had their voice mail answering us. When one of them finally got back to our VOC, he found over 17 Gbytes of error log, which he archived instantly to /dev/null. After some webserver configuration tweaks the page was back online, performing well. For the remaining time of the congress it didn't cause any more problems.

A nice piece of our infrastructure is the slides-only stream, displaying slide snapshots at maximum rate of 2 per second, which is also available while other streams show the pause screen. So it happened between two lectures that a blue screen was displayed for several minutes - we actually stream everything.

Day 3

During a C3 it is usually quite warm in the VOC, because we are door to door with the server room and because of being on the highest floor of the bcc, the warm air is coming upwards to us. On day 1 and 2 it was still comfortable, but on day 3 the temperatures were rising. One of our H.264 encoders did not like that. As a first countermeasure we removed the cases of the Shuttle Barebones and moved our ventilator from the VOC to the service room to increase the air flow. This caused a cooldown of the encoders by 12°C, but did not solve the actual problem. After some investigations we suspected the HDD of doing nasty things, replacing it however solved the problem for the remaing congress.

Furthermore on day 3: the traditional fefe peak! The "Fnord-Jahresrückblick", one of the usually most awaited lectures, brought us a peak of at least 3.500 clients watching the streams of Saal 1 concurrently. Sumed up with the other lectures there were at least 4.100 clients watching the streams at this time (again personal record!).

At the end of the day we did some hands-on during the concert. We wanted to contribute our experiences with cameras and live video mixing to get some motion into the video, which can be essential for a concert.

Our Setup

There were some modifications to the setup during the congress. We extended our streaming with additional formats, some of them planned before and some of them spontaneously. At the beginning of the congress we were streaming in WMV, H.264 via RTMP, HTTP Live Streaming (H.264 in MPEG-TS) and slides-only. Additionally the streaming team of CCCamp2011 set up some infrastructure for Ogg/Theora that was fed with our signals. Later there was an audio-only Ogg/Vorbis stream that was embedded in the webpages of the slides-only stream. One of the spontaneously evolving streaming formats was the ASCII stream, playable via telnet client, that was on top of the wish list in the 28C3 event wiki.

There were quite some ressources necessary for monitoring all the signals and servers. The visual monitoring of the video signals from Saal 1 to 3 was done with 6 SDI CRT monitors being placed in the VOC. For relaying the RTMP streams we used a small tool called crtmpserver, which had the bad habit of stopping distribution when there was no connection to the stream source, which could only be fixed by restarting the daemon. To get aware of such situations, a dedicated laptop showed a webpage with all RTMP streams from all relay servers simultaneously. The 36 flash players in total consumed so much CPU power that the streams degraded to slide shows, but it was just enough for monitoring. For RTMP distribution the original plan consisted of a mix of erlyvideo and crtmpserver, but during 28C3 we migrated all relay servers to use crtmpserver since this software showed a much better performance than erlyvideo did in 2010. Only the relay for the "No Nerd Left Behind" stations was left running erlyvideo, since the number of clients was low enough to benefit from the uninterrupted delivery that erlyvideo can provide.

In the meantime our infrastructure was partially setup again in Ilmenau to complete the encoding of the remaining files. These should be all available by now via FTP, HTTP and Torrent. See Documentation page in the event wiki.

We love Cats

In the night between day 3 and 4 we were streaming the nyan cat to make some important latency tests (the nyan cat page shows a seconds counter) and reached a score of 33'904.9 seconds. The stream was distributed via DVB-T to the TV sets in the BCC as well and was playing through the night (partially with audio) which cheered some people up. It was noted in the subsequent Q&A session that FeM supports "No Cat Left Behind". By the way: no animals were harmed during the test. (But maybe some humans)

Feedback and support requests

Our main purpose was the streaming and recording of the events, but we also got some slightly unrelated requests. E.g. we got calls from people which needed some special cables. And we got endless questions about the track which was played between the events. For everyone who still doesn't know: it's "Machine Lullaby" by "Fear of Ghosts". The question why $player does not support HTTP Live Streaming was answered already. Most problem reports about non-working streams were not as easy to answer as the reporter may have thought it would be (see stats in the beginning of this article to get an idea about it). Sometimes it was just a bad connection or route on the client side. Or the bad idea of watching streams and leaching files simultaneously.

But we did not only receive support requests.

Especially some comments of viewers, which let us smile: "Internet works. WLAN works. Streaming works. How shall we develop a congress feeling with that setting?c3streamingc3infodesk No, you're great!"

Many Thanks

We would like to thank a few organizations, which made it possible to build and use this year's streaming and recording infrastructure. In specific: ErgoDATA GmbH, Selfnet e.V., ATekoN e.V., Hetzner AG, 1HE-Server.com, the TU Ilmenau - notably the computing department and their chief network technician, the Institut für Medientechnik and the room equipment team - and others, not named specifically.

Also thanks to the CCC for running this well organized event, the FOOD team for not letting us die of starvation, the NOC team for their tremendous work, the guys from BCC technical services for helping us anytime and Nick Farr for entertainment and Club-Mate.

We also want to thank all those who were pointing out problems while we were busy with streaming and solving occurring problems. We always tried to monitor everything, but did not always had the time to watch, so it would not be possible without external help.

And we thank all we've forgotten to mention, all speakers and all viewers outside on the internet. See you probably at 29C3, whereever it will take place.

If you liked our work, you may consider to thank us with a small donation.

Our Team working in the VOC

after we arrived in Ilmenau, we've put everything back to its normal place

rtmp verteiler overview, here with 10 relay servers

our event T-Shirt in action

the new textile banner, shall has to be mentioned too

Regie for Saal1

nyan

Pegro directing  the concert

Cosrahn while filming the concert

Karl our crossover switch

Encoder doing their work

view from the VOC

working on releasing videos until the last minute

ASCii Stream Screenshot

Schon wieder ist es erst einmal vorbei. Nach zwei Monaten Vorbereitungszeit haben es 13 Leute vor Ort und weitere Helfer geschafft, das Streaming & Recording des 28C3 zu stemmen. Bei den 97 gestreamten Veranstaltungen, welche in sieben verschiedenen Formaten übertragen wurden, fielen nicht nur 27 Streams gleichzeitig an, welche durch 39 Server verteilt wurden, sondern auch allein an HTTP-Traffic kamen ca. 10 TByte zusammen. Die Aufnahmen aller Veranstaltungen nehmen außerdem übrigens ca. 1,8TB an rohen Videodaten (DV) in Anspruch.

Tag 1

Der Beginn des Streamings am ersten Tag war durch Probleme mit dem Netzwerk geprägt und verursachte auch das meiste Aufkommen an Supportarbeit während des C3. Die Netzprobleme hatten ihren Ursprung in einem wegfallenden Peering nach außen. Da der Netzplan des NOC mehrere Uplinks vorsah, kam es vor, dass wir ab und zu diesem wegfallenden Peering zugeordnet waren. Gefixt wurde das Problem, zumindest für uns, durch feste Bindung unseres Subnetzes an ein stabiles Peering. Während des Restes des C3 konnten wir danach keine weiteren derartigen Probleme ausmachen.

Weiterhin mussten wir oftmals erklären, warum das HTTP-Streaming (neu in diesem Jahr) bei einigen Leuten nicht oder nicht richtig funktionierte. Dies lag meist einfach daran, dass außer Apple-Produkten und dem VLC-1.2pre dieses Format von keinem Browser oder Videoplayer richtig unterstützt wird und daher auch (noch) relativ unbekannt ist. Anhand der Videoschnipsel und zusätzlich generierten Playlisten war es uns möglich, ein on-demand HTTP-Live-Streaming anzubieten.

Tag 2

Am Tag 2 konnte der Release-Prozess von uns gestartet werden und war auch sehr produktiv, was man unter anderem daran merkte, dass Videos schon zwei Stunden nach Ende des Vortrages als Torrent veröffentlicht wurden. Dies funktionierte auch durchgehend bis zum Ende des Kongresses gut, so dass wir zumindest Audio bereits komplett fertig released hatten, als wir Berlin verließen.

Spaß hatten wir auch mit ein paar Scriptkiddies, welche die Übersichtsseite der Streams durch "einige" gleichzeitige Verbindungen lahm gelegt haben. Und der Zeitpunkt war günstig gewählt, da beide Administratoren gerade extern Essen waren und nur die Mailbox mit uns reden wollte. Als dann endlich wieder einer Anwesend war, stellte er schnell fest, dass der Errorlog bereits 17 Gbyte überschritten hatte, welche erstmal in /dev/null archiviert wurden. Die Konfiguration des Webservers wurde daraufhin angepasst und kam danach besser mit den Anfragen klar, der Rest des Kongresses verlief ohne weitere Probleme in dieser Richtung.

Eine schöne Sache an unserer Infrastruktur ist ja der Slides-Only-Stream, welcher auch die Bilder des Beamers abgreift, wenn auf den anderen Streams nur das Pausenbild eingeblendet wird. So ergab sich während einer Pause, dass das Bild eines Bluescreens für mehrere Minuten sichtbar war - wir streamen halt alles.

Tag 3

Für gewöhnlich ist es ja recht warm bei uns im Video Operation Center (VOC), da die ganzen Server dort stehen und die entsprechende Tür regelmäßig geöffnet wird. Zusätzlich zieht natürlich auch die ganze warme Luft des bcc zu uns hoch. An den ersten zwei Tagen ging das noch gut und es war eine angenehme Temperatur. Am dritten Tag jedoch, wurde es langsam wärmer, so dass irgendwann einer unserer H.264-Encoder ein Problem damit hatte. Zuerst entfernten wir das Gehäuse und verlegten den Ventilator aus dem VOC direkt in den Betriebsraum, um die Luftzirkulation zu verbessern. Alles dies brachte zwar immerhin eine Temperaturreduktion von 12°C, half jedoch nicht das Problem zu beseitigen und es stellte sich heraus, dass die Festplatte vermutlich am sterben war. Ein Austausch der Festplatte löste das Problem jedenfalls bis zum Ende des Kongresses.

Außerdem am Tag 3: Der schon fast traditionelle fefe-Peak! Der wohl meist erwartete Vortrag, "Fnord-Jahresrückblick", war in der Spitze mit ca. 3.500 Zuschauer gleichzeitig in Saal eins gesegnet. Zusammen mit den anderen beiden Sälen haben wir zu diesem Zeitpunkt insgesamt ca. 4.100 Zuschauer gleichzeitig bedient.

Zum Schluss des Tages haben wir beim Konzert auch mal selbst Hand angelegt. Wir wollten unsere Erfahrung im Umgang mit den Kameras und dem Videomischer auch einmal einbringen - immerhin beschäftigen wir uns im Verein schon jahrelang damit - und ein Konzert lebt schließlich auch von Dynamik, welche nicht ganz so einfach zu handhaben ist, wenn die Erfahrung für solche Situationen fehlt.

Setup

Am Setup hat sich im Laufe der Tage auch ein bischen was geändert. Wir haben zusätzliche Formate hinzu genommen (geplante und ungeplante) und damit natürlich auch zusätzliche Streams betreuen müssen. Zuerst sind wir mit WMV-, H.264 via RTMP-, HTTP- und Slides-Only-Stream gestartet. Zusätzlich wurde am Tag 1 vom Streaming-Team des CCCamp2011 eine Infrastruktur für OGG/Theora hingestellt, welche mit unserem Signal befüllt wurde. Als Weiteres kam dann der Audio-Only-Stream hinzu, welcher auch direkt auf den Slides-Only-Stream-Seiten eingebaut wurde. Aber auch spontane Ideen, wie einen ASCii-Stream via telnet anzubieten (aus der Wunschliste des 28C3-Kongresswikis), konnten wir umsetzen.

Das Monitoring betrieben wir über sechs SDI Monitore, welche jeweils alle Signale von Saal 1 bis 3 Live im VOC zeigten. Außerdem haben wir einen RTMP-Check über einen Laptop gefahren, der die Signale aller 12 RTMP-Server gleichzeitig angezeigt hat. Damit konnten wir prüfen ob noch alle 36 Signale im Netz verfügbar waren. Die Anwendung selbst war nicht trivial, da alles Flashplayer waren und CPU und RAM damit entsprechend gut ausgelastet waren. Der verwendete Crtmpserver - zum Verteilen der RTMP Signale - hatte die Angewohnheit, bei Signalverlust zum Encoder kein Bild mehr auszuliefern und musste deshalb im Zweifelsfall neugestartet werden. Ursprünglich hatten wir ja ein Setup mit einer Mischung aus Erlyvideo und Crtmpserver geplant. Diese wurde allerdings während des 28C3 schrittweise fast komplett auf Crtmpserver umgestellt, da dieser besser skalierte als die Erlyvideo-Variante, die wir bereits 2010 verwendet haben. Einzig ein Erlyvideo-Verteiler blieb aufgrund der Laufzeitstabilität übrig, welcher die Streams für die "No Nerd Left Behind" auslieferte.

Die Infrastruktur wurde gerade teilweise wieder aufgebaut und wird in der nächsten Zeit den Rest des Materials encodieren. So sollten die restlichen Formate und fehlenden Vorträge bald online sein. Einiges wird ein wenig länger dauern, da diese noch manuell nachbearbeitet werden müssen und speziell über Silvester niemand von uns so wirklich Lust hat sich dran zu setzen.

Katzen

Übrigens haben wir in der Nacht von Tag 3 auf 4 für Latenztests die Nyancat laufen lassen (Gesamt: 33904.9 Sekunden). Dies wurde auch über die DVB-T Bildschirme im BCC ausgestrahlt und lief dort durchaus mit Ton die Nacht durch und erfreute sich großer Beliebtheit. In der anschließenden Q/A-Runde im IRC wurde dann auch festgestellt, dass FeM die Aktion "No Cat Left Behind" unterstützt. Bei der Aktion wurden im übrigen keine Tiere verletzt.

Support

Auch wenn wir eigentlich nur für das Streaming und Recording zuständig sind, bekamen wir öfters Anfragen, welche eigentlich nichts mit dieser Arbeit zu tun haben. So wurden wir angerufen, wenn Leute bspw. mal ein Kabel brauchten. Außerdem hatten wir unzählige Anfragen, nach dem Track, welcher zwischen den Vorträgen abgespielt wurde. Wer den noch immer sucht dem sei es nun gesagt: "Machine Lullaby" von "Fear of Ghosts". Die Frage warum $Player das HTTP-Live-Streaming nicht unterstützt, haben wir ja oben schon einmal erwähnt. Ein Hinweis auf einen nicht funktionierenden Stream war nicht so trivial nachzuvollziehen, da es pro Saal neun verschiedene Streams gab, welche über mehrere Server verteilt ausgeliefert wurden. Manchmal lag es aber auch an der eigenen Verbindung der Anfragenden bzw. einer schlechten Route.

Aber nicht nur Supportanfragen haben uns erreicht.

Auch Dank der Zuschauer und Kommentare, welche uns zum Schmunzeln brachten: "Internet tut. WLAN tut. Streaming tut. Wie soll denn da Congressfeeling aufkommen?c3streamingc3infodesk Nein, ihr seid spitze!"

Dank

Abschließend möchten wir uns natürlich noch bei einigen Institutionen bedanken, welche es möglich gemacht haben die Infrastruktur aufzubauen bzw. zu benutzen. Dies wären: ErgoDATA GmbH, Selfnet e.V., ATekoN e.V., Hetzner AG, 1HE-Server.com, die TU Ilmenau - insbesondere das Rechenzentrum und dessen Cheftechniker, dem Institut für Medientechnik und der Hörsaaltechnik - und Andere, welche nicht näher genannt werden wollen.

Wir möchten uns aber auch bei all denjenigen bedanken, die uns auf Fehler während der Übertragung oder sonstige Probleme aufmerksam gemacht haben. Wir versuchen zwar alles selbst zu überwachen, aber es ist halt manchmal aufgrund anderer Aufgaben schlichtweg nicht machbar.

Das Team beim Arbeiten

kaum zurück, kommen die ersten server auch schon wieder zu ihrem ursprungsort zurück

rtmp verteiler übersicht, hier noch mit 10 servern

Unser Event T-Shirt in Aktion

der neue Stoffbanner darf natürlich auch nicht helfen

Regie für Saal1

nyan

Pegro in der Regie beim Regieren

Cosrahn beim Konzertfilmen

Karl die Kreuzschiene

Encoder bei der arbeit

Aussicht aus dem VOC

Bis zum Schluss wird noch an den releases gearbeitet

ASCii Stream Screenshot

Jedes Jahr der selbe Spaß, mitten in der Weihnachtszeit finden sich am 26. Dezember gegen 8 Uhr morgens einige FeMies zusammen, um sich gemeinsam ein paar "erholsame" Tage in Berlin zu gönnen. Fast alle erschienen diesmal sogar pünktlich. Die Anderen hatten bereits letzte Nacht zu wenig Schlaf und kamen, grob nach den Zeiten der vergangenen Jahre abgeschätzt, zu spät, da wir bereits gegen neun mit dem Einladen fertig waren. Vorherige Kontaktversuche via Telefon scheiterten, da der Betroffene dies als Wecksignal betrachtete und uns dementsprechend einfach wegdrückte. Nachdem wir dann endlich los fuhren und gerade auf die Autobahn gefahren waren, bekamen wir auch schon einen Anruf vom Technik-Trapo, in welchem nachgefragt wurde, ob wir die T-Shirts mitgenommen hätten. Da dies keiner bei uns beantworten konnte, mussten wir diesbezüglich bis zur Ankunft in Berlin im Ungewissen bleiben. Zum Glück waren sie dabei, ansonsten könnten wir unsere diesjährigen Eventshirts nicht auf dem Event präsentieren.

Traditionell holten wir eines unserer Mitglieder aus der Nähe von Leipzig ab. Da dieses jedoch nicht auf sein Handy reagierte und nur die Mailbox antwortete, entschieden wir uns direkt zu klingeln. Seine Mutter antwortete leicht geschockt mit: "Oh, der liegt noch im Bett.", als wir nach ihm fragten. Ernüchterung machte sich breit, da der Zeitvorsprung zu den vergangenen Jahren doch wieder zu schrumpfen begann. Nachdem wir ca. eine halbe Stunde gewartet hatten, stieß er endlich zu uns und wir konnten ohne weitere Stops die Fahrt fortsetzen.

Endlich im BCC angekommen mussten wir am Technik-Trapo feststellen, dass dort bereits fleißig gewerkelt wurde und er schon leer war. Wirklich unglücklich waren wir über diese nicht geteilte Arbeit nicht. Die Technik wurde nun auf die drei Säle verteilt und gemäß Schaltplan verkabelt. Dies funktionierte auch bis auf zwei Defekte Kabel ganz gut und war relativ schnell erledigt. Überhaupt ging die Verkabelung heute schnell von statten, sodass wir bereits gegen 19 Uhr die ersten funktionierenden Streams hatten. So schnell waren wir bisher noch nie fertig und so nutzten wir die Chance, den Aufbau vor Ort nochmals durchzutesten. Es bestand auch wesentlich mehr Zeit die kleinen, bisher noch unfertigen Dinge, wie z. Bsp. die Streaming-Webseiten, fertig zu stellen. Im VOC hatten wir viel Spaß und erfreuten uns an Aussagen wie: "Ich dachte eigentlich, dass richtige Image gelöscht zu haben.", nachdem die Nagios-VM irgendwie einen Stand vom 9. Dezember erreicht hatte. Ein bisschen Action darf halt nicht fehlen, ebenso wenig wie ein paar defekte Geräte. Dieses Jahr wurde der Wasserkocher beim Transport entschärft. Die Kreuzschiene vom letzten Jahr konnte uns diesmal zumindest zum C3 nicht ärgern, da sie bereits vorher mit dem selben Fehler wie letztes Jahr wieder an den Hersteller geschickt wurde.

Es hat dieses Jahr mit der Planung erstaunlich gut geklappt. Kaum Probleme und im VOC haben wir diesmal sogar ausreichend Platz zum Sitzen (die Planung dazu wurde Donnerstagnacht spontan in einer ca. 3-stündigen Diskussion über die verschiedensten Möglichkeiten, Ausmessen der Pläne und grobem Schätzen durchgeführt - es endete damit, dass wir uns Tische ausgeliehen und mit ins BCC gebracht haben, um den Raum optimal ausnutzen zu können, dass Ergebnis ist jedenfalls sehr angenehm). Unser VOC ist übrigens dieses Jahr mit 10 Gbit/s an das NOC angebunden.

Auch unser alljährlich abendliche Ausflug am Tag 0 zum Steakhaus durfte natürlich nicht fehlen. Dort stärkten wir uns, um den restlichen Abend weiter an unseren Baustellen zu arbeiten, denn natürlich ist die Arbeit damit noch nicht abgeschlossen, es müssen noch einige Dienste eingerichtet werden, an das Netz angepasst und im kompletten Aufbau getestet werden. Wir wollen zumindest sicher sein, dass die Signale überall dorthin kommen, wo sie auch hin sollen. Am Ende sollen die Slides-Only-, H264-, WMV-, HTTP- und Audiostreams laufen sowie die Signale für die OGG/Theora-Streams und DVB-T bereitstehen, damit sie von den entsprechenden Teams abgegriffen werden können. Für euch soll also eine große Bandbreite an verfügbaren Formaten zur Verfügung stehen. So endet ein ruhiger Tag 0 mit Fehlerbehebungen und Verbesserungen, welche wir derzeit noch durchführen. Viel wird nicht mehr passieren, deshalb ist der Eintrag für heute zu Ende und morgen geht es dann endlich los. Wir werden sehen, was die Vorarbeit gebracht hat.

ein Teil der Technik die mit muss

ein "bisschen" Werbung darf natürlich nicht fehlen

Diese formschöne Verkabelung hält uns die Verbindung nach außen offen

Die Videoregie von vorne, hier in Saal 1

Hier ist ein Teil der verkabelten Technik zu sehen.

Die Technik muss jetzt noch auf die Säle verteilt werden

Auf dem Zwischenhalt sind wir so freundlich und füllen das Klopapier mit Freude nach

Der Streaming Elefant bewacht das Office, solange wir weg sind

und so der Technik-Transporter

so sieht der Konferenzraum aus, wenn die Technik wieder raus ist.

noch mehr Technik die mit muss

Es sind noch 5 Tage bis wir in Berlin aufbauen, deshalb ein kleiner Bericht zur Vorbereitung für euch.

Dieses Jahr läuft es auch erstaunlich gut, was die Vorbereitungen betrifft. Unsere Pipeline steht und funktioniert wie gewünscht, genug Rechenpower vor Ort zum Encodieren der Videos ist auch vorhanden. Wir haben also hoffentlich von Tag 0 an alles bereit und können, wenn nichts mehr schief geht schon ab dem ersten Tag releasen. Zum Vergleich: letztes Jahr hatten wir diesen Stand erst an Tag 4 erreicht. Dies liegt vermutlich daran, dass wir unsere Setup von Jahr zu Jahr verbessern, aber auch daran, dass wir zur Vorbereitung dieses Jahr das iWUT (Ilmenauer Weihnachts Unihockey Turnier) genutzt haben und dort einen ganz ähnlichen Aufbau verwendet haben. 

Neu dieses Jahr wird HTTP Live Streaming sein, welches den Stream in 8 Sekunden lange Teile segmentiert und über eine Playlist anbietet. Unterstützt wird dieses Verfahren von iPhone und co., Mac OS X ab 10.6 und VLC ab Version 1.2. Andere Player spielen dies zwar auch ab, laden aber die Liste im Hintergrund nicht nach, so dass es etwas stocken könnte, bzw nach Ablauf der Playlist zuende ist.

Dieses Jahr wird fast alles über SDI gemacht und der Weg fortgeführt, den wir letztes Jahr eingeschlagen haben. Vor nichtmal einem Monat haben wir drei neue Digital-Kameras angeschafft, wodurch wir von der Quelle bis zur Aufzeichnung für Saal1 komplett digital arbeiten. In den anderen beiden Sälen wird hinter den Analog-Kameras ein A/D-Wandler geschalten, so dass ab diesem ebenfalls alles über SDI läuft. Dazu passend, haben wir inzwischen auch genug SDI-Monitore, um die Bilder alle abgreifen zu können. Dies wird zwar zu etwas mehr Platzbedarf in der Regie führen, dafür sollte es mit der uns verfügbaren Technik aber die beste Bildqualität bieten.

Unsere Server im NSP0

Netzwerk für die Server

Durch dieses kleine Kabel müssen die 8Gbit