Einreichung Netzkultur 2008-1 Reactable

Daten

Projekt/Einrichtungsname: Metangible (nein, das ist nicht schon der Name,
    sondern 'to be announced' :-)
Einreichung bei: Netzkunst/Netzkultur/Einrichtung/Annual Convention
Einreichende(r): Joh Sperlhofer & Friends
Fördersumme: xxx EUR

intern: Diskussion Namen

• Das SYSTEM: Platzhalter für den endgültigen Namen des Tisches.
• namensvorschläge für das SYSTEM:
  • metangible - Kombination von Meta und Tangibles. Klingt nett, aber sonst sehr unaussagekräftig.
  • Orchestr: Web2.0, und "chest" .. ist ja ne fette Kiste. :)

Kurzbeschreibung

Was genau machen eigentlich die Elektronik-Musiker, die sich auf der Bühne hinter ihren Notebooks verschanzen und irgendwelches unsichtbares Zeug anklicken? Es ist ein großes Mysterium. Wir machen dem Versteckspiel ein Ende und bauen eine große (1 bis 2 qm), physische Benutzeroberfläche, die jeder begreifen und be-greifen kann. Mehrere Mitspieler können sich um den Tisch versammeln und kollaborativ Musik erschaffen; die graphische Benutzerschnittstelle ist intuitiv, anschaulich und hübsch, und dient als Visualisierung zu den Klängen. ...

Ausführliche Beschreibung

• SYSTEM: a tangible multi-user electro-acoustic musical instrument

Martin Kaltenbrunner auf einem reactable

Jazzmutant Lemur(r)

Audiopad Composer

Das SYSTEM ist ein kollaboratives Musikinstrument mit einem haptischen Benutzerinterface. Das SYSTEM kombiniert Konzepte der Mustererkennung, des Userinterface-Designs und synthetischer Musik zu einem elektronischen Musikinstrument, das von mehreren Personen (den sog. 'Musikern') gleichzeitig bedient werden kann. Das SYSTEM wird über Kunststoff-Blöcke (den sog. 'Tangibles') bedient, welche von den Musikern beliebig auf der Spielfläche angeordnet werden. Die Tangibles repräsentieren Standard-Komponenten eines analogen Synthesizers wie Samples, LFOs und Sinuswellengeneratoren. Die Tangibles reagieren dann - abhängig von ihrer Position - aufeinander und erzeugen musikalische Phrasen. Die Bedienung des SYSTEMS ist spielerisch und intutiv erlernbar, die erzeugten Musikstrukturen aber auch anspechend für erfahrene Musiker.

Zwar gibt es bereits eine Vielzahl dieser Instrumente, allerdings sind diese meist prototypischer Natur und schlecht dokumentiert. Die wenigen derartigen Instrumente, die kommerziell erhältlich sind, einerseits teuer (Jazzmutant Lemur: Basisversion 2500 €, reactable Basisversion: 6500 €) und die benutzte Software nicht frei erhältlich/modifizierbar. Ziel des Systems ist es daher, neben dem SYSTEM selbst, eine unfangreiches Dokumetation dazu erstellen, die Nachbauten von interessierten Usern erleichtern und andererseits gewährleistet, dass die verwendeten Softwareteile un Pläne konstant verbessert werden.

Das Projekt SYSTEM ist der erste Schritt hin zu einem offenen, kollaborativen, elektronischem Musikinstrument mit haptischen Steuerelementen.

Ziele, kurz und bündig

• Aufbau eines eletronischen Musikinstruments mit haptischen Steuerelementen
• Weiterentwicklung basierend auf Erfahrungen und Konzepten von Audiopad, reactable, Lemur, MultiTouchConsole und diversen anderen (siehe Anhang)
• Veröffentlichung aller Pläne, Skizzen und Software im Internet um kompatible Nachbauten zu forcieren.
• (hoffentlich midestens) ein öffentlicher Auftritt mit dem fertigen Instrument vor Publikum
• Zuführung, Verwaltung und Zurverfügungstellung des fertigen Instruments an/durch einen ausgewählten Verein mit Sitz in Wien.

Prinzipien

Grundlegende Prinzipen, auf denen das SYSTEm basieren wird:

1. Kollaborativ - Das SYSTEM kann von mehreren Personen gleichzeitig bedient werden.
2. Intuitiv - Die Bedienung soll selbst ohne Vorwissen möglich sein - Handbuch nicht nötig!
3. Live - Die erzeugten Klänge entstehen in Echtzeit und ohne (sichtbare) Zwischenschritte.
4. Ansprechend - Die erzeugten Musikstücke sollen auch für erfahrene Eletronicmusiker ansprechend sein.
5. OpenSource - Es wird - soweit möglich - Software verwendet, welche unter einer freien Lizenz verfügbar ist.
6. Nachvollziehbar - Alle Pläne werden veröffentlicht und selbst erstellte Software wird unter einer freien Lizenz veröffentlicht.
7. Vernetzt - Mehrere SYSTEME können über das Internet über das standardisierte OSC-Protokoll miteinander kommunizieren und interagieren.
8. Kosteneffizient - Es wird versucht, die günstigeste brauchbare Alternative (Baumaterial,Software,Hardware) zu verwenden.
9. Mobil - Das System ist in mehrere Module zerlegbar und kann mühelos transportiert werden.

Videos

Folgende Videos auf youtube vermitteln einen Eindruck von den bereits umgesetzen Projekten und deren Fähigkeiten:

• Demo-Video von 'Audiopad', MIT ([1])
• Demo-Video zu 'reactable', UPF research ([2])
• Demo-Video zu 'Lemur', Jazzmutant ([3])

Im Anhang befinden sich diverse andere ähnliche Projekte mit ausführlicheren Informationen und Links zur betreffenden Homepage.

Snipsnip

• • Jamadrum: http://www.youtube.com/watch?v=NzC9bRHRNtQ
• Neue Interaktionsmöglichkeiten; z.B. eine (oder mehrere) von den Folgenden:
  • Kombination von Multi-Touch- und haptischem Interface: kann sowohl mit Objekten, die visuelle Marker haben, als auch mit den Fingern/Händen bedient werden.
  • 'Anschlagdynamik': Die Oberfläche reagiert nicht nur auf die Position von Berührungen, sondern auch auf den Anpressdruck.
  • 'Theremin'-Modus: Mittels einer Reihe von IR-LEDs und -Sensoren kann man berührungslos 'in der Luft' spielen.
• Erweiterung der Open-Source-Software vom reactable:
  • 'Spielzeug'-Modus im Stil von Elektroplankton, Tenori-On -- Vorkenntnisse in Musiktheorie oder Erfahrung mit elektronischen Instrumenten sind nicht erforderlich, um innerhalb von Minuten ästhetisch ansprechende Musik zu machen.
  • 'PC'-Modus: Statt unserer speziellen Hardware läuft die Software auch mit einem Grafiktablett, einem MIDI-Controller, einer Wii-Remote, oder einfach mit der Maus. Musiker/Interessierte, die sich das Gerät vom Metalab ausborgen wollen (dies möglichst jederzeit zu ermöglichen ist ausdrücklich geplant!), können zuvor schon mal am eigenen PC experimentieren und sich Patches/Presets zusammenstellen, damit sie dann am Gerät sofort loslegen können.
  • MIDI- und OSC-Schnittstellen (wahrscheinlich über Ethernet oder WLAN): Damit lässt sich das Gerät mit anderer Software und Hardware auf einfache Weise verbinden.

...

a collaborative system to build novel musical phrases and -structures. <it consists of a onscreen-interfface and a tangible interface.

• Face-to-Face-collaboration: The SYSTEM is intened to be used by several people at a time, con
• Networked Collaboration: The SYSTEM is working over networked per default.

Aufbau

Grundaufbau des SYSTEMS

Das SYSTEM besteht aus fünf Hauptkomponenten: dem Gerüst, den Tangibles, der Kameraeinheit, der Projektionseinheit und dem Soundserver. Diese Komponenten werdne in den folgenden Kapiteln näher erläutert:

Das Gerüst (= "der Tisch")

Das Gerüst besteht aus einem Holzgestell, das alle weiteren Komponenten trägt. Als Tischplatte (die sog. "Spielfläche") dient eine sandgestrahlte Plexiglas, die einerseits durchsichtig genug ist, um aufliegende Tangibles mit einer Kamera zu identifizieren, anderseits als Projektionsfläche für die Projektionseinheit dient.

Eine Konstruktion von 120cm Höhe, 80cm Breite und 80 Tiefe ist geplant. Innerhalb Gerüsts werden alle weiteren Komponenten (mit ausnahme der Tangibles) montiert. Das Gerüst wird mit Plastikplatten verschalt.

Die Tangibles

Sechs verschiedene Amobea-Fiduicals

Ein Tangible mit aufgedruckten Fiduicals

Tangibles bestehen aus Holz- oder Acrylblöcken, auf deren Unterseite Muster (die sog. 'Fiduicals', siehe Abbildung) aufgedruckt sind. Diese Fiduicals entspringen der Graphentheorie und sind von Maschinen optisch einfach zu erkennen. Über 200 Kominationen dieser Fiduicals sind möglich, aber das SYSTEM wird 'nur' über ~20 verschiedene Tangibles verfügen. Jedes Tangible wird eine Komponente eines eletronischen Synthisizers repräsentieren (z.B. LFOs, Sinewave-, Trianglewave-, Sawtoothwavegeneratoren, Metronome, Voice, Samples, Sequencer, Trigger, Volume, Tonealizer, ..). Die Positionen, Rotationen und - vor allem - die Kombinationen der Tangibles auf der Spielfläche bestimmen letzendlich die erzeugten Töne und Musikstücke.

Alle auf der Spielfläche liegenden Tangibles werden mithilfe der Projektionseinheit mit zusätzlichen - graphischen oder textuellen - Steuerelementen und Statusinformationen angereichert werden, ähnlich den Tangibles des audiopad oder des reactables.

Die Kameraeinheit

Von der Kameraeinheit auf der Spielfläche erkannte Fiduicals (reacTIVision)

• Input: Optisch Informationen über Position/Rotation der Tangibles
• Output: OSC-Informationen (Positionsangaben der Fiducials) an Sound- und Projektionsserver

Die Kameraeinheit ist unterhalb der Spielfläche angebracht und erkennt mittels einer hochauflösenden Kamera die Anzahl, Position und Rotation auf der Spielfläche liegenden Tangibles in Echtzeit. Die Kameraeinheit wandelt diese Informationen in Statusinformationen (das sog. 'OSC'-Protokoll) um und sendet diese an die Sound- und die Projektionseinheit.

Die hierfür verwendete Software ist reacTIVision (siehe http://sourceforge.net/projects/reactivision/). reactTIVision ist unter einer Open Source Lizenz erhältlich und beinhält bereits alle Funktionen die in der Kameraeinheit des SYSTEMS benötigt werden.

Der Projektionseinheit

Tangibles mit Statusinformationen (reactable)

Echtzeit-Visualisierung in CLAM (CLAM Networkeditor)

• Input: OSC-Informationen (von Camserver)
• Output: Statusinformationen für den Musiker und die Zuseher

Die Projektionseinheit besteht aus einem handelsüblichem Videoprojektor mit Weitwinkellinse und einer Software, welche die OSC-Informationen der Kameraeinheit um zusätzliche Statusinformationen und Steuerelemente erweitert und diese auf die Unterseite der Spielfläche projiziert. Die Projektionseinheit visualisiert die Abläufe innerhalb der Soundeinheit, der "Fluss" der Schallwellen wird visualisiert. Die Projektionseinheit ist zwar theoretisch nicht notwendig für den erzeugten Sound des SYSTEMS, aber unerlässlich für das Verständnises zwischen Anordnung der Tangibles und dem erzeugtem Sound.

Eine bereits vorgefertigte Softwarelösung ist derzeit nicht erhältlich - die Software des Audiopads, des reactable oder des Lemur sind properitär und nicht frei verfügbar. Die Software der Projektionseinheit muss daher neu geschrieben werden. Als Basis wird dazu (voraussichtlich) der Network-Editor des CLAM-Frameworks ( siehe http://clam.iua.upf.edu/ ) verwendet werden. Es wird ein zeitlicher Aufwand von 4 Personenmonaten für die Modifikation der Software berechnet.

Optional: Eventuell muss die Distanz zwischen Projektor und Projektionsfläche mittels eines Spiegels künstlich verlängert werden, um die Spielfläche komplett beleuchten zu können. Weitere Experimente sind nötig.

Die Soundeinheit

Screenshot CLAM 1.2

• Input: OSC-Informationen (von Camserver)
• Output: Musik!!

Die Soundeinheit nimmt OSC-Informationen von der Kameraeinheit entgegen und wandelt diese in Töne um, welche an ein Mischpult / Lautsprechern/Kopfhörer weitergegeben werden können. Die Soundeinheit wird voraussichtlich ebenfalls auf dem CLAM-framework (siehe http://clam.iua.upf.edu/ ) basieren, welches das OSC-Protokoll versteht und unter einer OpenSource-Lizenz verfügbar ist.

Es ist wichtig, dass die Soundeinheit und die Projektionseinheit über die gleichen informationen verfügungen und nach den gelichen Algorithmen arbeiten, sodass Visuelle und accoustischer Output einander entsprechen. Vorausichtlich wird die auf CLAM basierende Software die Funktionen der Soundeinheit und der Projektionseinheit vereinen. Weitere Experimente zur Bestimmung der Fähigkeiten des CLAM-Frameworks sind hier vonnöten.

Verwendung d. Fördergelder

Damit das Gerät fix-und-fertig den zahlreichen Interessierten zur Verfügung gestellt werden kann, ist es unumgänglich, (mindestens) einen guten Videoprojektor und einen halbwegs leistungsfähigen Computer anzuschaffen und die Konstruktion ziemlich stabil auszuführen.

TODO: Genauer Finanzplan ...

Software

Priorität	Anzahl	Beschreibung	Preis pro Stück
1	4	Ableton Live 7 (Download)	419
3	1	Max/MSP (downloadable)	495 $
4	1	Jitter (downloadable)	395 $

Weiterführende Links:
http://shopping.netsuite.com/s.nl/c.365211/sc.2/category.2/.f

Hardware

Priorität	Anzahl	Beschreibung	Preis pro Stück
1	2	BenQ MP721c DLP (9J.06J77.B5E))	749,--
1	2	Unibrain Fire-i XGA (Firewire BW/IR Webcam)	~ 250,--
1	2	Cheap Dual-Core PC	200,--
5	1	TERRATEC Aureon 7.1 FireWire / M-Audio Audiophile Firewire	~ 200

Weiterführende Links:
http://www.alliedvisiontec.de/avt-produkte/firewire-kameras/guppy/f-080-b-bs-c.html
http://www.ptgrey.com/products/fireflymv/index.asp
http://www.unibrain.com/Products/VisionImg/boardXGA.htm

Baumaterial

Priorität	Anzahl	Beschreibung	Preis pro Stück
1	1	IR Illuminator	~ 40
1	1	IR Light filters	~ 40
1	1	Transparentpapier	~ 25
1	2	Acrylplatte, sandgestrahlt, 80x80cm	225
1	8	Plastikplatten zum Verschalen, 120x80cm	~ 20
2	2	Spiegel 50x50	~ 25
1	25	Holzleisten für Holzrahmen	~ 5
1	25	Schrauben, Winkel, Leim	~ 1

Sonstiges

Priorität	Anzahl	Beschreibung	Preis pro Stück
2	1	Webserver, Domain für Projektwebseite, Blog, Forum (pro Jahr)	~ 120
2	1	Flyer für erstes Konzert ()	~ 200
2	1	Bedruck	~ 100

Querverbindungen zu anderen Projekten aus der Szene

Künstler

• Björk, http://www.bjork.com/
  • The very futuristic ReacTable is to be used by Bjork on her “Volta” tour.
• Daft Punk, http://www.myspace.com/daftpunk
  • Long time Lemur users, the world famous human robots played with Kanye West during the 50th Grammy Awards to perform the hit "Stronger". They appeared on stage with nothing more than four Lemurs.

Technologien

• audiopad, http://www.jamespatten.com/audiopad
  • Audiopad is a composition and performance instrument for electronic music which tracks the positions of objects on a tabletop surface and converts their motion into music.

• mtc MultiTouchConsole, http://www.multi-touch.de/
  • The c-base MultiTouchConsole mtc is a completely self-contained, touch-sensitive table built in spare time by a group of c-base members. A projector in the table displays an image on the table surface and an infrared-sensitive camera is used to track positions of fingers touching it.

• Lemur, http://www.jazzmutant.com/lemur_overview.php
  • The Lemur is a top of the range control surface for audio and media applications, that breaks from the prior art on several grounds. Its major innovation consists in its brilliant modular graphic interface concept and its exclusive multitouch sensor technology.

• reactable, http://mtg.upf.es/reactable
  • The reactable is a tangible electronic musical instrument that allows expressive collaborative live performances for professional musicians without the limits of many screen-based interfaces for electronic music.

• cool - circular optical object locator, http://ccrma.stanford.edu/~dmerrill/250a
  • The Circular Optical Object Locator is a collaborative and cooperative music-making device. It uses an inexpensive digital video camera to observe a rotating platter.

• interactive surround sound (ISS) cube, http://www.somethingonline.org/index.php?main=done⊂=iss_cube
  • The ISS cube is a surround sound mixer that tracks the position of several physical objects on a tabletop surface to provide the user with an intuitive way of creating a non-linear soundscape.

• instant city, http://www.instantcity.ch
  • Instant city, ein elektronischer musik bau spiel automat, is a music building game table.

• ConDio, http://media.aau.dk/~gtal05/condioProject.html
  • An Interactive Sound Effect Mixer that tracks Color & Movevent through Computer Vision and allows the Manipulation of various Audio Samples.

• Hap Hep Hip Hop, http://www.guillermolorenzo.es/gles/otros/hap.html
  • Interactive audio-visual intallation. where the players can modify sound by placing pucks on virtual tracks on two tables.

• chessynthesis, http://chessynthesis.maniaxmemori.net/
  • Chessynthesis is a performance project. It consists in a classical chess game, with a chessboard and 32 pieces, but a captation system analyzes the position and the evolution of the gameplay, and transcode it to sound.

Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird? ...

Publikationen

• CLAM: An OO Framework for Developing Audio and Music Applications (2002)
  • http://citeseer.ist.psu.edu/amatriain02clam.html
• reacTIVision: A Computer-Vision Framework for Table-Based Tangible Interaction (2007)
  • http://reactable.iua.upf.edu/pdfs/reactivision_tei2007.pdf
• The reacTable: Exploring the Synergy between Live Music Performance and Tabletop Tangible Interfaces (2007)
  • http://reactable.iua.upf.edu/pdfs/reactivision_tei2007.pdf
• FMOL zum Nachlesen (2005)
  • http://www.iua.upf.edu/mtg/publications/PhD2005-sjorda.pdf
• The Design and Evolution of Fiducials for the reacTIVision System (2005)
  • http://reactable.iua.upf.edu/pdfs/reactivision_3rditeration2005.pdf
• TUIO - A Protocol for Table Based Tangible User Interfaces (2005)
  • http://reactable.iua.upf.edu/pdfs/GW2005-KaltenBoverBencinaConstanza.pdf
• Sonigraphical Instruments: From FMOL to the reacTable (2003)
  • http://reactable.iua.upf.edu/pdfs/nime03-jorda.pdf

- Link: James Patten / Audiopad: http://www.jamespatten.com/audiopad/ - Max/MSP: http://www.cycling74.com/products/maxmsp

Zeitplan

...