Einreichung Netzkultur 2008-1 Reactable

aus Metalab Wiki, dem offenen Zentrum für meta-disziplinäre Magier und technisch-kreative Enthusiasten.
Zur Navigation springenZur Suche springen

Daten

Projekt/Einrichtungsname: Metangible (nein, das ist nicht schon der Name,
    sondern 'to be announced' :-)
Einreichung bei: Netzkunst/Netzkultur/Einrichtung/Annual Convention
Einreichende(r): Joh Sperlhofer & Friends
Fördersumme: xxx EUR


intern: Diskussion Namen

  • Das SYSTEM: Platzhalter für den endgültigen Namen des Tisches.
  • namensvorschläge für das SYSTEM:
    • metangible - Kombination von Meta und Tangibles. Klingt nett, aber sonst sehr unaussagekräftig.
    • Orchestr: Web2.0, und "chest" .. ist ja ne fette Kiste. :)


Kurzbeschreibung

SYSTEM - a tangible multi-user electro-acoustic musical instrument

The Instrument is based on symbols as representations of synthetic musical moduls like Generators, filters, LFOs, and many other objects, typically found on modern analog synthesizer.

Was genau machen eigentlich die Elektronik-Musiker, die sich auf der Bühne hinter ihren Notebooks verschanzen und irgendwelches unsichtbares Zeug anklicken? Es ist ein großes Mysterium. Wir machen dem Versteckspiel ein Ende und bauen eine große (1 bis 2 qm), physische Benutzeroberfläche, die jeder begreifen und be-greifen kann. Mehrere Mitspieler können sich um den Tisch versammeln und kollaborativ Musik erschaffen; die graphische Benutzerschnittstelle ist intuitiv, anschaulich und hübsch, und dient als Visualisierung zu den Klängen. ...


Modules

Basic:

  • Output: Entspricht dem ausgegebenen Sound. Eine Art Mikrophon sozusagen.


Generators

  • Generators a squares
  • All Generators act als Sound-Generator if connected directly to the output, but can be used to trigger (and temporarely mute) the soundstream between the Interval of [0,1]. Rotation determines speed, distances to Output etermines Amplitude.
  • Volumen can be controlled by a contextual touchmenu.
  • Sine Wave: Generates Sinewaves.
  • Square: Generates Square-waves. The contextual Menu acts as a 12-Step sequencer.
  • Triangle:Generates Triagle-Waves.
  • Sawtooth: Generates Sawtooth-Waves.

Samples

  • Samples: Several Samples will be included. Those Samples are reloadable for every Song. Rotation determinate the Speed (forward and backward, logarithmic [-ulimited, unlimited]

Filterns

  • Filters are printed on rounded squares.
  • Resonance Filter:

Controllers

  • Controllers are printed on circles
    • low-frequency oscillator (LFO): Closer means bigger amplitude.
    • triggers:

Effects

  • Tonality: Sets tonality. Modulates the generators to basic Whole- ore halftones. Has a global effect on everything.
  • Metronome:Triggers generators that are in range. Works like a watch hand. The speed is controlled by rotation, the range is be controlled by a contextual touchmenu.
  • Radar: Triggers generators that are in range. Sends out circular waves that are muting/triggering generators. The speed is controlled by rotation, the range is be controlled by a contextual touchmenu.

Ausführliche Beschreibung

  • Weiterentwicklung von Audiopad, reactable, Lemur.
  • Neue Interaktionsmöglichkeiten; z.B. eine (oder mehrere) von den Folgenden:
    • Kombination von Multi-Touch- und haptischem Interface: kann sowohl mit Objekten, die visuelle Marker haben, als auch mit den Fingern/Händen bedient werden.
    • 'Anschlagdynamik': Die Oberfläche reagiert nicht nur auf die Position von Berührungen, sondern auch auf den Anpressdruck.
    • 'Theremin'-Modus: Mittels einer Reihe von IR-LEDs und -Sensoren kann man berührungslos 'in der Luft' spielen.
  • Erweiterung der Open-Source-Software vom reactable:
    • 'Spielzeug'-Modus im Stil von Elektroplankton, Tenori-On -- Vorkenntnisse in Musiktheorie oder Erfahrung mit elektronischen Instrumenten sind nicht erforderlich, um innerhalb von Minuten ästhetisch ansprechende Musik zu machen.
    • 'PC'-Modus: Statt unserer speziellen Hardware läuft die Software auch mit einem Grafiktablett, einem MIDI-Controller, einer Wii-Remote, oder einfach mit der Maus. Musiker/Interessierte, die sich das Gerät vom Metalab ausborgen wollen (dies möglichst jederzeit zu ermöglichen ist ausdrücklich geplant!), können zuvor schon mal am eigenen PC experimentieren und sich Patches/Presets zusammenstellen, damit sie dann am Gerät sofort loslegen können.
    • MIDI- und OSC-Schnittstellen (wahrscheinlich über Ethernet oder WLAN): Damit lässt sich das Gerät mit anderer Software und Hardware auf einfache Weise verbinden.

...


a collaborative system to build novel musical phrases and -structures. <it consists of a onscreen-interfface and a tangible interface.

  • Face-to-Face-collaboration: The SYSTEM is intened to be used by several people at a time, con
  • Networked Collaboration: The SYSTEM is working over networked per default.


Aufbau

Grundaufbau des SYSTEMS

Das SYSTEM besteht aus fünf Hauptkomponenten: Das Gerüst, die Tangibles, die Kameraeinheit, die Projektionseinheit und dem Soundserver.

Das Gerüst (= "der Tisch")

Das Gerüst besteht aus einem Holzgestell, das alle weiteren Komponenten trägt. Als Tischplatte (=Projektionsfläche) dient eine sandgestrahlte Plexiglas, die über die halbdurchlässigen eigenschaften verfügt, die benötigt werden. Eine Konstruktion von 120cm Höhe, 80cm Breite und 80 Tiefe ist geplant. Innerhalb Gerüsts werden alle weiteren Komponenten (mit ausnahme der Tangibles) montiert. Das Gerüst wird mit Plastikplatten verschalt.

Die Tangibles

Sechs verschiedene Amobea-Fiduicals

Tangibles bestehen aus Holz- oder Acrylblöcken, auf deren Unterseite Fiduicals aufgedruckt sind. Diese Fiduicals (siehe Abbildung) entspringen der Graphentheorie und sind optisch leicht von Maschinen zu erfassen. Die Bewegung, Position und Kombination der Tangibles auf der Plexiglasplatte bestimmt letzendlich die erzeugten Töne.


Die Kameraeinheit

Screenshot reacTIVision: Fiducals gesehen von der Kameraeinheit
  • Input: Optisch Informationen über Position/Rotation der Tangibles
  • Output: OSC-Informationen (Positionsangaben der Fiducials) an Sound- und Projektionsserver

Die Kameraeinheit ist unterhalb der Plexiglasplatte angebracht und erkennt mittels der hochaufläsenden Firewire-Kamera die Anzahl, Positionen und Rotationen der Tangibles in Echtzeit. Die Kameraeinheit wandelt diese Informationen in das OSC-Protokoll um und sendet diese an die Soundeinheit und die Projektionseinheit.

Die hierfür verwendete Software ist reacTIVision (siehe http://sourceforge.net/projects/reactivision/). reactivision ist unter einer Open Source Lizenz erhältlich und beinhält bereits alle Funktionen die benötigt werden.

Der Projektionseinheit

Tangibles mit Statusinformationen
  • Input: OSC-Informationen (von Camserver)
  • Output: Statusinformationen für den Musiker und die Zuseher

Die Projektionseinheit besteht aus einem handelsüblichem Videoprojektor mit einer Weitwinkellinse und einer Software, welche die OSC-Informationen der Kamera optisch wiedergibt und um zusätzliche Statusinformationen erweitert. Die Projektionseinheit projeziert diese Graphiken an die Unterseite der Acrylplatte. Die Projektionseinheit ist zwar theoretisch nicht notwendig für den erzeugten Sound des SYSTEMS, aber unerläslich für das Verständnises zwischen Anordnung der Tangibles und dem erzeugtem Sound.

Eine geeignete Softwarelösung ist noch nicht vorhanden - die Software-Applikationen von Audipad, dem reactable und dem lemur sind properitär und nicht verfügbar. Die Software der Projektionseinheit muss daher von Grund auf neu geschrieben werden. Es wird ein zeitlicher Aufwand von 4 Personenmonaten für die Erstellung dieser Software berechnet.

Die Projektionseinheit visualisiert die Abläufe innerhalb der Soundeinheit.

Optional: Eventuell muss die Distanz zwischen Projektor und Projektionsfläche mittels eines Spiegels künstlich verlängert werden, um die Pleyiglasplatte komplett beleuchten zu können. Weitere Experimente sind nötig.

Die Soundeinheit

Screenshot CLAM 1.2
  • Input: OSC-Informationen (von Camserver)
  • Output: Musik!!

Die Soundeinheit nimmt OSC-Informationen von der Kameraeinheit entgegen und wandelt diese in Töne um, welche an ein Mischpult / Lautsprechern/Kopfhörer weitergegeben werden können. Die Soundeinheit wird voraussichtlich auf CLAM (siehe http://clam.iua.upf.edu/ ) basieren, welches das OSC-Protokoll versteht und unter einer OpenSource-Lizenz verfügbar ist.

Verwendung d. Fördergelder

Damit das Gerät fix-und-fertig den zahlreichen Interessierten zur Verfügung gestellt werden kann, ist es unumgänglich, (mindestens) einen guten Videoprojektor und einen halbwegs leistungsfähigen Computer anzuschaffen und die Konstruktion ziemlich stabil auszuführen.

TODO: Genauer Finanzplan ...

Software

Anzahl Beschreibung Preis pro Stück
1 4 Ableton Live 7 (Download) 419
3 1 Max/MSP (downloadable) 495 $
4 1 Jitter (downloadable) 395 $
Weiterführende Links:
http://shopping.netsuite.com/s.nl/c.365211/sc.2/category.2/.f

Hardware

Anzahl Beschreibung Preis pro Stück
1 2 BenQ MP721c DLP (9J.06J77.B5E)) 749,--
1 2 Unibrain Fire-i XGA (Firewire BW/IR Webcam) ~ 250,--
1 2 Cheap Dual-Core PC 200,--
5 1 TERRATEC Aureon 7.1 FireWire / M-Audio Audiophile Firewire ~ 200
Weiterführende Links:
http://www.alliedvisiontec.de/avt-produkte/firewire-kameras/guppy/f-080-b-bs-c.html
http://www.ptgrey.com/products/fireflymv/index.asp
http://www.unibrain.com/Products/VisionImg/boardXGA.htm

Baumaterial

Anzahl Beschreibung Preis pro Stück
1 1 IR Illuminator ~ 40
1 1 IR Light filters ~ 40
1 1 Transparentpapier ~ 25
1 2 Acrylplatte, sandgestrahlt, 80x80cm 225
1 8 Plastikplatten zum Verschalen, 120x80cm ~ 20
2 2 Spiegel 50x50 ~ 25

Sonstiges

Priorität Anzahl Beschreibung Preis pro Stück
2 1 Webserver, Domain für Projektwebseite, Blog, Forum (pro Jahr) ~ 120
2 1 Flyer für erstes Konzert () ~ 200
2 1 Bedruck ~ 100

Querverbindungen zu anderen Projekten aus der Szene

Künstler

  • Björk, http://www.bjork.com/
    • The very futuristic ReacTable is to be used by Bjork on her “Volta” tour.
  • Daft Punk, http://www.myspace.com/daftpunk
    • Long time Lemur users, the world famous human robots played with Kanye West during the 50th Grammy Awards to perform the hit "Stronger". They appeared on stage with nothing more than four Lemurs.

Technologien

  • audiopad, http://www.jamespatten.com/audiopad
    • Audiopad is a composition and performance instrument for electronic music which tracks the positions of objects on a tabletop surface and converts their motion into music.
  • reactable, http://mtg.upf.es/reactable
    • The reactable is a tangible electronic musical instrument that allows expressive collaborative live performances for professional musicians without the limits of many screen-based interfaces for electronic music.
  • cool - circular optical object locator, http://ccrma.stanford.edu/~dmerrill/250a
    • The Circular Optical Object Locator is a collaborative and cooperative music-making device. It uses an inexpensive digital video camera to observe a rotating platter.
  • instant city, http://www.instantcity.ch
    • Instant city, ein elektronischer musik bau spiel automat, is a music building game table.
  • chessynthesis, http://chessynthesis.maniaxmemori.net/
    • Chessynthesis is a performance project. It consists in a classical chess game, with a chessboard and 32 pieces, but a captation system analyzes the position and the evolution of the gameplay, and transcode it to sound.
  • Lemur, http://www.jazzmutant.com/lemur_overview.php
    • The Lemur is a top of the range control surface for audio and media applications, that breaks from the prior art on several grounds. Its major innovation consists in its brilliant modular graphic interface concept and its exclusive multitouch sensor technology.

Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird? ...



- FMOL zum Nachlesen: http://www.iua.upf.edu/mtg/publications/PhD2005-sjorda.pdf - Link: James Patten / Audiopad: http://www.jamespatten.com/audiopad/ - Max/MSP: http://www.cycling74.com/products/maxmsp

Zeitplan

...