Einreichung Netzkultur 2008-1 Reactable: Unterschied zwischen den Versionen

aus Metalab Wiki, dem offenen Zentrum für meta-disziplinäre Magier und technisch-kreative Enthusiasten.
Zur Navigation springenZur Suche springen
 
(165 dazwischenliegende Versionen von 4 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
 +
=BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN! =
 +
 +
 +
http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER
 +
 
== Daten ==  
 
== Daten ==  
−
  Projekt/Einrichtungsname: '''TBA''' (nein, das ist nicht schon der Name,
+
  Projekt/Einrichtungsname: '''Performancer'''
−
    sondern 'to be announced' :-)
+
  Einreichung bei: '''Netzkultur'''
−
  Einreichung bei: '''Netzkunst/Netzkultur/Einrichtung/Annual Convention'''
 
 
  Einreichende(r): '''Joh Sperlhofer & Friends'''
 
  Einreichende(r): '''Joh Sperlhofer & Friends'''
 
  Fördersumme: '''xxx EUR'''
 
  Fördersumme: '''xxx EUR'''
  
 
== Kurzbeschreibung ==
 
== Kurzbeschreibung ==
−
Was genau machen eigentlich die Elektronik-Musiker, die sich auf der Bühne hinter ihren Notebooks verschanzen und irgendwelches unsichtbares Zeug anklicken? Es ist ein großes Mysterium. Wir machen dem Versteckspiel ein Ende und bauen eine große (1 bis 2 qm), physische Benutzeroberfläche, die jeder begreifen und be-greifen kann. Mehrere Mitspieler können sich um den Tisch versammeln und kollaborativ Musik erschaffen; die graphische Benutzerschnittstelle ist intuitiv, anschaulich und hübsch, und dient als Visualisierung zu den Klängen.
+
 
−
...
+
Was genau machen eigentlich die Musiker, die sich auf der Bühne hinter Notebooks verschanzen und dort für das Publikum unsichtbares Zeug anklicken? Wir machen dem Versteckspiel ein Ende und dokumentieren (und bauen) ein elektronisches Musikinstrument mit einer haptische Benutzeroberfläche, die jeder begreifen kann.
  
 
== Ausführliche Beschreibung ==
 
== Ausführliche Beschreibung ==
−
* Weiterentwicklung von [http://www.jamespatten.com/audiopad/ Audiopad], [http://reactable.iua.upf.edu/ reactable], [http://www.jazzmutant.com/lemur_overview.php Lemur].
 
−
* Neue Interaktionsmöglichkeiten; z.B. eine (oder mehrere) von den Folgenden:
 
−
** Kombination von Multi-Touch- und haptischem Interface: kann sowohl mit Objekten, die visuelle Marker haben, als auch mit den Fingern/Händen bedient werden.
 
−
** 'Anschlagdynamik': Die Oberfläche reagiert nicht nur auf die Position von Berührungen, sondern auch auf den Anpressdruck.
 
−
** 'Theremin'-Modus: Mittels einer Reihe von IR-LEDs und -Sensoren kann man berührungslos 'in der Luft' spielen.
 
−
* Erweiterung der Open-Source-Software vom reactable:
 
−
** 'Spielzeug'-Modus im Stil von [http://en.wikipedia.org/wiki/Electroplankton Elektroplankton], [http://www.global.yamaha.com/tenori-on/ Tenori-On] -- Vorkenntnisse in Musiktheorie oder Erfahrung mit elektronischen Instrumenten sind nicht erforderlich, um innerhalb von Minuten ästhetisch ansprechende Musik zu machen.
 
−
** 'PC'-Modus: Statt unserer speziellen Hardware läuft die Software auch mit einem Grafiktablett, einem MIDI-Controller, einer Wii-Remote, oder einfach mit der Maus. Musiker/Interessierte, die sich das Gerät vom Metalab ausborgen wollen (dies möglichst jederzeit zu ermöglichen ist ausdrücklich geplant!), können zuvor schon mal am eigenen PC experimentieren und sich Patches/Presets zusammenstellen, damit sie dann am Gerät sofort loslegen können.
 
−
** MIDI- und OSC-Schnittstellen (wahrscheinlich über Ethernet oder WLAN): Damit lässt sich das Gerät mit anderer Software und Hardware auf einfache Weise verbinden.
 
−
...
 
  
 +
* '''PERFORMANCER: ein kollaboratives Musikinstrument mit haptischer Benutzeroberfläche'''
 +
 +
[[Bild:Kaltenbrunner.jpg|thumb|200px|Martin Kaltenbrunner auf einem reactable]]
 +
[[Bild:Jazzmutant lemur2.jpg|thumb|200px|Jazzmutant Lemur(r)]]
 +
[[Bild:Audiopad-Composer large.jpg|thumb|200px|Audiopad Composer]]
 +
 +
Der PERFORMANCER hat die Form eines Tisches. Die 'Tischplatte' ist dabei die Benutzeroberfläche, auf der Kunststoff-Blöcke (die sog. 'Tangibles') beliebig angeordnet werden. Die Tangibles reagieren - abhängig von ihrer Position - aufeinander und erzeugen musikalische Phrasen. Der PERFORMANCER registriert viele Tangibles gleichzeitig; dies ermöglicht eine intuitivere und direktere Manipulation des Gehörten. Die Bedienung des PERFORMANCERs ist spielerisch und intutiv erlernbar, die erzeugten musikalischen Strukturen, Phrasen und Klänge sind aber durchaus komplex und auch für erfahrene Musiker anspechend. Durch Videoprojektionen auf die Benutzeroberfläche werden die erstellten Töne nachvollziehbar. Software zur Bild- und Mustererkennung nach dem neuesten Stand der Technik wird eingesetzt, um die grafische Darstellung mi den Tangibles in Übereinstimmung zu bringen. 
 +
 +
Zwar gibt es bereits einige Instrumente dieser Art, allerdings sind diese großteils prototypischer Natur und schlecht dokumentiert. Die wenigen kommerziell erhältlichen sind einerseits sehr teuer (''Jazzmutant Lemur: Basisversion 2500 €, reactable Basisversion: 6500 €''), andererseits ist die eingesetzte Software ist nicht frei erhältlich.
 +
 +
Ziel des PERFORMANCERs ist daher, den gesamten Quellcode sowie eine umfangreiche Dokumentation zu veröffentlichen und mehrere Workshops zum Thema 'Haptische Musikinstrumente' abzuhalten. Dies ermöglicht Interessierten Musikern/Forschern/Künstlern (kombatible) Nachbauten und gewährleistet, dass die verwendeten Softwareteile und Baupläne konstant verbessert werden können.
 +
 +
Das Projekt PERFORMANCER ist der erste Schritt hin zu einem offenen, kollaborativen, elektronischem Musikinstrument mit haptischen Steuerelementen.
 +
 +
 +
=BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN! =
 +
 +
 +
http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER
 +
 +
 +
=== Einleitende Videos ===
 +
 +
Folgende Videos vermitteln einen Eindruck von bereits umgesetzen Projekten und deren Fähigkeiten:
 +
 +
* [http://de.youtube.com/watch?v=lxAD1QIv_dw Demo-Video zu 'Audiopad'] (MIT,  [http://www.jamespatten.com/audiopad/ homepage])
 +
* [http://www.youtube.com/watch?v=0h-RhyopUmc Demo-Video zu 'reactable'] (UPF research, [http://reactable.iua.upf.edu/ homepage])
 +
* [http://www.youtube.com/watch?v=59JFTisR-oc Demo-Video zu 'Lemur'] (Jazzmutant, ([http://www.jazzmutant.com/lemur_overview.php homepage])
 +
* [http://de.youtube.com/watch?v=bUyOXjAnhpY Demo-Video zu 'mtc'] (c-base, [http://www.multi-touch.de/ homepage])
 +
 +
Im Anhang befinden sich Informationen zu weiteren ähnliche Projekte mit ausführlichen Informationen und zugehörigen Links.
 +
 +
=== Ziele ===
 +
* '''Aufbau''' eines eletronischen Musikinstruments mit haptischen Steuerelementen, Weiterentwicklung basierend auf Erfahrungen und Konzepten von [http://www.jamespatten.com/audiopad/ Audiopad], [http://reactable.iua.upf.edu/ reactable], [http://www.jazzmutant.com/lemur_overview.php Lemur], [http://www.multi-touch.de/ MultiTouchConsole] und diversen anderen (siehe Anhang)
 +
* '''Veröffentlichung''' aller Pläne, Skizzen und Software im Internet um kompatible Nachbauten anzutreiben
 +
* Abhaltung von mindestens drei '''Workshops''' zum Aufbau und Programmierung des PERFORMANCERs für Interessierte im Metalab Wien.
 +
* Aufbau einer aktiven (Web)'''Community''' rund um den PERFORMANCER und ähnliche Musikinstrumente.
 +
* ein '''öffentlicher Auftritt''' mit dem fertigen Instrument vor Publikum
 +
* '''Zuführung''', Verwaltung und Zurverfügungstellung des fertigen Instruments an eine/n '''Institution/Verein''' mit Sitz in Wien.
 +
 +
=== Prinzipien ===
 +
Grundlegende Prinzipen, auf denen das SYSTEM basieren wird:
 +
 +
* '''Live''' - Die erzeugten Klänge entstehen in Echtzeit und ohne (sichtbare) Zwischenschritte.
 +
* '''Intuitiv''' - Die Bedienung soll selbst ohne Vorwissen möglich sein - Handbuch nicht nötig!
 +
* '''Komplex''' (statt kompliziert) - Das SYSTEM kann nicht nur als Spielzeug eingesetzt werden, sondern soll hohen musikalischen Ansprüchen genügen und der Kreativität der Musiker möglichst keine Grenzen setzen.
 +
* '''Open Source''' - Wir verwenden und entwickeln Software, die frei verfügbar, einsehbar, veränderbar und verwendbar ist. Sämtliche Baupläne werden ebenfalls unter einer freien Lizenz veröffentlicht.
 +
* '''Kollaborativ''' - Das SYSTEM kann von mehreren Musikern gleichzeitig bedient werden.
 +
* '''Vernetzt''' -  Mehrere SYSTEME können über Netzwerke (LAN, Internet) über standardisierte Protokolle (OSC, MIDI, TUIO, ...) untereinander und mit anderen Geräten/Instrumenten/Andwendungen verbunden werden und interagieren.
 +
* '''Kosteneffizient''' - Es wird angestrebt, die günstigeste brauchbare Alternative (Baumaterial, Software, Hardware) zu verwenden.
 +
* '''Mobil''' - Das SYSTEM lässt sich mit vertretbarem Aufwand transportieren.
 +
 +
 +
=== Aufbau ===
 +
[[Bild:Grundaufbau-table.png|thumb|200px|Grundaufbau des SYSTEMS]]
 +
Das SYSTEM besteht aus fünf Hauptkomponenten: dem Gerüst, den Tangibles, der Kameraeinheit, der Projektionseinheit und dem Soundserver. Diese Komponenten werden in den folgenden Abschnitten näher erläutert:
 +
 +
==== Das Gehäuse (= "der Tisch") ====
 +
[[Bild:Inside-Box.jpg|thumb|200px|Prototypischer Plan des Gehäuses]]
 +
Das Gehäuse besteht aus einem Holzrahmen, der alle weiteren Komponenten trägt. Als Tischplatte (die "Spielfläche") dient eine sandgestrahlte Plexiglasplatte, die als Projektionsfläche für die grafische Benutzeroberfläche dient, aber auch das Erkennen von Tangibles und Berührungen durch die unterhalb montierte Kamera ermöglicht. Eine Konstruktion von 120cm Höhe, 80cm Breite und 80 Tiefe ist geplant. Das Gerüst wird mit Kunststoff- oder Sperrholzplatten verschalt.
 +
 +
==== Die Tangibles ====
 +
[[Bild:Reactivision02.png|thumb|200px|Sechs verschiedene Amobea-Fiduicals]]
 +
[[Bild:Tangible.jpg|thumb|200px|Ein Tangible mit aufgedruckten Fiduicals]]
 +
Tangibles bestehen Acrylblöcken, auf deren Unterseite Muster (die sog. 'Fiducials', siehe Abbildung) aufgedruckt sind. Diese Fiducials sind von Maschinen optisch gut zu erkennen und unterscheiden. Jedes Tangible wird eine Komponente des Instruments repräsentieren. Die Position, Ausrichtung und  Anordnung der Tangibles auf der Spielfläche hat direkten Einfluss auf die erzeugte Musik.
 +
 +
Alle auf der Spielfläche liegenden Tangibles können mittels der Projektionseinheit mit zusätzlichen grafischen Steuerelementen und Statusinformationen angereichert werden, ähnlich den Tangibles des Audiopad oder des Reactable.
 +
 +
=BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN! =
 +
 +
 +
http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER
 +
 +
==== Die Kameraeinheit ====
 +
[[Bild:Reactivision01.png|thumb|200px|Von der Kameraeinheit auf der Spielfläche erkannte Fiduicals (reacTIVision) ]]
 +
 +
* '''Input:''' Optisch Informationen über Position/Ausrichtung der Tangibles
 +
* '''Output:''' OSC-Informationen (Positionsangaben der Fiducials) an Sound- und Projektionsserver
 +
 +
Die Kameraeinheit ist unterhalb der Spielfläche angebracht und erkennt mittels einer hochauflösenden Kamera die Anzahl, Position und Rotation auf der Spielfläche liegenden Tangibles in Echtzeit. Die Kameraeinheit wandelt diese Informationen in Statusinformationen (das sog. 'OSC'-Protokoll) um und sendet diese an die Sound- und die Projektionseinheit.
 +
 +
Die hierfür verwendete Software ist reacTIVision (siehe http://sourceforge.net/projects/reactivision/). reactTIVision ist unter einer Open Source Lizenz erhältlich und beinhält bereits alle Funktionen die in der Kameraeinheit des SYSTEMS benötigt werden.
 +
 +
==== Der Projektionseinheit ====
 +
[[Bild:1 render03.jpg|thumb|200px|prototypische Spielfläche mit Statusinformationen]]
 +
[[Bild:T1 N189 A1210 Reactable1.gif|thumb|200px|Tangibles mit Statusinformationen (reactable)]]
 +
[[Bild:NetEditQt4-PortMonitor-RealTimeChords.png|thumb|200px|Echtzeit-Visualisierung in CLAM (CLAM Networkeditor)]]
 +
* '''Input:''' OSC-Informationen (von Camserver)
 +
* '''Output:''' Statusinformationen für den Musiker und die Zuseher
 +
 +
Die Projektionseinheit besteht aus einem handelsüblichem Videoprojektor mit Weitwinkellinse und einer Software, welche die OSC-Informationen der Kameraeinheit um zusätzliche Statusinformationen und Steuerelemente erweitert und diese auf die Unterseite der Spielfläche projiziert. Die Projektionseinheit visualisiert die Abläufe innerhalb der Soundeinheit, der "Fluss" der Schallwellen wird visualisiert. Die Projektionseinheit ist zwar theoretisch nicht notwendig für den erzeugten Sound des SYSTEMS, aber unerlässlich für das Verständnis zwischen Anordnung der Tangibles und dem erzeugtem Sound.
 +
 +
Eine bereits vorgefertigte Softwarelösung ist derzeit nicht erhältlich - die Software des Audiopads, des reactable oder des Lemur sind properitär und nicht frei verfügbar. Die Software der Projektionseinheit muss daher neu geschrieben werden.  Als Basis wird dazu (voraussichtlich) der Network-Editor des CLAM-Frameworks  ( siehe http://clam.iua.upf.edu/ ) verwendet werden. Es wird ein zeitlicher Aufwand von 4 Personenmonaten für die Modifikation der Software berechnet. 
 +
 +
Optional:
 +
Eventuell muss die Distanz zwischen Projektor und Projektionsfläche mittels eines Spiegels künstlich verlängert werden, um die Spielfläche komplett beleuchten zu können. Weitere Experimente sind nötig.
 +
 +
==== Die Soundeinheit ====
 +
[[Bild:NetEditQt4-SpectralNetworkWithControlSenders.png|thumb|200px|Screenshot CLAM 1.2]]
 +
 +
* '''Input:''' OSC-Informationen (von Camserver)
 +
* '''Output:''' Musik!!
 +
 +
Die Soundeinheit nimmt OSC-Informationen von der Kameraeinheit entgegen und wandelt diese in Töne um, welche an ein Mischpult / Lautsprechern/Kopfhörer weitergegeben werden können. Die Soundeinheit wird voraussichtlich ebenfalls auf dem CLAM-framework (siehe http://clam.iua.upf.edu/ ) basieren, welches das OSC-Protokoll versteht und unter einer OpenSource-Lizenz verfügbar ist.
 +
 +
Es ist wichtig, dass die Soundeinheit und die Projektionseinheit über die gleichen informationen verfügungen und nach den gelichen Algorithmen arbeiten, sodass Visuelle und accoustischer Output einander entsprechen. Vorausichtlich wird die auf CLAM basierende Software die Funktionen der Soundeinheit und der Projektionseinheit vereinen. Weitere Experimente zur Bestimmung der Fähigkeiten des CLAM-Frameworks sind hier vonnöten.
  
−
== Verwendung d. Fördergelder ==
+
== Verwendung d. Fördergelder (veraltet, siehe EXCEL-Dokument!!!) ==
−
Damit das Gerät fix-und-fertig den zahlreichen Interessierten zur Verfügung gestellt werden kann, ist es unumgänglich, (mindestens) einen guten Videoprojektor und einen halbwegs leistungsfähigen Computer anzuschaffen und die Konstruktion ziemlich stabil auszuführen.
+
Damit das Gerät fix-und-fertig den zahlreichen Interessierten zur Verfügung gestellt werden kann, ist es unumgänglich, (mindestens) einen guten Videoprojektor und einen ausreichend leistungsfähigen Computer anzuschaffen und die Konstruktion ziemlich robust auszuführen.
  
 
TODO: Genauer Finanzplan
 
TODO: Genauer Finanzplan
 
...
 
...
 +
 +
=BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN! =
 +
 +
 +
http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER
 +
 +
=== Software ===
 +
 +
Für das SYSTEM an sich soll nur Open-Source-Software verwendet werden. Um das SYSTEM aber für möglichst viele Musiker brauchbar zu machen, sind aber auch Schnittstellen zu in der elektronsichen Musik gebräuchlichen kommerziellen Applikationen vorgesehen. Um diese zu entwickeln, könnte es nötig werden, solche Software anzuschaffen.
  
  
 
{|
 
{|
−
| Priorität | Anzahl || Beschreibung || Preis pro Stück
 
 
|-
 
|-
−
| 1 || 4 || Ableton Live 5 || 300
+
!Priorität || Anzahl || Beschreibung || Preis pro Stück
 +
|-
 +
| 3 || 2 || Ableton Live 7 (Download) || 419
 
|-
 
|-
 
| 3 || 1 || Max/MSP (downloadable)  || 495 $
 
| 3 || 1 || Max/MSP (downloadable)  || 495 $
Zeile 41: Zeile 151:
 
|}
 
|}
  
−
sdfsdf
+
Weiterführende Links:
 +
http://shopping.netsuite.com/s.nl/c.365211/sc.2/category.2/.f
 +
 
 +
=== Hardware ===
 +
 
 +
{|
 +
|-
 +
!Priorität || Anzahl || Beschreibung || Preis pro Stück
 +
|-
 +
| 1 || 2 || Beamer: BenQ MP721c DLP (9J.06J77.B5E)) || 749,--
 +
|-
 +
| 1 || 2 || Unibrain Fire-i XGA (Firewire BW/IR Webcam) || ~ 250,--
 +
|-
 +
| 1 || 1-2 || Dual-Core PC  || 600,--
 +
|-
 +
| 5 || 1 || TERRATEC Aureon 7.1 FireWire / M-Audio Audiophile Firewire || ~ 200
 +
 
 +
|}
 +
 
 +
Weiterführende Links:
 +
http://www.alliedvisiontec.de/avt-produkte/firewire-kameras/guppy/f-080-b-bs-c.html
 +
http://www.ptgrey.com/products/fireflymv/index.asp
 +
http://www.unibrain.com/Products/VisionImg/boardXGA.htm
 +
 
 +
=== Baumaterial ===
 +
 
 +
{|
 +
|-
 +
! '''Priorität''' || '''Anzahl''' || '''Beschreibung''' || '''Preis pro Stück'''
 +
|-
 +
| 1 || 1 || IR Illuminator || ~ 40
 +
|-
 +
| 1 || 1 || IR Light filters  || ~ 40
 +
|-
 +
| 1 || 1 || Transparentpapier  || ~ 25
 +
|-
 +
| 1 || 2 || Acrylplatte, sandgestrahlt, 80x80cm  || 225
 +
|-
 +
| 1 || 8 || Plastikplatten zum Verschalen, 120x80cm  || ~ 20
 +
|-
 +
| 2 || 2 || Spiegel 50x50  || ~ 50
 +
|-
 +
| 1 || 25 || Holzleisten für Holzrahmen || ~ 5
 +
|-
 +
| 1 || 25 || Schrauben, Winkel, Leim || ~ 1
 +
 
 +
 
 +
|}
 +
 
 +
=== Sonstiges ===
 +
 
 +
 
 +
{|
 +
|-
 +
! '''Priorität''' || '''Anzahl''' || '''Beschreibung''' || '''Preis pro Stück'''
 +
|-
 +
| 2 || 1 || Webserver, Domain für Projektwebseite, Blog, Forum (pro Jahr) || ~ 120
 +
|-
 +
| 2 || 1 || Bedruck || ~ 100
 +
|-
 +
 
 +
|}
  
 
== Querverbindungen zu anderen Projekten aus der Szene==
 
== Querverbindungen zu anderen Projekten aus der Szene==
 +
=== Künstler ===
 +
 +
* '''Björk''', http://www.bjork.com/
 +
** The very futuristic ReacTable is to be used by Bjork on her “Volta” tour.
 +
* '''Daft Punk''', http://www.myspace.com/daftpunk
 +
** Long time Lemur users, the world famous human robots played with Kanye West during the 50th Grammy Awards to perform the hit "Stronger". They appeared on stage with nothing more than four Lemurs.
 +
 +
=== Technologien ===
 +
* '''audiopad''', http://www.jamespatten.com/audiopad
 +
** Audiopad is a composition and performance instrument for electronic music which tracks the positions of objects on a tabletop surface and converts their motion into music.
 +
 +
*'''mtc MultiTouchConsole''', http://www.multi-touch.de/
 +
** The c-base MultiTouchConsole mtc is a completely self-contained, touch-sensitive table built in spare time by a group of c-base members. A projector in the table displays an image on the table surface and an infrared-sensitive camera is used to track positions of fingers touching it.
 +
 +
* '''Lemur''', http://www.jazzmutant.com/lemur_overview.php
 +
** The Lemur is a top of the range control surface for audio and media applications, that breaks from the prior art on several grounds. Its major innovation consists in its brilliant modular graphic interface concept and its exclusive multitouch sensor technology.
 +
 +
* '''reactable''', http://mtg.upf.es/reactable
 +
** The reactable is a tangible electronic musical instrument that allows expressive collaborative live performances for professional musicians without the limits of many screen-based interfaces for electronic music.
 +
 +
* '''cool - circular optical object locator''', http://ccrma.stanford.edu/~dmerrill/250a
 +
** The Circular Optical Object Locator is a collaborative and cooperative music-making device. It uses an inexpensive digital video camera to observe a rotating platter.
 +
 +
* '''interactive surround sound (ISS) cube''', http://www.somethingonline.org/index.php?main=done⊂=iss_cube
 +
** The ISS cube is a surround sound mixer that tracks the position of several physical objects on a tabletop surface to provide the user with an intuitive way of creating a non-linear soundscape.
 +
 +
*'''instant city''', http://www.instantcity.ch
 +
** Instant city, ein elektronischer musik bau spiel automat, is a music building game table.
 +
 +
*'''ConDio''', http://media.aau.dk/~gtal05/condioProject.html
 +
** An Interactive Sound Effect Mixer that tracks Color & Movevent through Computer Vision and allows the Manipulation of various Audio Samples.
 +
 +
* '''Hap Hep Hip Hop''', http://www.guillermolorenzo.es/gles/otros/hap.html
 +
** Interactive audio-visual intallation. where the players can modify sound by placing pucks on virtual tracks on two tables.
 +
 +
* '''chessynthesis''', http://chessynthesis.maniaxmemori.net/
 +
**Chessynthesis is a performance project. It consists in a classical chess game, with a chessboard and 32 pieces, but a captation system analyzes the position and the evolution of the gameplay, and transcode it to sound.
 +
 +
 
Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird?
 
Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird?
 
...
 
...
 +
 +
=== Publikationen ===
 +
* Faust Music On Line (FMOL): An approach to Real- time Collective Composition on the Internet  (1999)
 +
** http://www.iua.upf.es/~sergi/articles/LMJ9_99.pdf
 +
* CLAM: An OO Framework for Developing Audio and Music Applications (2002)
 +
** http://citeseer.ist.psu.edu/amatriain02clam.html
 +
* reacTIVision: A Computer-Vision Framework for Table-Based Tangible Interaction (2007)
 +
** http://reactable.iua.upf.edu/pdfs/reactivision_tei2007.pdf
 +
* The reacTable: Exploring the Synergy between Live Music Performance and Tabletop Tangible Interfaces (2007)
 +
** http://reactable.iua.upf.edu/pdfs/reactivision_tei2007.pdf
 +
* FMOL zum Nachlesen (2005)
 +
** http://www.iua.upf.edu/mtg/publications/PhD2005-sjorda.pdf
 +
* The Design and Evolution of Fiducials for the reacTIVision System (2005)
 +
** http://reactable.iua.upf.edu/pdfs/reactivision_3rditeration2005.pdf
 +
* TUIO - A Protocol for Table Based Tangible User Interfaces (2005)
 +
** http://reactable.iua.upf.edu/pdfs/GW2005-KaltenBoverBencinaConstanza.pdf
 +
* Sonigraphical Instruments: From FMOL to the reacTable (2003)
 +
** http://reactable.iua.upf.edu/pdfs/nime03-jorda.pdf
 +
 +
- Link: James Patten / Audiopad: http://www.jamespatten.com/audiopad/
 +
- Max/MSP: http://www.cycling74.com/products/maxmsp
  
 
== Zeitplan ==
 
== Zeitplan ==
−
...
 
  
 +
April
 +
  Aufbau einer Homepage mit Forum und Wiki zum Thema
 +
  Evaluierung der benötigten Software
 +
  Evaluierung der benötigten Hardware
 +
Mai-Juni
 +
  Prototypischer Aufbau von Performancers
 +
Juli-Oktober
 +
  Finaler Aufbau des Performancers
 +
  Start Modifikation der Software
 +
September
 +
Oktober
 +
November
 +
Dezember
 +
 +
== Zu den Einreichenden: Performancer Team ==
 +
<font size="1">
 +
[[Bild:Johannessperlhofer.png|left]]
 +
[mailto:johannes.sperlhofer@chello.at Johannes Sperlhofer]<br />
 +
Performancer (Projektleitung)
 +
 +
Selbstständig, geboren 1980 in Bad Ischl
 +
 +
'''Ausbildung:'''
 +
 +
seit Nov. 2005: Baccalaureatsstudium Software- & Information-Engineering, TU Wien, Baccalaureatsarbeit zum Thema: 'Arch.Diploma 2007'<br />
 +
2007: Studienassistent Gebäudelehre und Raumplanung<br />
 +
2004 – 2005: Studium Medieninformatik, Universität Wien<br />
 +
 +
'''Projekte im Kunst- und Kulturbereich:'''
 +
 +
2007: Digitaler Verfall- Veranstaltungsreihe im OHO<br />
 +
2007: Digitale Ausstellung/Werstadtk: Netz.Kunst.Werk.Stadt (Second Life)<br />
 +
2007: Digitale Ausstellung: Arch.Diploma 2007<br />
 +
2007: "Nahe Genug - Fetish in Second Life", Kunstakation des steirischen Herbst<br />
 +
2005–2007:  Diverse Vorträge zum Thema Virtuelle Welten, unter annderem auf der Technischen Universität Wien, der Wirtschaftsuniversität Wien, der Technischen Universität Graz und der APA E-Bussiness Community.
 +
 +
'''Berufliche Tätigkeiten:'''
 +
 +
Gründer pixel-orange, Dienstleistungen und Konzepte für Virtuelle Welten<br />
 +
Researcher bei eCommerce Competence Center EC3, 2004-jetzt<br />
 +
Medienproduktionen in im Bereich Musikvideos/Virtuelle Welten <br />
 +
</font>
  
−
[[Kategorie: 2008]]
+
[[Kategorie:Förderungen]]
−
[[Kategorie: Vergabe 2008-1]]
 
−
[[Kategorie: Einreichung]]
 

Aktuelle Version vom 27. August 2013, 03:11 Uhr

BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN!

http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER

Daten

Projekt/Einrichtungsname: Performancer
Einreichung bei: Netzkultur
Einreichende(r): Joh Sperlhofer & Friends
Fördersumme: xxx EUR

Kurzbeschreibung

Was genau machen eigentlich die Musiker, die sich auf der Bühne hinter Notebooks verschanzen und dort für das Publikum unsichtbares Zeug anklicken? Wir machen dem Versteckspiel ein Ende und dokumentieren (und bauen) ein elektronisches Musikinstrument mit einer haptische Benutzeroberfläche, die jeder begreifen kann.

Ausführliche Beschreibung

  • PERFORMANCER: ein kollaboratives Musikinstrument mit haptischer Benutzeroberfläche
Martin Kaltenbrunner auf einem reactable
Jazzmutant Lemur(r)
Audiopad Composer

Der PERFORMANCER hat die Form eines Tisches. Die 'Tischplatte' ist dabei die Benutzeroberfläche, auf der Kunststoff-Blöcke (die sog. 'Tangibles') beliebig angeordnet werden. Die Tangibles reagieren - abhängig von ihrer Position - aufeinander und erzeugen musikalische Phrasen. Der PERFORMANCER registriert viele Tangibles gleichzeitig; dies ermöglicht eine intuitivere und direktere Manipulation des Gehörten. Die Bedienung des PERFORMANCERs ist spielerisch und intutiv erlernbar, die erzeugten musikalischen Strukturen, Phrasen und Klänge sind aber durchaus komplex und auch für erfahrene Musiker anspechend. Durch Videoprojektionen auf die Benutzeroberfläche werden die erstellten Töne nachvollziehbar. Software zur Bild- und Mustererkennung nach dem neuesten Stand der Technik wird eingesetzt, um die grafische Darstellung mi den Tangibles in Übereinstimmung zu bringen.

Zwar gibt es bereits einige Instrumente dieser Art, allerdings sind diese großteils prototypischer Natur und schlecht dokumentiert. Die wenigen kommerziell erhältlichen sind einerseits sehr teuer (Jazzmutant Lemur: Basisversion 2500 €, reactable Basisversion: 6500 €), andererseits ist die eingesetzte Software ist nicht frei erhältlich.

Ziel des PERFORMANCERs ist daher, den gesamten Quellcode sowie eine umfangreiche Dokumentation zu veröffentlichen und mehrere Workshops zum Thema 'Haptische Musikinstrumente' abzuhalten. Dies ermöglicht Interessierten Musikern/Forschern/Künstlern (kombatible) Nachbauten und gewährleistet, dass die verwendeten Softwareteile und Baupläne konstant verbessert werden können.

Das Projekt PERFORMANCER ist der erste Schritt hin zu einem offenen, kollaborativen, elektronischem Musikinstrument mit haptischen Steuerelementen.


BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN!

http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER


Einleitende Videos

Folgende Videos vermitteln einen Eindruck von bereits umgesetzen Projekten und deren Fähigkeiten:

Im Anhang befinden sich Informationen zu weiteren ähnliche Projekte mit ausführlichen Informationen und zugehörigen Links.

Ziele

  • Aufbau eines eletronischen Musikinstruments mit haptischen Steuerelementen, Weiterentwicklung basierend auf Erfahrungen und Konzepten von Audiopad, reactable, Lemur, MultiTouchConsole und diversen anderen (siehe Anhang)
  • Veröffentlichung aller Pläne, Skizzen und Software im Internet um kompatible Nachbauten anzutreiben
  • Abhaltung von mindestens drei Workshops zum Aufbau und Programmierung des PERFORMANCERs für Interessierte im Metalab Wien.
  • Aufbau einer aktiven (Web)Community rund um den PERFORMANCER und ähnliche Musikinstrumente.
  • ein öffentlicher Auftritt mit dem fertigen Instrument vor Publikum
  • Zuführung, Verwaltung und Zurverfügungstellung des fertigen Instruments an eine/n Institution/Verein mit Sitz in Wien.

Prinzipien

Grundlegende Prinzipen, auf denen das SYSTEM basieren wird:

  • Live - Die erzeugten Klänge entstehen in Echtzeit und ohne (sichtbare) Zwischenschritte.
  • Intuitiv - Die Bedienung soll selbst ohne Vorwissen möglich sein - Handbuch nicht nötig!
  • Komplex (statt kompliziert) - Das SYSTEM kann nicht nur als Spielzeug eingesetzt werden, sondern soll hohen musikalischen Ansprüchen genügen und der Kreativität der Musiker möglichst keine Grenzen setzen.
  • Open Source - Wir verwenden und entwickeln Software, die frei verfügbar, einsehbar, veränderbar und verwendbar ist. Sämtliche Baupläne werden ebenfalls unter einer freien Lizenz veröffentlicht.
  • Kollaborativ - Das SYSTEM kann von mehreren Musikern gleichzeitig bedient werden.
  • Vernetzt - Mehrere SYSTEME können über Netzwerke (LAN, Internet) über standardisierte Protokolle (OSC, MIDI, TUIO, ...) untereinander und mit anderen Geräten/Instrumenten/Andwendungen verbunden werden und interagieren.
  • Kosteneffizient - Es wird angestrebt, die günstigeste brauchbare Alternative (Baumaterial, Software, Hardware) zu verwenden.
  • Mobil - Das SYSTEM lässt sich mit vertretbarem Aufwand transportieren.


Aufbau

Grundaufbau des SYSTEMS

Das SYSTEM besteht aus fünf Hauptkomponenten: dem Gerüst, den Tangibles, der Kameraeinheit, der Projektionseinheit und dem Soundserver. Diese Komponenten werden in den folgenden Abschnitten näher erläutert:

Das Gehäuse (= "der Tisch")

Prototypischer Plan des Gehäuses

Das Gehäuse besteht aus einem Holzrahmen, der alle weiteren Komponenten trägt. Als Tischplatte (die "Spielfläche") dient eine sandgestrahlte Plexiglasplatte, die als Projektionsfläche für die grafische Benutzeroberfläche dient, aber auch das Erkennen von Tangibles und Berührungen durch die unterhalb montierte Kamera ermöglicht. Eine Konstruktion von 120cm Höhe, 80cm Breite und 80 Tiefe ist geplant. Das Gerüst wird mit Kunststoff- oder Sperrholzplatten verschalt.

Die Tangibles

Sechs verschiedene Amobea-Fiduicals
Ein Tangible mit aufgedruckten Fiduicals

Tangibles bestehen Acrylblöcken, auf deren Unterseite Muster (die sog. 'Fiducials', siehe Abbildung) aufgedruckt sind. Diese Fiducials sind von Maschinen optisch gut zu erkennen und unterscheiden. Jedes Tangible wird eine Komponente des Instruments repräsentieren. Die Position, Ausrichtung und Anordnung der Tangibles auf der Spielfläche hat direkten Einfluss auf die erzeugte Musik.

Alle auf der Spielfläche liegenden Tangibles können mittels der Projektionseinheit mit zusätzlichen grafischen Steuerelementen und Statusinformationen angereichert werden, ähnlich den Tangibles des Audiopad oder des Reactable.

BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN!

http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER

Die Kameraeinheit

Von der Kameraeinheit auf der Spielfläche erkannte Fiduicals (reacTIVision)
  • Input: Optisch Informationen über Position/Ausrichtung der Tangibles
  • Output: OSC-Informationen (Positionsangaben der Fiducials) an Sound- und Projektionsserver

Die Kameraeinheit ist unterhalb der Spielfläche angebracht und erkennt mittels einer hochauflösenden Kamera die Anzahl, Position und Rotation auf der Spielfläche liegenden Tangibles in Echtzeit. Die Kameraeinheit wandelt diese Informationen in Statusinformationen (das sog. 'OSC'-Protokoll) um und sendet diese an die Sound- und die Projektionseinheit.

Die hierfür verwendete Software ist reacTIVision (siehe http://sourceforge.net/projects/reactivision/). reactTIVision ist unter einer Open Source Lizenz erhältlich und beinhält bereits alle Funktionen die in der Kameraeinheit des SYSTEMS benötigt werden.

Der Projektionseinheit

prototypische Spielfläche mit Statusinformationen
Tangibles mit Statusinformationen (reactable)
Echtzeit-Visualisierung in CLAM (CLAM Networkeditor)
  • Input: OSC-Informationen (von Camserver)
  • Output: Statusinformationen für den Musiker und die Zuseher

Die Projektionseinheit besteht aus einem handelsüblichem Videoprojektor mit Weitwinkellinse und einer Software, welche die OSC-Informationen der Kameraeinheit um zusätzliche Statusinformationen und Steuerelemente erweitert und diese auf die Unterseite der Spielfläche projiziert. Die Projektionseinheit visualisiert die Abläufe innerhalb der Soundeinheit, der "Fluss" der Schallwellen wird visualisiert. Die Projektionseinheit ist zwar theoretisch nicht notwendig für den erzeugten Sound des SYSTEMS, aber unerlässlich für das Verständnis zwischen Anordnung der Tangibles und dem erzeugtem Sound.

Eine bereits vorgefertigte Softwarelösung ist derzeit nicht erhältlich - die Software des Audiopads, des reactable oder des Lemur sind properitär und nicht frei verfügbar. Die Software der Projektionseinheit muss daher neu geschrieben werden. Als Basis wird dazu (voraussichtlich) der Network-Editor des CLAM-Frameworks ( siehe http://clam.iua.upf.edu/ ) verwendet werden. Es wird ein zeitlicher Aufwand von 4 Personenmonaten für die Modifikation der Software berechnet.

Optional: Eventuell muss die Distanz zwischen Projektor und Projektionsfläche mittels eines Spiegels künstlich verlängert werden, um die Spielfläche komplett beleuchten zu können. Weitere Experimente sind nötig.

Die Soundeinheit

Screenshot CLAM 1.2
  • Input: OSC-Informationen (von Camserver)
  • Output: Musik!!

Die Soundeinheit nimmt OSC-Informationen von der Kameraeinheit entgegen und wandelt diese in Töne um, welche an ein Mischpult / Lautsprechern/Kopfhörer weitergegeben werden können. Die Soundeinheit wird voraussichtlich ebenfalls auf dem CLAM-framework (siehe http://clam.iua.upf.edu/ ) basieren, welches das OSC-Protokoll versteht und unter einer OpenSource-Lizenz verfügbar ist.

Es ist wichtig, dass die Soundeinheit und die Projektionseinheit über die gleichen informationen verfügungen und nach den gelichen Algorithmen arbeiten, sodass Visuelle und accoustischer Output einander entsprechen. Vorausichtlich wird die auf CLAM basierende Software die Funktionen der Soundeinheit und der Projektionseinheit vereinen. Weitere Experimente zur Bestimmung der Fähigkeiten des CLAM-Frameworks sind hier vonnöten.

Verwendung d. Fördergelder (veraltet, siehe EXCEL-Dokument!!!)

Damit das Gerät fix-und-fertig den zahlreichen Interessierten zur Verfügung gestellt werden kann, ist es unumgänglich, (mindestens) einen guten Videoprojektor und einen ausreichend leistungsfähigen Computer anzuschaffen und die Konstruktion ziemlich robust auszuführen.

TODO: Genauer Finanzplan ...

BEREITS IM NETZNETZ-WIKI - NICHT MEHR ÄNDERN HIER! KEINE ÄNDERUNGEN HIER MEHR VORNEHMEN!

http://netznetz.net/wiki/Einreichung_Digitale_Kultur_2008-1_PERFORMANCER

Software

Für das SYSTEM an sich soll nur Open-Source-Software verwendet werden. Um das SYSTEM aber für möglichst viele Musiker brauchbar zu machen, sind aber auch Schnittstellen zu in der elektronsichen Musik gebräuchlichen kommerziellen Applikationen vorgesehen. Um diese zu entwickeln, könnte es nötig werden, solche Software anzuschaffen.


Priorität Anzahl Beschreibung Preis pro Stück
3 2 Ableton Live 7 (Download) 419
3 1 Max/MSP (downloadable) 495 $
4 1 Jitter (downloadable) 395 $ 
Weiterführende Links:
http://shopping.netsuite.com/s.nl/c.365211/sc.2/category.2/.f

Hardware

Priorität Anzahl Beschreibung Preis pro Stück
1 2 Beamer: BenQ MP721c DLP (9J.06J77.B5E)) 749,--
1 2 Unibrain Fire-i XGA (Firewire BW/IR Webcam) ~ 250,--
1 1-2 Dual-Core PC 600,--
5 1 TERRATEC Aureon 7.1 FireWire / M-Audio Audiophile Firewire ~ 200 
Weiterführende Links:
http://www.alliedvisiontec.de/avt-produkte/firewire-kameras/guppy/f-080-b-bs-c.html
http://www.ptgrey.com/products/fireflymv/index.asp
http://www.unibrain.com/Products/VisionImg/boardXGA.htm

Baumaterial

Priorität Anzahl Beschreibung Preis pro Stück
1 1 IR Illuminator ~ 40
1 1 IR Light filters ~ 40
1 1 Transparentpapier ~ 25
1 2 Acrylplatte, sandgestrahlt, 80x80cm 225
1 8 Plastikplatten zum Verschalen, 120x80cm ~ 20
2 2 Spiegel 50x50 ~ 50
1 25 Holzleisten für Holzrahmen ~ 5
1 25 Schrauben, Winkel, Leim ~ 1


Sonstiges

Priorität Anzahl Beschreibung Preis pro Stück
2 1 Webserver, Domain für Projektwebseite, Blog, Forum (pro Jahr) ~ 120
2 1 Bedruck ~ 100

Querverbindungen zu anderen Projekten aus der Szene

Künstler

  • Björk, http://www.bjork.com/
    • The very futuristic ReacTable is to be used by Bjork on her “Volta” tour.
  • Daft Punk, http://www.myspace.com/daftpunk
    • Long time Lemur users, the world famous human robots played with Kanye West during the 50th Grammy Awards to perform the hit "Stronger". They appeared on stage with nothing more than four Lemurs.

Technologien

  • audiopad, http://www.jamespatten.com/audiopad
    • Audiopad is a composition and performance instrument for electronic music which tracks the positions of objects on a tabletop surface and converts their motion into music.
  • mtc MultiTouchConsole, http://www.multi-touch.de/
    • The c-base MultiTouchConsole mtc is a completely self-contained, touch-sensitive table built in spare time by a group of c-base members. A projector in the table displays an image on the table surface and an infrared-sensitive camera is used to track positions of fingers touching it.
  • Lemur, http://www.jazzmutant.com/lemur_overview.php
    • The Lemur is a top of the range control surface for audio and media applications, that breaks from the prior art on several grounds. Its major innovation consists in its brilliant modular graphic interface concept and its exclusive multitouch sensor technology.
  • reactable, http://mtg.upf.es/reactable
    • The reactable is a tangible electronic musical instrument that allows expressive collaborative live performances for professional musicians without the limits of many screen-based interfaces for electronic music.
  • cool - circular optical object locator, http://ccrma.stanford.edu/~dmerrill/250a
    • The Circular Optical Object Locator is a collaborative and cooperative music-making device. It uses an inexpensive digital video camera to observe a rotating platter.
  • instant city, http://www.instantcity.ch
    • Instant city, ein elektronischer musik bau spiel automat, is a music building game table.
  • chessynthesis, http://chessynthesis.maniaxmemori.net/
    • Chessynthesis is a performance project. It consists in a classical chess game, with a chessboard and 32 pieces, but a captation system analyzes the position and the evolution of the gameplay, and transcode it to sound.


Ein paar Leute anschreiben und hier eine Liste von interessierten Musikern zusammenstellen, die das Gerät gerne verwenden würden? Zusammenarbeit mit Ausstellungen, in denen die neueste Iteration des 'Spielzeug'-Modus der Öffentlichkeit zum Selber-Ausprobieren zugänglich gemacht wird? ...

Publikationen

- Link: James Patten / Audiopad: http://www.jamespatten.com/audiopad/ - Max/MSP: http://www.cycling74.com/products/maxmsp

Zeitplan

April 
 Aufbau einer Homepage mit Forum und Wiki zum Thema
 Evaluierung der benötigten Software
 Evaluierung der benötigten Hardware
Mai-Juni
 Prototypischer Aufbau von Performancers
Juli-Oktober
 Finaler Aufbau des Performancers
 Start Modifikation der Software
September
Oktober
November
Dezember

Zu den Einreichenden: Performancer Team

Johannessperlhofer.png

Johannes Sperlhofer
Performancer (Projektleitung)

Selbstständig, geboren 1980 in Bad Ischl

Ausbildung:

seit Nov. 2005: Baccalaureatsstudium Software- & Information-Engineering, TU Wien, Baccalaureatsarbeit zum Thema: 'Arch.Diploma 2007'
2007: Studienassistent Gebäudelehre und Raumplanung
2004 – 2005: Studium Medieninformatik, Universität Wien

Projekte im Kunst- und Kulturbereich:

2007: Digitaler Verfall- Veranstaltungsreihe im OHO
2007: Digitale Ausstellung/Werstadtk: Netz.Kunst.Werk.Stadt (Second Life)
2007: Digitale Ausstellung: Arch.Diploma 2007
2007: "Nahe Genug - Fetish in Second Life", Kunstakation des steirischen Herbst
2005–2007: Diverse Vorträge zum Thema Virtuelle Welten, unter annderem auf der Technischen Universität Wien, der Wirtschaftsuniversität Wien, der Technischen Universität Graz und der APA E-Bussiness Community.

Berufliche Tätigkeiten:

Gründer pixel-orange, Dienstleistungen und Konzepte für Virtuelle Welten
Researcher bei eCommerce Competence Center EC3, 2004-jetzt
Medienproduktionen in im Bereich Musikvideos/Virtuelle Welten

Abgerufen von „https://metalab.at/wiki/index.php?title=Einreichung_Netzkultur_2008-1_Reactable&oldid=51365“