Drawing Down the Moon (for guitar,vocal and interactive sound visualization)
http://blog.naver.com/witchsky/220881...
Drawing Down the Moon (for guitar,vocal and interactive sound visualization)
본 작품은 실시간 리버스 음향효과(real-time reverse effect)를 제작하여 보컬과 기타에 사용하고 프로젝션 매핑(projection mapping)과
인터랙티브 사운드 비주얼라이제이션(interactive sound visualization)을 이용해 인도음악을 멀티미디어 작품으로 현대적으로 구성했다.
인도음악은 신을 찬양하는 종교적인 이유가 강하기 때문에 그 내용은 대부분 신화적인 내용을 담고 있다. 이를 참고하여 신비주의 사상을 바탕으로 작품 내용을 구성했다. Drawing Down the Moon 이란 여 사제가 달의 힘을 불러들이는 달 초환(Invocation) 의식이다. 달 초환(Invocation of the Moon)의 다른 말로 에스 밧(Esbat)이라고 하는데 이는 달의 위상(phases of the Moon)에 따른 의식(ritual)이다. 달은 모양이 변하고 다시 되돌아오는 것은 천지만물이 끊임없이 변화하는 것을 보여주고 있는데 ,작품에는 이러한 메시지를 담았다.
음향효과 제작으로는 리버스 음향효과 장치를 이용해서 보컬이 음높이(pitch)는 그대로 유지하되 내뱉는 소리가 다르게 느껴지도록 하는 효과를 주었다. 기타에도 실시간 리버스 음향효과를 사용하여 미묘한 음의 변화를 주고 배음(overtone)의 울림을 극대화하여 인도에서 자주 쓰이는 시타르의 음색(timbre)을 재현했다.
실시간 리버스 음향효과를 만들기 위해 FFT(fast Fourier transform)를 이용했다. FFT는 음정과 음정 사이의 미세한 차이를 구별하는 데에 유용하다. 작품에는 Max/MSP 오브젝트인 pfft~를 사용하였다. pfft~는 FFT(Fast Fourier Transform)를 사용하여 스펙트럼 오디오 프로세싱을 단순화하도록 설계된 오브젝트이다. 음악에서 사운드를 리버스하려면 녹음된 사운드의 파형을 뒤집어야 한다. 그렇게 되면 당연히 시간에 따른 음높이가 달라진다. 시간 순대로의 음높이가 거의 일정하면서, 리버스되는 효과를 얻기 위해서는 FFT가 매우 중요한 역할을 했다. 제작한 음향효과 패치는 Live9에 포함된 Max for Live를 활용하여 실시간 음악 퍼포먼스를 했다.
사운드 비주얼라이제이션 방법으로는 오브제를 설치해서 프로젝션 매핑을 했다.
달 영상은 타블라 리듬에 맞추어 모션 그래픽으로 제작했으며 오브제를 설치해서 매핑했다. 보컬과 기타 음량에 따른 인터랙티브 사운드 비주얼라이제이션(interactive sound visualization)은 각 프로그램간의 OSC (Open Sound Control) 통신을 교류하여 제작했다. OSC란 Open Sound Control의 약자로 공연을 위해서 악기, 컴퓨터 및 기타 멀티미디어 장치를 공유하기 위한 네트워크 통신이다. OSC를 이용해서 연주자의 음량에 따라서 이미지가 실시간으로 변화하도록 하는 패치를 제작한 후 망사막(scrim drop)에 매핑했다.
-
This study will explore the composition of a multimedia work of Indian music using elements such as real-time reverse effects produced for use on guitar and vocals, projection mapping, and interactive sound visualization.
Because there is a strong religious emphasis on the celebration of god in Indian music, much of it is mythical in content. The phrase “Drawing Down the Moon” refers to a ritual in which priests summon the power of the moon through invocation. This is also commonly referred to as “Esbat,” which follows the phases of the moon. The message that “Drawing Down the Moon” seeks to convey is that these phases, in which the moon changes shapes before returning to its original form, reflect the ever-changing nature of the universe itself.
Using real-time reverse effect, it was possible to maintain the original pitch of the vocals, but certain consonant sounds (like spitting) from the vocals also gave a different effect to the overall texture. With the same reverse effect on the guitar, subtle pitch changes occurred, the overtones of which were maximized in order to emulate the timbre of the sitar, an instrument commonly used in India.
In order to make the real-time reverse effect, “Fast Fourier Transform” (FFT) was used. FFT is a useful tool in distinguishing the fine differences between musical intervals. In this piece, the Max/MSP Object, “pfft~”, designed to simplify spectrum audio processing, made use of FFT. Reversing a musical sound necessitates the reversal of the sound’s recording itself. However, if reversed, the pitch of the original sound will differ based on their temporal order. In order to produce a reverse effect in which the temporally ordered pitches remain constant, the role of FFT is of the utmost importance. For the live performance, this sound-effect patch was utilized through Live 9’s Max for Live.
For sound visualization, objets were installed with projection mapping. The image of the moon, matched to the rhythm of the tabla, produced motion graphics which were mapped on the installed objet. Following the volume of the vocal and guitar, interactive sound visualization was produced by communicating between programs in Open Sound Control (OSC), a communication network for sharing computers, instruments and other multimedia tools. Using OSC, a patch was created through which images changed according to the volume of the performer. These images were subsequently mapped upon a scrim drop. Because this method, is, for the most part safe, with little latency, the image moved intuitively, matched to sound of the performer.
real-time reverse effect /projection mapping/Max/MSP/interactive art /night raga