みなさまこんにちは。DOTS&LINES第五回です。前回の記事では、いくつかのiPhoneアプリをご紹介しながら、iPhoneが「いままで言語化できなかった「感覚的」なものにテクノロジーとロジックの光を当てることで、その魔術を解き明かし、誰もが再現可能なシステムとして再現する」様子を眺めてみました。そこでは、センサによって、周辺環境を様々なデータとして細分化させることがすべての始まりになっていました。「環境」という非常に複雑なメディアを、たとえば「映像」や「音」や「振動」や「明るさ」といった情報に細分化し、細分化した情報をさらに他の情報と組み合わせることによって環境の認知のさせ方を少し変えてみたり、あるいは単純に何らかの付加価値を生み出すこと。これはまさに「マッシュアップ」ひいては「編集」という行為そのものなのではないかという気がしてきました。
さて、今回はこの「編集」という行為に焦点をあて、様々なコンテンツを紹介していきたいと思います。
編集：シネマトグラフィー
クレショフ兄弟による、いわゆるモンタージュ理論のベースとなる有名な実験です。感情の読み取れない無表情の男の写真。これだけを見てもそこからは何も読み取れません。しかし、食べ物の絵の後に無表情の男の絵が入ると、その無表情にはうっすらと食欲が浮かんでくるし、女性の絵の後に無表情の男の絵が入れば、その無表情にはまた別の欲望が浮かび上がってくる...という実験です。絵と絵をどのように組み合わせるかという操作だけで、立ち上がってくる意味が全く異なってくるわけです。どのような絵とどのような絵をどのように組み合わせるか、どのようなテンポでつなぐか、どのような音楽を上にのせるか...そういった立体的なパラメータ操作によって、視聴者に様々な印象を与えることができる。これがシネマトグラフィー（映像の演出）の基本的な考え方です。
情報と情報を組み合わせると、必ず化学反応がおきて新たな意味が生まれてしまう。これは映画の演出の広がりというポジティブな面もあれば、特定の絵の後にどのような絵をはさむかというテレビ局の意向一つで簡単に印象操作が行われてしまうといった面もあります。
わかりやすい例として、いくつか映像を見てみましょう。
あの夢いっぱいの映画「メリーポピンズ」をホラー映画風にまとめた作品です。素材は同じはずなのに編集や音楽によって、実際の映画とは全く異なる印象になっています。
これは逆に、ホラー映画の大傑作「シャイニング」を、あたかも心温まる家族の絆を描いた作品かのように見せた映像です。考えてみれば「シャイニング」って捕らえ方によっては、めちゃくちゃポジティブなタイトルにも見えますよねw
エクストリーム・エディティング、あるいは「無意味」の面白さ：MAD
今、編集という行為を考えるときに、注目してみたいのが「MAD」です。ニコニコ動画とかでよく見るアニメを切り貼りして勝手にオープニングをつくったり、色々な映像をはりつけたりしてるやつですね。wikipediaによれば、MADの起源は、1970年代末ごろから大学のサークルなどで制作されていたMADテープ（初期はキチガイテープとも呼ばれていたことからMADと呼ばれるようになったらしい）というもので、物好きの学生が様々な音楽や音声を切り貼りして音楽をアレンジしたり、セリフを差し替えたりして遊んでいたものが内輪のルートで広まっていたもの。（このあたりの歴史はこのサイトに詳しいです）同時期に、タモリのラジオ番組で、NHKの音声を切り貼りしてめちゃくちゃなニュースをつくるという「つぎはぎニュース」という企画があり、これが「MADニュース」と呼ばれる系譜の元ネタといわれています。MADを見て考えるのは、意味を剥ぎ取ることで浮かび上がってくる独特な笑いと言語感覚です。ここで、ウィリアム・バロウズのことを考えずにはいられません。ウィリアム・バロウズは1960年代に様々な文章を切り刻んで組み合わせる「カットアップ」という手法で、まさにMAD小説を執筆していたアメリカの小説家です。バロウズが映像作家のアントニー・バルチと1966年に制作したカットアップ映像を紹介します。映像をズタズタにカットアップして無意味化...というよりはむしろ、 VJ的、あるいは次にご紹介するような、映像で音楽をつくろうとしているような狙いすら感じる映像です。
映像×音楽：音楽→映像ではなく映像→音楽という流れ
ブッシュの映像にビートボクシングの音声をのせたもの。マッシュアップ映像では、しばしばニュースや政治、教則ビデオといったものがネタになることが多いですが、これは混ぜ合わせるものが両極端であればあるほど面白いという考え方によるものでしょう。まじめなものに擬似的にふざけたことをさせる、そのギャップが面白いというわけです。ちなみにObama Beatboxもちゃんとありますw
ビートルズの「White Album」と、Jay-Zの「Black Album」をマッシュアップして「Grey Album」をつくるという一連のコンセプトでつくられた作品の一つ。（このGrey Album自体が色々と曰くつきで、クリエイティブ・コモンズの議論とつながってきたり、なかなか興味深いので、興味のある方はwikipediaのThe Grey Albumの項目を参照）PVもうまくビートルズのライブ映像に合成していて、とてもセンス良く仕上がっています。
かなり初期からマッシュアップ作品を作っているEbomanの初期の作品。当時は、曲自体の仕上げはシーケンスソフトじゃなくてAdobe Premiereでつくっていたそうです。
森林伐採の様子は木材が加工される様子の映像で音楽を構築しています。同様のアプローチの作品で、植物や昆虫の音だけでつくられたNatural Rhythmという作品もあります。
最近、ディズニー系のネタを中心に非常にレベルの高い作品を連発しているPOGOも注目です。
マッシュアップする素材自体をyoutubeからもってきてしまうという次世代型。 どの曲もすごくカッコよくまとまっていてすごいです。リアルタイムにyoutubeから素材をひっぱってきてリアルタイムに曲と映像を生成するライブとか、色々と可能性を感じる表現です。
スペクトラム×音色 ヴォコーダーの原理
ここまでは既存の映像を「絵」と「音」にバラバラにし、再構築することで新しい表現を生み出している例をご紹介してきました。次に、ちょっと映像から音の話に視点を切り替えて、今度は音から同様の発想を探るために、「ヴォコーダー」の原理に注目してみたいと思います。もともとは、アナログの音声通信方法開発から生まれたもので、1930年代に軍事用として作られた音声変換技術である。アメリカのベル研究所の技師ホーマー・ダッドリー（Homer Dudley）によって発明された。音声データをそのまま伝送するとノイズが入り通信として障害が出ることがある。また通信帯域も多く必要となる。これを元の声のスペクトルデータのみを送信し、再生装置側で再合成しようとした試みから作られた装置である。 人間による言葉の発声法は大別すると2種類あり、声帯を振動させて発音するものと、声帯を振動させずに口の空気の流れだけで作り出すもの（いわゆるヒソヒソ声）がある。この2つの相違点は、元となる音が前者は声帯の振動音、後者は空気の通過音であり、口の形状による倍音変化などは殆ど変わらない。このように口で作られる倍音変化の量だけを伝送し、原音は別に用意しようとする試みであった。- ヴォコーダー - wikipeida
簡単にいうと、楽器のスペクトルデータ(周波数分布：音の高低）と、人間の声（倍音変化）をかけあわせることにより、人間の声に音階をつけることができるというような技術です。つまり、楽器の音と声をそれぞれスペクトルと音色にバラバラにした上で、楽器のスペクトル情報と、声の音色情報をマッシュアップさせる、という試みです。どんな音かというと、たとえばこんな感じです。
同様の技術では、最近はPefumeやT-Painといったアーティストのシグネチャーサウンドとして知られる「ケロケロボイス」をつくる「Auto-Tune」という技術があります。これは上の原理とは若干ことなりますが、同様に、声でしゃべっている内容に音階をつけれる技術です。
同じ技術を使うと、たとえばこんなことができます。
赤ちゃんの泣き声にAuto-Tuneを利用して音階をつけた例です。赤ちゃんの泣き声という秩序の無いものに、突然音階という秩序のマトリクスが当てはめられることで、ものすごい違和感があって面白いですね。
※ヴォコーダーのほかにもトーキングモジュレーター（トークボックス）と呼ばれる機材があったりと、深堀りすると面白い領域です。合成音声などとあわせて昔書いた記事があるので、興味が沸いたかたは入門編としてどうぞ！→ロボットボイスの楽しみ
多層的なマッシュアップ マッシュアップ 2.0
たとえばAutoTuneを使えば、上で紹介した赤ちゃんの泣き声に有名な曲のメロディをつけることもできるでしょうし、「君が代」にアメリカ国歌のメロディを載せてしまうこともできるでしょう。映像から音と絵を分解するのと同じように、音をスペクトラムと音色に分解してマッシュアップをつくることができるようになったわけです。このように、「情報」を「パラメータ」に分解する技術が現れることによって、マッシュアップできるものの幅が広がってきます。では、最初のほうで紹介したようなMADやマッシュアップ、そしてヴォコーダーやAutoTuneが組み合わさった時、どのようになるのかという例をいくつかご紹介して、今回はここまで。
アナウンサーのしゃべり声や演説にAutoTuneをつかって音階をつけてミュージカル風にしたてあげる「Auto-Tune the News」シリーズです。いわばMADニュースとAutoTuneのあわせ技ですね。
Slap Chopというテレビ通販の商品の説明ビデオを音楽にあわせて再編集しつつAutoTuneでうしろのトラックにぴったりあうように調整してマッシュアップの出来上がり。Slap Chopという名前から、音楽製作の時にサンプリングを細切れに加工する手法の「チョｯピング」を掛け合わせたジョークにもなっているところが面白い。ちなみに、元ネタの通販ビデオはこれです。
DaftPunk の"Technologic"、BeastieBoys"Ch-Check It Out ",Capsuleの"StarrySky"、吉幾三"俺ら東京さ行ぐだ"の４曲からなるマッシュアップ。基本はDaftPunkのボイスサンプルと Capsuleの曲をベースにしつつ、吉幾三とBeastieBoysのラップをうまく混ぜているという形なのですが、ミソはラップの部分に AutoTuneをかけてあることで、このことによって、複数の声を混ぜた時にしっかりハーモニーになるように調整されています。
昨今、iPhoneに限らず、様々なウェブサービスを利用しながら気づくのは、我々を取り巻く情報が、どんどん細分化されていっているということです。deliciousのようなソーシャルブックマークはサイト全体ではなくページ単位をコンテンツとしてタグ付けを行いますし、tumblrやffffound、引用βといったクリップ系のウェブサービスは、画像やテキストを本来の文脈から引き離し、すべてを等価なコンテンツとしてカタログ化していきます。さらにニコニコ動画は動画にコメントをつけることでコンテンツを秒単位に細分化しているともいえます。
こうした状況の中で、近頃考えているのは、今後重要になってくるのは、これらの細分化されたコンテンツをどのように組み合わせていくかという視点ではないか、ということです。上記のマッシュアップの事例のように、一度バラバラに解体した情報を、様々な方法で再度組み合わせることによって、そこに新たな価値が生まれるはず。「点」として細かく解体されたコンテンツが大量にある今、その「点」をどう繋いで、どのような「線」を描いていくか。そういった、まさにDOTS&LINESに関しての議論が今後、とても重要になってくるような気がします。
