テクノロジーと音楽の融合

ソニー・インタラクティブエンタテインメント（SIE）は、あらゆる方がPlayStationの商品とサービスにアクセスでき、ゲームを楽しめる世界の実現に向けて、日々技術革新に注力しています。Paraorchestra、 Drake Music、 Watershed といった団体とともに開催した「Sony Assistive Musical Instrument」ハッカソンは、すべての人が楽器を楽しめる世界を作ることを目的としたハッカソンで、これまで世界各地で実施されています。2024年9月に開催された4回目のイベントには、SIEと株式会社ソニー・ミュージックエンタテインメントジャパンをはじめとするソニーグループの社員、大学生、そして障がいの有無にかかわらないミュージシャンで構成されるインクルーシブなオーケストラ団体「Paraorchestra」のプロミュージシャンが集まりました。

SIEのチームは、「Paraorchestra」メンバーであるLiza Bec氏を中心に構成されました。Lizaは、プロレベルで楽器を演奏する際の特定の動作が引き金となる、とても珍しいてんかんを患っています。特にアルペジオの演奏と手を交差させる動きは、Lizaにとって難しい動作です。これらの悩みを解消するため、特別にアレンジされた電子楽器「Robo-recorder（ロボ・リコーダー）」を作製し、SIEの社員など数名がLizaとチームを組み、この電子楽器の機能拡張に挑みました：

• Alexei Smith、SIE （チームリーダー）
• Liza Bec、「Paraorchestra」所属のミュージシャン
• Chris Buchanan、SIE
• Mike Middleton、ヨーク大学博士課程在籍
• Kim Steel、ヨーク大学博士課程在籍
• Jaylen Sezen、イースト・ロンドン大学在籍
• Luke Child、ブリストル大学博士課程在籍

ハッカソンとは、さまざまな専門分野や経験レベルの人々が時間を決めて協力し合い、設定された目的やテーマに沿って何かを創作するイベントです。人脈づくりやクリエイティブなコラボレーションも、このようなイベントの醍醐味です。今回、SIEのAlexei Smithとイースト・ロンドン大学在籍のJaylen Sezen氏の2名から、本イベントでの体験について詳しく話を聞きました。

目的

SIE社員のAlexeiとChrisは、ロンドンを拠点とするオーディオチームに所属し、PlayStationのオーディオ体験の向上を目指す仕事に携わっています。彼らはアクセシビリティ機能を含むシステムソフトウェア開発のバックグラウンドを持ち、アクセシビリティに取り組めるというハッカソンの目的に興味を持ち、今回のイベントに参加しました。

障がいの有無にかかわらず、音楽制作の限界を押し拡げることを目指すオーケストラ団体「Paraorchestra」の一員であるLiza Bec氏にとって音楽は、人生とアイデンティティの大切な一部です。そのため、自身のてんかんの症状を理解し、受け入れることは、とても難しいことでした。そんななか、Lizaの音楽に対する情熱とひたむきな努力が、ロボ・リコーダーの誕生につながりました。

チームは、ロボ・リコーダーの 「頭脳 」をつかさどるTeensyボード（電気機器を制御するための小さなコンピュータ）を駆使することで、既存のシステムを拡張することに挑みました。Teensyボードは、手頃な価格帯とC/C++言語で開発が可能なこと、そして非常にコンパクトなサイズでありながら優れた処理能力を備えていることから、組み込みオーディオデバイスの作製によく使用される人気の部品です。チームは、Teensyとほかのソフトウェアやセンサーを組み合わせることで、Lizaのライブパフォーマンスをより高めることを目指しました。

4つの領域

効率的に作業をこなし、各自の役割により集中できるよう、チームは4組に分かれそれぞれが別の領域を担当することにしました：

サウンド − 周波数分析

リコーダーの周波数分析を行なうため、より高い音圧にも耐えることができるエレクトレットコンデンサーマイクをTeensyに搭載し、音が発せられるリコーダーの「窓」の横に設置しました。

LizaのAbletonシンセサイザーは、演奏の各所に合わせてさまざまなコード（和音）を奏でます。銅でできた帯板を押すと、演奏されている音の周波数をマイクが拾い、それが伴奏のルート音として使用される仕組みです。

グリッサンド奏法（一音一音を区切ることなく、流れるように音階を移動させる演奏技法）は、Lizaが頻繁に使用する独特の装飾音で、周波数として検出することができます。ビブラートも同様に周波数と振幅の変調として検出することが可能なため、チームは、周波数変化の方向や度合いを分析するC言語による組み込みルーチンを試作しました。このプログラムを通じて、グリッサンドやビブラートの回数と深さをデータとして処理し、メタデータをMIDIのトリガーとして出力することで、Ableton Liveソフトウェアに送信することができます。

グリッサンドやビブラートは奏者によってスタイルが異なり、各奏者の個性が現れます。これらの表現を取り入れることで、作曲や演奏をする際に各ミュージシャンの独自のスタイルをより活かすことが可能となります。こういった要素を組み合わせることで、実際のパフォーマンスはより洗練され、フットスイッチなども必要なくなるため、演奏中も奏者は自由に動き回ることができます。

モーション − ジャイロスコープと加速度センサー

リコーダーの左右の動きを測定することで、エコーやリバーブといった特定のエフェクトを加え、さらに、それぞれの強弱を動きのスピードでコントロールすることができるような工夫を加えました。加えて、リコーダーの傾斜角度を測定することで、コードの倍音に厚みを持たせることを可能にしました。例えば、リコーダーを高く持ち上げるほど、より多くの音色がコードに加わります。

モーション − コンピュータビジョン

Lizaは、演奏する空間がパフォーマンスにどのような影響をもたらすかに関心がありました。チームはこのアイデアをもとに、Pythonの可視化ライブラリを使用して演奏中の奏者の立ち位置を分析するため、Lizaの左右の動きをウェブカメラで追跡し、演奏空間をAbletonのさまざまなパラメーターにマッピングしました。

ビジュアル − オーディオリアクティブGLSLシェーダー

最後に、Lizaのパフォーマンスをより華やかに演出するため、チームは「シンセシア」というアプリを活用することにしました。「シンセシア」は、オーディオ入力やMIDI、さらにはロゴやウェブカメラの映像などの視覚メディアに反応するGLSLシェーダーを集めた総合ライブラリです。また、それぞれのシェーダーコードは、アプリ内蔵のコードエディターを使って新しく書き換えることができ、ゼロからシェーダーを書くこともできます。音色に反応する映像はシンセシアを使って出力され、パフォーマンス中のLizaの背後に投影されました。

イースト・ロンドン大学の学生Jaylen Sezen氏は、この作業に大きく貢献しました。Jaylenはサウンドデザインと音楽制作を専門とし、5年ほど前からゲーム音楽の作曲などに携わってきました。しかし、今回のハッカソンではそれらに特化した役割がなかったため、彼にとっては新たなチャレンジに挑戦する機会でした。

「まず、自分には何ができ、どうチームに貢献できるか考えました。そこで“シンセシア”という、音を可視化するソフトウェアを使うことにしたのです。音や色に反応するLizaのMIDIコンバーターとも相性が良く、Lizaが腕を上下に動かすと、色が変わるようにプログラミングしました。」

自分の専門分野ではなかったとはいえ、シンセシアを用いた作業はやりがいがあり、また、ハッカソンを通じてあらゆる人に出会い、自身の技術や専門についてほかの参加者と会話することができたとJaylenは言います。「参加者の皆さんはとてもフレンドリーで、ハッカソンの後、皆さんの仕事について聞くことができました。クリエイターとしてだけでなく、仲間として1対1で話すことができ、まさに人脈づくりや交流にぴったりの場でした。」

競争ではなく、コラボレーションを重視

本イベントの主催者たちは、ハッカソンが始まる前から、この企画を競争よりコラボレーションを重視する取り組みにしたいと考えていました。この思いは、社会の在り方や仕組みがいかに障がいを持つ人々の機会や可能性を狭めているかを提起した「障がいの社会モデル」とも一致しています。「障がいの社会モデル」とは、障がい者が直面する困難は個人ではなく社会に起因するという考え方です。

Alexeiは、「障がいの社会モデル」を音楽の観点から捉えたミュージシャンであり活動家のJohn Kelly氏の言葉を引用しながら、コラボレーションに焦点を当てることの重要性をこのように説明します。「私たちは、自分たちが人としてどのように定義され、社会の中でどう位置づけられるのかについて、自律権、選択権、そして主導権を望んでいます。私たちも、社会の中で生き、存在していて、障がいを持たない皆さんと同じ権利があるのです。私たちのような障がい者に向けた商品や機能を開発する際、できるだけ早い段階で、ステークホルダーやアクセシビリティの専門家などと連携して企画・開発を進めていただきたいと思っています。」

「本イベントを実施するにあたり、パートナーシップを組んだチャリティ団体“Drake Music”は、アクセシビリティをハッカソンのテーマにどう組み込むか、Paraorchestraの皆さんにどのようにご協力いただくかなど、企画の要所をまとめるサポートをしてくれました。」とAlexeiは説明します。ハッカソンには時間制限があるため、できる限り効率的に運営・進行する必要がありました。参加者全員を同じ空間に集めることで、参加者とコミュニケーションも取りやすく、フィードバックがあれば速やかに対応することができたと言います。「ハッカソンは2日間のみの開催だったため、かなりのプレッシャーでしたが、参加者の皆さんが同じ空間にいたおかげで、とてもコラボレーションがしやすかったと思います。何か問題が生じても、その場で解決案を提案し、改善することができました。」

Drake Musicは、音楽、障がい、テクノロジーをつなぐために活動しているチャリティ団体です。障がいのあるなしに関わらず、すべての人が音楽を楽しむためのさまざまな活動に取り組んでいます。

最後に

今回、英国ブリストル市で行なった「Sony Inclusive Hackathon」は参加者の皆さんにとって非常に有意義で意味のあるイベントとなりました。それぞれがアクセシビリティとテクノロジーの接点について貴重な知見を得たと同時に、ほかの参加者と連携することで、自身のスキルや技術を画期的な方法で活用することができました。今回のハッカソンのようなイベントは、従来のやり方に対して新たな方法やアプローチに挑戦する機会を与えてくれます。こういった草の根活動を通じて、SIEチームが長年にわたり培ってきた経験と、学生やパートナー組織のユニークな知見やスキルを組み合わせることで、さまざまなクリエイティブなアイデアや成果が生まれます。

日々の業務の中から素晴らしいイノベーションが生まれることがある一方、それらの作業がマンネリ化してしまう場合もあります。そのため、SIEチームのメンバーにとってハッカソンのようなイベントは、日々のルーティンから抜け出し、新たなチャレンジに没頭できるチャンスです。そして、学生の皆さんにとっては、学業以外で日々の学びを実践できる、重要な成長の機会です。

SIEは、私たちの持つテクノロジーとサービスを活用して変化を促し、ゲームを超えたインパクトを生み出すことで、より持続可能な未来の実現を目指しています。SIEは今後も「Sony Inclusive Hackathon」のようなイベントを企画、啓発、推進し、既成概念に挑戦し続けることで、さまざまな業界の公平性を追求していきます。

原文はこちら