電子楽器のメタファを取り入れた書道表現システム

多人数参加型当たり判定

本稿で提案する「多人数参加型当たり判定」とは，ゲームプレイの模様が実況中継されるシステムにおいて，ゲームの当たり判定をオーディエンスによる多数決で決定するものである．それにより，オーディエンスは観戦者兼審判としてゲームに緩やかな介入が行え，また「審判としての眼力」を競い合うこともできる．提案システムでは，ゲームプレイに介入できるインタラクティビティと，オーディエンス同士で眼力を競うゲーム性が付与されるため，これまで鑑賞に耐えられなかったレベルのプレイであっても「楽しむ」ことが可能になると考えている．

小久江卓哉，中村貴洋，宮下芳明. 多人数参加型当たり判定, 第17回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2009), pp.163-164, 2009.

眉間を用いた拡張現実感を制御する装置の提案

本研究では，実空間に付加情報などを重ね描く拡張現実感において，その情報量を眉間で制御する装置の提案を行う．目的は「実空間＋拡張現実感」を知覚する際の情報量の総和の増大を直感的かつシームレスな制御で回避することであり，そのトリガとして凝視の際に起こる眉間の動きに注目した．提案システムではフォトリフレクタによる光の反射量で眉間の動きを検知し，拡張現実感の情報量や透明度の制御を行う.

中村裕美,宮下芳明. 眉間を用いた拡張現実感を制御する装置の提案.  エンタテインメントコンピューティング2009論文集,pp.187-188 (2009)

 

Gravity Piano : 物理演算を用いた作曲インタフェース

Gravity Piano : 物理演算を用いた作曲インタフェースは、物理法則が支配する空間にオブジェクト(ピアノの鍵盤)を配置し、それをよって作曲を行ったり、リアルタイムで演奏できるシステムです。
意図通りのメロディを演奏することは困難ですが、それゆえに演奏を実現できたコンテンツは賞賛されていくと考えています。
また、出来上がった音楽や動画を動画共有サイトにアップロードする機能を設け、ユーザ同士による技術の競い合いや、高度な技術力を持った動画が生まれてくることを期待しています。

エンタテインメントコンピューティング2009で使用したデモver.を以下に公開しました。
ぜひ、ダウンロードして使ってみてください。
gravity_piano.zip

矢田裕基, 宮下芳明.  Gravity Piano ： 物理演算による作曲インタフェース, エンタテインメントコンピューティング2009論文集,pp.181-182 (2009).

矢田裕基. 物理演算を用いた作曲インタフェース, 未踏IT人材発掘・育成事業 2009年度上期未踏ユース，2009.

HAMIGAKI-K.O.：歯ブラシ付きiPhoneによるオンライン対戦

サンプリング書道:書の取得と再描画による芸術表現の提案

本稿では，電子楽器であるサンプラーのメタファーを取り入れる事による書道の新しい表現手法を提案する．目的は描画ツールで困難であった筆のかすれなどの表現を容易にする事と，楽器としてのサンプラーのメタファーを取り入れる事により書道の新しい表現方法を提案する事である．本システムはモデルとなる書をマウスポインタでなぞる事によってスキャニングし，描画画面でサンプル群を出力する事により描画を行う．本研究はさらにミキサーやエンベロープ・ジェネレータといった機能を導入し，出力画像の編集を行えるように改良している．

内平博貴, 宮下芳明. サンプリング書道:書の取得と再描画による芸術表現の提案, 第8回NICOGRAPH春季大会 CD-ROM予稿集, 2009.

内平博貴, 宮下芳明. サンプラーのメタファーを取り入れた書道表現システム. 情報研報2009-HCI-133, Vol.2009, 2009.

内平博貴，宮下芳明. 参照元閲覧機能によるユーザエクスペリエンス変化の観察, 第17回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2009), pp.187-188, 2009.

不可能立体のレイトレーシング

本研究では，不可能立体を含むシーンをレイトレーシング法を用いてレンダリングすることによって写実的な画像を生成する手法を提案する．また，モデリングからレンダリングまでの一連の作業を行うことの出来るシステムを制作し，ユーザが簡単かつ効率的に不可能立体の表現が行える枠組みを構築する．

篠原祐樹, 宮下芳明. 不可能立体のレイトレーシング, インタラクション2009論文集, 2009.

篠原祐樹, 宮下芳明. 不可能立体の写実的表現手法の提案, 情処研報2009-HCI-132, Vol.2009, No.19, pp.95-102, 2009.

篠原祐樹. 不可能立体の写実的表現手法の提案, 未踏IT人材発掘・育成事業 2008年度下期 未踏ユース, 2009.

未踏ソフトウェア事業では，誰でも不可能立体のモデリングができる使いやすいインタフェースを実装し，さらには，3Dモデリングソフト，メタセコイアのファイルを読み込んで「不可能立体化」できる機能や，これまでのモデリングできなかった不可能立体の作成も実現しました．立体視出力にも対応し，３Dテレビのためのコンテンツとしても活用できます．（最下部映像）

Far Faster Forward:視覚を用いない状況下での高速楽曲探索インタフェース

青木秀憲, 宮下芳明. Far Faster Forward:視覚を用いない状況下での高速楽曲探索インタフェース, インタラクション2009論文集, 2009

今日，数百万曲規模の膨大な楽曲ライブラリを対象とした未来型音楽探索インタフェースが多く提案されているが，一般には携帯音楽プレイヤに数百曲しか音楽が入っていないという実情がある．しかし，この小規模なライブラリから特定の楽曲を「視覚を用いずに」選び出すことは意外に難しい．本稿で提案するインタフェースは，ボタンを押し続けている間に楽曲のサビの冒頭部が次々と高速再生され，離すと選曲ができるものである．これは決して革新的といえるような発想ではなく，大規模なライブラリに対応できる汎用性を持つわけでもないが，サビを切り出す幅や再生速度をチューニングし，さらにユーザの操作の遅延を補正する機構を設けることにより，初めて使用する人でも従来の5 倍速い探索が行えることを実験で明らかにした．熟達によってこの探索速度はさらに向上すると考えられる．

ノラ音漏れ

青木秀憲，篠原祐樹，宮下芳明. ノラ音漏れ, 第16回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2008), pp.155-156, 2008.

本稿では，音楽が自律的に空間を放浪し，それを音漏れとして聴くことができるシステムを試作した．「ノラ音漏れ」は音楽をリピート再生しながら空間を放浪するエージェントであり，ユーザが楽曲を最後まで聞き終わる度に生成・放出され，寿命が尽きると消滅する．同一楽曲が出会うと増殖するため，特定の地域やコミュニティで流行している楽曲がその周辺で多く聞けることになる．ノラ音漏れが表示されるGPS 連動マップとタイムスライダーによって特定の時間・場所に移動でき，いま流行っている楽曲がどの地域で流行ってきたかを調べたり，特定の時代へ音楽を発掘しにタイムトラベルすることができる．また，ノラ音漏れの行動パターンを設定すれば，作曲者が流行のさせ方すらデザインすることが可能となる．

 

マンガ的手法を用いたニコニコ動画ナビゲーション

本研究では，一度視聴したことのある映像コンテンツの中で印象に残ったシーンを再び見返す場合に，効率よくそのシーンを見つけるためのシステムを試作した．その映像コンテンツがニコニコ動画のものだとしたときに，コメント数が多いシーンほどより印象に残りやすいと考え，コメント数の多いところからサムネイル画像を取り出し，コメント数が多いほど大きいサイズで表示して並べ，各サムネイルには最頻コメントが吹き出しとして付与されるマンガ的な手法で一覧できるようにし，そのコマを選択することで映像を再生できるようにした．本稿では4 つのバリエーションをもたせたシステムの評価実験によって，このシステムデザインの有効性を示した．

中村貴洋，青木秀憲，宮下芳明. マンガ的手法を用いたニコニコ動画ナビゲーション, ヒューマンインターフェース学会研究報告集 Vol.10 No.4 pp103-110/情処研報2008-HCI-130，Vol.2008, No.106, pp.103-110, 2008.

4-Danmension：デュアル断面図による４次元空間の表現

 
 

実写画像によるポップアップカード生成

本研究では旅先でのスナップ写真などの実写画像を入力としていわゆる飛び出す絵本のようなポップアップカードをつくる手法を提案する．ポップアップカードは グリーティングカードやメッセージカードとして現在でも広く使われているが，構造上の制約が厳しく制作には長年の経験と試行錯誤が必要である．しかし，提 案する手法を実装したシステムを用いることによって誰でも手軽にポップアップカードを作成することができるようになる．

加納崇光，宮下芳明. 実写画像によるポップアップカード生成, 情処研報2008-HCI-129 Vol.2008, No.79, pp.15-20, 2008.

二人酒：「一緒に飲んでいる感覚」を実現するビデオチャットを目指して

これは「一緒に飲んでいる感覚」を実現すべくビデオチャットを拡張するという試みで、ビアサーバーを制御して遠隔でもお酌を実現し、また一方でヘッドセットに取り付けたアルコールセンサーで呼気中アルコール濃度を計測し、それにもとづいて顔に赤面エフェクトをかけて酔いの状況を伝えやすくするというものです。

寺田知矢, 宮下芳明. 二人酒：「一緒に飲んでいる感覚」を実現するビデオチャットを目指して, インタラクション2008 CD-ROM予稿集, 2008.

文字認識「する側」と「される側」を歩み寄らせるインタフェース

インタラクション２００８　インタラクティブ発表

篠原祐樹, 宮下芳明. 文字認識「する側」と「される側」を歩み寄らせるインタフェース, インタラクション2008論文集, 2008   デモムービー

 HCI研究会　128

 篠原祐樹, 宮下芳明. 文字認識における「歩み寄りインタフェース」の試作と検証, 情処研報2008-HCI-128/2008-MUS-75，Vol.2008, No.50, 2008.

 「い」と「り」など根本的に文字の形状が似ているため，文字認識の過程においてコンピュータが苦労する場合があり認識率はどこかで頭打ちとなってしまう．そこで，コンピュータが人間に合わせきれない部分だけ人間が譲歩する......こうした「歩み寄り」こそが必要であるという考えのもと，文字認識のプロセスにおいてコンピュータと人間が相互に歩み寄り，お互いの負担が少ないかたちでコンセンサスを得るため，コンピュータが認識に苦する文字について，認識されやすいように人間側が書きぐせを修正していくシステムを提案する．

ニコニコ動画における映像要約とサビ検出の試み

ウェブサービス「ニコニコ動画」でのコメントをアノテーション付与と捉え，このコメントを量的に評価したときに，それによって映像コンテンツにおける最も重要な箇所（いわば動画におけるサビ）の判別や映像要約にどれくらい応用可能なのかを検証すべく，様々なジャンルの映像に対して評価を行ったものである．

青木秀憲，宮下芳明. ニコニコ動画における映像要約とサビ検出の試み, 情処研報2008-HCI-128/2008-MUS-75，Vol.2008, No.50, pp.37-42, 2008.

Music Leak: 音漏れを聴く、新しい音楽の楽しみ方

青木秀憲，宮下芳明. Music Leak: 音漏れを聴く、新しい音楽の楽しみ方, 第15回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2007), pp.105-106, 2007.

電車内などでのヘッドホンによる音漏れは迷惑行為のひとつであるが、はたから聞いているとそれがどんな楽曲なのか気になることも多い。いわばこれは未聴の音楽との偶発的な出会いを提供しているともいえる。そこで本研究では、聴取している音楽を音波ではなく電波によって「漏らし」、聞きたい人だけがそれを聞くことができるシステム Music Leak を試作した。システムは、現在ユーザーが（イヤホンで）聴いている音をFMトランスミッターによって外部に「漏らす」。一方で、他者から漏れてくる音は FMラジオで受信され、イヤホンを上から覆うように装着したノイズキャンセリングヘッドホンから聞こえてくる。評価実験を行ったところ、自分が聴いている曲を他者に聞かれることについて問題ないユーザーが多いものの、積極的に他者に聞いてほしいと思う動機が不足していることがわかった。このため、例えば自分が勧めた（漏らした）音楽を他人が購入した場合に若干のキャッシュバックがある「音漏れアフィリエイト」といった仕組みと併せて提案すべきであると考えている。