2020TCCF創意內容大會-雅婷音樂人機互動體驗

interactive Interaction design Exhibition artificial intelligence animation uiuxdesign

關於創意內容大會
Taiwan Creative Content Fest

由文化內容策進院將於11月17日至11月22日所主辦的 2020 創意內容大會 Taiwan Creative Content Fest，聚焦市場交易、異業整合及創意未來內容；包含國際市場展會、跨域交流晚會、三大主題展區、多場創新展演，以及邀集國內外買家進行超過百場媒合活動。

今年度創意內容大會以「Re: 眾感未來（Human Touch - A Closer Future）」為主題，捲動後疫情時代下的內容交易產業能量，整合市場及展會，助攻「文化內容」達產業化、國際化、整合化，對產業帶來全面性的能量。連結各文化內容產業，塑造臺灣文化國家品牌，跨域創意展演創造台流新魅力。

作品介紹

【雅婷音樂人機互動體驗】運用人工智慧技術，使雅婷不僅能聽得懂你的音樂，更能依據你的創作以【音樂】及【歌聲】做出回應，並同時繪製出一幅屬於你的生成【圖像】。

【Interactive Experience with Yating Musician】Utilizing artificial intelligence technology, Yating can not only understand your music but also respond to your creations with both 【music】 and 【voice】, while simultaneously creating a unique 【image】 that belongs to you.

體驗說明

1.按下任意琴鍵開始體驗
2.預備開始 : 系統播放 ""咚,咚,咚,咚"" 四個拍點
3.使用者彈奏四小節（十六拍) — 即時AI圖像生成、即時人聲生成
4.雅婷音樂回應彈奏！

Experience Instructions

Press any piano key to start the experience.

Get ready to start: The system plays "Dong, dong, dong, dong" at four beats.

The user plays four measures (sixteen beats) - Instant AI image generation, instant vocal generation.

Yating responds to the musical performance!

體驗設計

本次體驗的概念為音樂視覺化，將樂譜、圖像等粒子化的過程象徵音樂從AI生成過程經過"重組"，在音樂粒子的城市（程式）中穿梭，與AI共同創作出新樂曲。

1. 裝置在沒有任何操作狀態下會播放預設影片

2. 當觸碰任意琴鍵即觸發互動體驗開始互動流程

3. 畫面引導使用者彈奏鋼琴，而鋼琴音高配合不同動畫，由上而下的投影機會將圖像投影出來

4. 彈奏後使用者輸入完畢，AI即時運算音樂，從使用者輸入的音樂作為靈感進而延伸出完整歌曲

4-1. 同時AI運算歌曲適合的圖像，透過色階分離的方式作出粒子效果

5. 瀏覽完AI的結果後產生QR code，供使用者帶走成果

Experience Design

The concept for this experience is musical visualization. It symbolizes the process of granulating sheet music, images, and other elements, representing the "recomposition" of music through the AI generation process. Participants navigate through the city of musical particles (code) and collaborate with AI to create new musical compositions.

1.The device will play a default video when in an idle state.

2. Touching any piano key triggers the interactive experience, initiating the interaction process.

3. The screen guides the user to play the piano, with piano pitch corresponding to different animations. A projector from top to bottom will project the generated image.

4. After the user completes the input, AI immediately processes the music, using the user's input as inspiration to extend into a complete song.

4-1. Simultaneously, AI calculates suitable images for the song, creating particle effects through color separation.

5. After reviewing the AI results, a QR code is generated for users to take away their creations.