검색
  • A.S musicteam

[Review]AI Song Contest: Human-AI Co-Creation in Songwriting

#ai_song_contest #co_creation #magenta #musician #musicvae #song_writing



A/S (Artificial Spirit)팀은 AI Song Contest 2021(링크:https://www.aisongcontest.com/)에 출전하게 되었습니다. 올해 두번째로 개최되는 경연대회는 Google Magenta Research team, Wallifornia MusicTech, DeepMusic.ai 등 학계 권위있는 팀들과 함께 합니다. 작년 AI Song Contest 2020에 참가한 팀들의 내용을 요약하여 AI Song Contest: Human-AI Co-Creation in Songwriting라는 논문이 나왔습니다. 아래에 그 내용을 공유드립니다.

목차

  1. 소개

  2. 배경

  3. 참가자

  4. 방법들

  5. 한계

  6. 토의

  7. 참고 논문

1. 소개

  • AI가 작곡을 할때, musician이 정말 뭐가 필요한지 모른다. 아무리 AI가 좋아도.

  • 논문에선, AI와 협력하기 위해 작곡가들에게 필요한 것들을 설명한다.


2018년 MusicVAE(link)

  • End-to-End : AI가 처음부터 끝까지 다하는 작업.

  • End2End는 안좋다!

  • 작곡의 구성요소를 분할하자.

  • 사람의 개입정도를 조절하자.

2. 배경

Music

  • harmonizing melody

  • composing counterpoint

  • general infilling

  • exploring more adventure chord

  • semantic controls

  • 새로운 악기 제안

Sketch

Language

3. Participants

2020

Wikipedia : https://en.wikipedia.org/wiki/AI_Song_Contest
  • 논문은 참가자들이 대회 끝나고 설문지 돌림

  • 어느 부분에 AI를 사용하고, 어떤 음악을 직접 작곡할 것인가? 그 절충안은 무엇이었습니까?

  • 팀은 어떻게 AI 시스템을 개발했습니까? 팀은 어떻게 AI 시스템을 워크플로우에 통합하고 노래에 자료를 생성했습니까?

  • 13개 팀, 61명. 평균 4명이 한팀

4. 방법들

  • 대부분이 노래의 구성요소를 잘게 쪼갬.

  • 섹션별로, 악기별로.

  • T6는 end-to-end로 구성해보려고 함.

  • quality 떨어짐.

  • Modular building blocks


  1. T5, 8

  2. 악보, 멜로디라인만 AI, 나머지 사람이

  3. T3

  4. 가사, 멜로디, 하모니가 담긴 리드 악보를 AI로.

  5. T10,6,9

  6. 음악가가 적어 더 많은 AI musical building blocks를 만듦.

방법들 - block들을 합치는 방법

  1. Stitching

  2. 모델의 output을 조금씩 수정

  3. Pipelines

  4. 모델의 output이 다른 모델의 input으로.

  5. Joint modeling

  6. 모델 여러개 동시에 훈련, 생성

생성하고 선별하기

  1. 생성

  2. 규칙대로 선별

  3. 2단계로 나눠서 선별

  4. 귀에 익은(catchness)것 먼저 선별

Actively

  1. AI가 코드를 만들면 팀원이 같이 허밍하고, 선택했다.

  2. AI output을 가공이 안된 것으로 받아들였고, 사람이 수정.

  3. AI를 영감의 시초단계로 생각

  4. AI를 초보 뮤지션이라고 생각하고, 피드백 주는 느낌으로 수정.

5. 한계

  1. ML은 즉시 조종할수 없다.

  2. fine-tuning

  3. 큰 데이터셋에서 우선훈련.

  4. priming

  5. 특정 코드, 키, 윤곽, 피치를 생성하기위해, 입력을 조절함.

  6. interpolating

  7. 서로다른 두 흐름을 연결하는 방법.

  8. ML의 각 구조가 어떤 역할을 하는지 모른다.

  9. 전반적인 노래

  10. ML 설정이 음악 목표를 방해할 수 있음


Grad-CAM : https://arxiv.org/abs/1610.02391

6. 토의

  1. ML 설계시 :

  2. 분해가능한(decomposable),

  3. 문맥을 알수 있는(context-aware)

  4. AI-defined vs user-defined building blocks

  5. AI가 key driver가 될수 없다.

  6. lyrics, melody, chord로 나누기보다, motif, verse, chorus, code로 나누는것도 좋다.

  7. workflow까지 고려된 AI를 만드는것도 좋다.

  8. 인간-AI Co-creative의 도전과제

  9. 창조적 프로세스뿐만 아니라

  10. 학습 알고리즘의 이상성과 조종성 결여에 의해 부과되는 기술적 프로세스도 설명할 필요성이었다.

  11. 창조 <-> 기술

  12. AI를 쉽게 사용할수 있는 인터페이스를 만들자

  13. ex) 마젠타


7. 참고 논문

1. https://arxiv.org/abs/2010.05388, AI Song Contest: Human-AI Co-Creation in Songwriting, 2020

2. https://arxiv.org/abs/1610.02391, Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization, 2019

3. https://en.wikipedia.org/wiki/AI_Song_Contest, Wikipedia

조회 232회댓글 0개

최근 게시물

전체 보기