Участникам предлагается набор данных для обучения моделей, а также тестовый набор данных. В тестовом наборе содержатся файлы в формате
ABC_notation. Каждый файл — это первые 8 тактов музыкальной композиции. Участникам нужно предложить следующие 8 тактов для каждой композиции. На оценку принимаются файлы, содержащие 16 тактов: 8 тактов из тестого сета + 8 тактов, предложенные участниками. Формат отсылки результатов —
ABC_notation + соответствующие им миди-файлы, сгенеренные участниками.
Отправка тестовых результатов участника осуществляется из проекта в DataSphere с помощью меджика (будет предложен в стартовом ноутбуке вместе с бейзлайн-реализацией). Тестовый результат участника должен содержать 16-тактовые соответствия для всех элементов тестового набора.
Кто и как оценивает работуОценка тестовых результатов участника проводится с помощью Яндекс.Толоки по методике side by side сравнения. Асессоры сравнивают пару (тестовый результат участника; 16 тактов оригинальной композиции), выбирая тот член пары, который им нравится больше. Каждую пару оценивает не менее трех асессоров. В процесс оценки встроена верификация асессоров. Результат для каждой пары принимается на основании majority vote.
Результат всей тестовой посылки рассчитывается на основании совокупности оценок пар, описанных выше. Более высокий рейтинг получает тот тестовый результат, больше элементов которого выиграло попарное сравнение.
При равенстве баллов двух участников им присваивается равный рейтинг. При равенстве баллов двух участников, соревнующихся за призовое место, проводится попарное сравнение их соответствующих тестовых результатов. Более высокое место в рейтинге получает тот участник, в чьем тестовом результате больше выигравших в сравнении элементов.