Задача и данные

Данные для конкурса — это изображения, полученные из панорамных снимков на Яндекс.Картах. Данные для тренировочного этапа содержат 6000 серий по 5 изображений. Основа каждой серии — последовательные фрагменты панорамы с частичным перекрытием (возможно, в неправильном порядке). В некоторых сериях есть один или два лишних снимка из других панорамных серий. Задача участников — с помощью автоматических методов определить лишние кадры в серии. Среди 6000 серий тренировочного набора 1000 — это обучающая выборка (для них указано, какие картинки лишние).

У данных для финального этапа будут аналогичные характеристики, и задача останется той же. Единственное отличие — участники смогут присылать решения только в течение суток (а не в течение двух месяцев, как на первом этапе) после публикации данных.

Форматы данных

Данные тренировочного этапа содержатся в архиве imat2011_1.zip.

В архиве содержатся 30000 фотографий (6000 серий по 5 фотографий) в формате JPEG разрешением 300*300 пикселей. Имена файлов составлены следующим образом: Номер-серии_Номер-в-Серии, например: 1234_4.jpg — четвертая фотография в 1234 серии (номера фотографий в серии не обязательно соответствуют их правильному порядку в панораме).

Примеры двух серий. В первой серии второй и четвертый снимки — лишние, во второй — только первый.

Для серий 1-1000 в файле learning.txt содержатся идентификаторы "лишних" картинок:

1_2.jpg
1_4.jpg
2_2.jpg
2_4.jpg
3_3.jpg
3_5.jpg
...

Остальные 5000 серий — это набор для публичной оценки, на основе которой составляется текущий рейтинг решений. Задача участников на первом этапе — прислать список лишних снимков для серий 1001..6000. По аналогии с файлом learning.txt файл с решением должен содержать один идентификатор снимка в строке, например:

2003_3.jpg
2004_1.jpg
2004_2.jpg
2006_2.jpg
2006_5.jpg

На финальном этапе участники должны решить эту же задачу на новом наборе данных. В финальном наборе данных обучающей выборки нет. Характеристики набора данных для финального этапа аналогичны характеристикам набора данных тренировочного этапа.

Оценка

Основная метрика оценки результатов — правильность, или доля правильно классифицированных фотографий (мы рассматриваем два класса: правильные — фотографии, составляющие панораму, и лишние). Предположим, что список лишних фотографий для серий 2003-2006 выглядит таким образом:

2003_2.jpg
2004_1.jpg
2004_3.jpg
2005_1.jpg
2006_5.jpg

Тогда оценка ответа, приведенного выше, будет 0,7. Отправной точкой, соответствующей решению «лишних нет» (пустой файл решения), для тренировочного набора данных является значение 0,68068.

Порядок предоставления решений

Конкурс проходит в два этапа, на каждом этапе используется свой набор данных. Первый этап проходит с момента объявления конкурса до 14:00 по московскому времени 16 мая 2011 года. В течение этого времени участники могут многократно загружать свои решения, оценка производится на основе последнего загруженного решения. На основании публичной оценки строится текущий рейтинг решений. В 14:00 по московскому времени 16 мая 2011 года мы опубликуем пароль к архиву с финальным набором данных (imat2011_2.zip). Финальный набор данных будет сформирован аналогичным образом и будет иметь размер и характеристики, аналогичные тренировочному набору. Участвовать в финальном туре могут участники, приславшие хотя бы одно решение на тренировочном этапе. В распоряжении участников для отправки финальных решений будут всего сутки после публикации пароля — прием решений финального этапа завершится в 14:00 по московскому времени 17 мая 2011 года. В течение суток участники могут присылать несколько решений, засчитывается последнее по времени решение. Важно также предоставить детальное описание автоматического метода и продемонстрировать его работоспособность.

Скачать данные

Данные предоставляются исключительно для личного использования и предназначены для выполнения заданий конкурса «Интернет-математика 2011».

Скачать архив в формате .zip (623 МБ)

Скачать финальный набор данных

Архив защищен паролем, пароль будет опубликован на этой странице в 14.00 по московскому времени 16 мая 2011 г.

Пароль к архиву: bynthytnjvfnbrf2011

Скачать архив в формате .zip (631 МБ)