- Список
- » Конкурсы, фестивали, мероприятия
- » Идеальная система судейства
0 
1 
#1
15.05.2013 20:29
1 #1- Nex
- Участник (+120, -130)
- Зарегистрирован: 11.06.2007
- Сообщений: 2053
---
Идеальная система судейства
Предлагаю обсудить, какой вы видите идеальную систему судейства.
Исходные условия:
Конкурс с большим количеством творческих работ. Требуется выбрать лучшую. Результат должен максимально устраивать всех заинтересованных лиц, включая конечных потребителей.
Мой вариант:
Шаг 1. Авторитетное жюри выбирает из массы работ N лучших (допустим, пять).
Шаг 2. "Общенародным голосованием" из этих N работ выбирается лучшая.
Предлагайте свои варианты, высказывайтесь.
Неактивен
0 0 #2
18.05.2013 05:37
0 #2Re: Идеальная система судейства
Nex написал:
Мой способ. Всё очень просто.
Жюри гарантирует, что слабых работ не будет. Так как понравиться жюри сложнее, чем понравиться публике. Это будут самые сильные, интересные работы - при этом учитывая то, что выбирается не одна-две работы, а пять или десять, есть определённая гарантия что все достойные работы попадут в этот список. По закону Старджона, 90% чего угодно можно отсеять как не стоящее внимания. Этим отсеиванием и займётся жюри, как наиболее внимательное и знающее звено.
Всенародное голосование гарантирует, что победившая работа не окажется какой-нибудь интересной лишь для самого жюри хреновиной.
То, что работа нравится экспертам, ещё не делает её лучшей. Особенно если эти "эксперты" - авторы в той же области.
Субъективность экспертного сообщества порой зашкаливает, примеров достаточно.
Субъективность " широкой публики" зашкаливает еще больше. Статистически интерактивная литература неинтересна ни массе читателей, ни массе любителей компьютерных игр. Да и субъективность одного человека вещь, мне кажется, доказанная. На телеконкурсах и в спорте ее нейтрализуют, собирая жюри из нескольких человек.
Но в целом способ Некса мне кажется заслуживающим внимания. Хороший способ. При условии, что публика по численности будет минимум раз в десять превышать число членов жюри. И должна будет ставить оценки ранжированно - то есть не иметь права ставить одинаковые баллы разным играм. Либо каждый игрок будет просто отдавать единственный голос за лучшую игру.
По мне так всегда хватало для наших конкурсов жюри из трех-семи человек. Когда работ было немного. Проблема стала актуальной только с появлением массовых конкурсов, таких как последние КРИЛы и февральский ВЖЖ-ВЖЖ.
Отредактировано Korwin (18.05.2013 05:55)
Неактивен
0 0 #3
18.05.2013 08:09
0 #3Re: Идеальная система судейства
Nex написал:
Отмечу, что я считаю предложенную мной систему судейства идеальной не только для текстовых игр, или даже просто игр. На мой взгляд, она равно подходит для всех масштабных конкурсов творческих работ, результаты которых будут представлены широкой публике.
Например, по такой системе выбирали схему московского метро.
Так я и сказал - хорошая схема. Особенно для масштабных конкурсов.
Неактивен
0 0 #4
18.05.2013 13:06
0 #4Re: Идеальная система судейства
goraph написал:
Если есть жюри, возникает вопрос как выбираются члены жюри.
Ну то есть по факту я знаю как они выбираются - в жюри берут полуслучайным образом или того кто больше в форумах и чатах нафлудил (простите, лучше себя рекламировал), или друзей организатора. Но вот что заставляет всех остальных считать голос флудеров более весомым и важным чем остальные голоса, мне не совсем понятно.
Кстати члены жюри это такие же точно люди как остальные, и иногда точно так же голосуют за игры своих друзей.
Goraph, пр факту в жюри попадает тот, кто имеет время, интерес и желание играть во все конкурсные игры и писать еще на них обзоры. Видимо, в виде саморекламы. То есть тот, кто готов не просто потрепаться на форуме, но еще и поработать. Ну, и при этом, способен давать более-менее объективные оценки. Большого числа желающих на такую работу - не наблюдаю. Труда много - критики как всегда.
Неактивен
0 0 #5
19.05.2013 21:11
0 #5Re: Идеальная система судейства
Olegus t.Gl. написал:
Nex написал:
Конкурс с большим количеством творческих работ. Требуется выбрать лучшую. Результат должен максимально устраивать всех заинтересованных лиц, включая конечных потребителей.
Предложенная схема "1. Жюри 2. Народный выбор" отсеивает часть слабых работ на первом этапе, это да.
Но это никак не решает вопрос накруток на второй стадии. Ну да, меньше участников. Но можно предположить, что у сильных претендентов и поклонники будут серьёзнее. Одно дело ходить и агитировать голосовать за "Свидетеля", другое — за "Чёрный континент".
"Неизведанное" до сих пор высоко стоит в списке лучших работ на "Гиперкниге", что подтверждает твою точку зрения, Olegus t.Gl. Много сильных сторонников может быть и у слабой игры. Здесь мы по крайней мере не пропустим во-второй этап игры, подобные "Неизведанному" или недоделки вроде "Семь смертей Ю.Боумена".
Olegus t.Gl. написал:
Подобные разговоры сложно вести без статистических выкладок. Предлагаю попросить Евга, как организатора КРИЛ-2012, на основе статистики по оценкам попробовать прикинуть, что бы изменилось, поменяй он систему судейства.
Результаты бы поменялись обязательно. И что это доказывает?
Olegus t.Gl. написал:
Ну и кроме того, не мешало бы рассмотреть данную схему с точки зрения заинтересованности авторов, например, в презентации своих работ игрокам из других сообществ. Насколько теряется поддержка присланных работ после проведения 1-го этапа? Как будет обстоять дело с таким интересным событием как "Открытие конкурса"?
Если честно, то я против того, чтобы автор лично занимался продвижением своей работы. Говорю, как человек с опытом в данном вопросе. Сыт "по горло". Продвигать надо конкурсы, а не работы.
Olegus t.Gl. написал:
И конечно да, учитывая ориентацию на атмосферу чуть ли не принудительного "уважения и доброжелательности" — насколько всё же компетентно может быть у нас жюри?
Ну да. Судя по последним диалогам на форуме, у нас тут просто сонное царство "уважения и доброжелательности"... В обстановке всеобщего троллизма жюри будет, разумеется, намного компетентнее. Я правильно уловил твою мысль?
Olegus t.Gl. написал:
В общем, давайте попросим Евга смоделировать. Например, выберем здесь жюри, затем Евг на основе данных КРИЛ составит перечень топ-10 игр по оценкам выбранных нами членов жюри и посмотрит, будут ли потери в результатах КРИЛ — то есть выйдут ли "забракованные" по этому алгоритму игры в итоговый топ. Да, разумеется, оценка "нравится лично мне" у добросовестного члена жюри может отличаться от оценки "рекомендовал бы для других", но кого это волнует! Тем более это же Евг будет считать, не мы.
1. Предложи состав жюри?
2. Предложи свою схему судейства, лучшую?
Что касается меня, то если требуется два этапа голосования - то пока меня устраивает схема Nex'a, а если достаточно одного этапа, возможно, лучше всеобщим голосованием выбирать жюри из трех семи человек, а потом довериться его выбору. Система не идеальная, но вполне рабочая, в духе "демократического централизма".
Отредактировано Korwin (19.05.2013 21:13)
Неактивен
- Список
- » Конкурсы, фестивали, мероприятия
- » Идеальная система судейства