Forum.iFiction.Ru

iFiction.Ru · ifHub · FAQ · IFWiki · QSP · URQ · INSTEAD · AXMA

форум об interactive fiction, текстовых приключенческих играх и всём таком...

Вы не зашли.

0    1    #1
15.05.2013 20:29

Nex
Участник (+120, -130)
Зарегистрирован: 11.06.2007
Сообщений: 2053

---

Идеальная система судейства

Предлагаю обсудить, какой вы видите идеальную систему судейства.

Исходные условия:

Конкурс с большим количеством творческих работ. Требуется выбрать лучшую. Результат должен максимально устраивать всех заинтересованных лиц, включая конечных потребителей.


Мой вариант:

Шаг 1. Авторитетное жюри выбирает из массы работ N лучших (допустим, пять).

Шаг 2. "Общенародным голосованием" из этих N работ выбирается лучшая.


Предлагайте свои варианты, высказывайтесь.

Неактивен

1    0    #2
18.05.2013 11:08

Olegus t.Gl.
Участник (+1053, -249)
Откуда: Москва
Зарегистрирован: 01.03.2001
Сообщений: 2879
Вебсайт

Re: Идеальная система судейства

Евг написал:

Nex написал:

Конкурс с большим количеством творческих работ. Требуется выбрать лучшую.

Nex написал:

Лучшей работу делает победа в конкурсе

Отлично smile)

Отлично, да. Многое стало гораздо понятнее.

Неактивен

0    0    #3
19.05.2013 20:13

Olegus t.Gl.
Участник (+1053, -249)
Откуда: Москва
Зарегистрирован: 01.03.2001
Сообщений: 2879
Вебсайт

Re: Идеальная система судейства

Nex написал:

Конкурс с большим количеством творческих работ. Требуется выбрать лучшую. Результат должен максимально устраивать всех заинтересованных лиц, включая конечных потребителей.

Предложенная схема "1. Жюри 2. Народный выбор" отсеивает часть слабых работ на первом этапе, это да.
Но это никак не решает вопрос накруток на второй стадии. Ну да, меньше участников. Но можно предположить, что у сильных претендентов и поклонники будут серьёзнее. Одно дело ходить и агитировать голосовать за "Свидетеля", другое — за "Чёрный континент".
Подобные разговоры сложно вести без статистических выкладок. Предлагаю попросить Евга, как организатора КРИЛ-2012, на основе статистики по оценкам попробовать прикинуть, что бы изменилось, поменяй он систему судейства.

Ну и кроме того, не мешало бы рассмотреть данную схему с точки зрения заинтересованности авторов, например, в презентации своих работ игрокам из других сообществ. Насколько теряется поддержка присланных работ после проведения 1-го этапа? Как будет обстоять дело с таким интересным событием как "Открытие конкурса"?

И конечно да, учитывая ориентацию на атмосферу чуть ли не принудительного "уважения и доброжелательности" — насколько всё же компетентно может быть у нас жюри?

В общем, давайте попросим Евга смоделировать. Например, выберем здесь жюри, затем Евг на основе данных КРИЛ составит перечень топ-10 игр по оценкам выбранных нами членов жюри и посмотрит, будут ли потери в результатах КРИЛ — то есть выйдут ли "забракованные" по этому алгоритму игры в итоговый топ. Да, разумеется, оценка "нравится лично мне" у добросовестного члена жюри может отличаться от оценки "рекомендовал бы для других", но кого это волнует! Тем более это же Евг будет считать, не мы.

Неактивен

1    0    #4
19.05.2013 21:43

Olegus t.Gl.
Участник (+1053, -249)
Откуда: Москва
Зарегистрирован: 01.03.2001
Сообщений: 2879
Вебсайт

Re: Идеальная система судейства

Korwin написал:

Olegus t.Gl. написал:

Подобные разговоры сложно вести без статистических выкладок. Предлагаю попросить Евга, как организатора КРИЛ-2012, на основе статистики по оценкам попробовать прикинуть, что бы изменилось, поменяй он систему судейства.

Результаты бы поменялись обязательно. И что это доказывает?

На примере КРИЛ-2012, вспоминая некоторые баталии, заявления и действия ряда активистов на канале и на форумах, можно говорить о том, что накручивают не только слабые игры. Как бы при этом поменялись результаты в контексте данного вопроса не так уж важно. Накручивать будут, просто это будет происходить немного в другое время.

Korwin написал:

Olegus t.Gl. написал:

Ну и кроме того, не мешало бы рассмотреть данную схему с точки зрения заинтересованности авторов, например, в презентации своих работ игрокам из других сообществ. Насколько теряется поддержка присланных работ после проведения 1-го этапа? Как будет обстоять дело с таким интересным событием как "Открытие конкурса"?

Если честно, то я против того, чтобы автор лично занимался продвижением своей работы. Говорю, как человек с опытом в данном вопросе. Сыт "по горло". Продвигать надо конкурсы, а не работы.

Я имею в виду поддержку со стороны конкурса, со стороны организаторов и т.п. По-хорошему, конкурс должен не только собрать и посчитать, но и ознакомить людей с играми, а также сделать весь этот процесс интересным. Про твой опыт и твои игры я знаю, и это тема не для текущего обсуждения.

Korwin написал:

Olegus t.Gl. написал:

И конечно да, учитывая ориентацию на атмосферу чуть ли не принудительного "уважения и доброжелательности" — насколько всё же компетентно может быть у нас жюри?

Ну да. Судя по последним диалогам на форуме, у нас тут просто сонное царство "уважения и доброжелательности"... В обстановке всеобщего троллизма жюри будет, разумеется, намного компетентнее. Я правильно уловил твою мысль?

Нет, неправильно. Ты просто огрызнулся. Я вот просто подумал, что если перед членами жюри встала бы дилемма: включить ли слабую игру Адженты, которую она мучительно писала два-три года, или пропустить вперёд новичка с более яркой игрой, то как бы они поступили? Не, ну скорее всего они бы быстренько увеличили число игр на первом этапе (например с 10 до 11), чтобы не обидеть обоих, но это тоже показатель. Представляю, каким пафосным заявлением это сопровождалось бы.

Korwin написал:

Olegus t.Gl. написал:

В общем, давайте попросим Евга смоделировать. Например, выберем здесь жюри, затем Евг на основе данных КРИЛ составит перечень топ-10 игр по оценкам выбранных нами членов жюри и посмотрит, будут ли потери в результатах КРИЛ — то есть выйдут ли "забракованные" по этому алгоритму игры в итоговый топ.

1. Предложи состав жюри?
2. Предложи свою схему судейства, лучшую?

1. Мне нельзя писать про состав жюри.
2. Ну мы же пока разбираем плюсы и минусы конкретного предложения?

Korwin написал:

Что касается меня…

Да, я про это уже читал здесь и здесь.

Неактивен

0    0    #5
20.05.2013 12:51

Olegus t.Gl.
Участник (+1053, -249)
Откуда: Москва
Зарегистрирован: 01.03.2001
Сообщений: 2879
Вебсайт

Re: Идеальная система судейства

Nex написал:

Olegus t.Gl. написал:

Предложенная схема ... никак не решает вопрос накруток на второй стадии.

Совершенно верно. Это и не входит в её задачи. Если нужно защитить конкурс от накруток - нужно выбирать способ защиты от накруток, а не систему судейства.

Если предложенная тобой система судейства лишь избавляет конкурс от накруток и прочего "мухлежа" по слабым играм — то да, обсуждение этого вопроса можно отложить. Хотя это не такая уж серьёзная проблема, если над конкурсом работать, а не просто вести учёт оценок и высчитывать в итоге результат.

Nex написал:

К тому же, накрутка заведомо сильной и интересной игры не вызовет столько негатива, сколько накрутка слабой.

Интересная позиция. Вот только мне она кажется немного порочной. Накрутка пусть и сильной игры — это плохо, потому как никакой пользы не несёт.

Nex написал:

Olegus t.Gl. написал:

оценка "нравится лично мне" у добросовестного члена жюри может отличаться от оценки "рекомендовал бы для других"

Само собой, жюри, как и игроки, по-хорошему должны ориентироваться на свой собственный вкус и предпочтения. Конечно, некоторые скатятся в "рекомендовал бы для других", но это не должно сильно повлиять.

Вообще-то я как раз и имел в виду, что жюри в первую очередь должно ориентироваться на "может быть интересно другим" (именно это и характеризует экспертность и объективность оценки). Просто в таком случае брать оценки КРИЛа для моделирования конкурса с твоим вариантом судейства не вполне корректно.

Nex написал:

Olegus t.Gl. написал:

если перед членами жюри встала бы дилемма: включить ли слабую игру Адженты, которую она мучительно писала два-три года, или пропустить вперёд новичка с более яркой игрой, то как бы они поступили

Во-первых, это может произойти только если обе игры набрали равное количество баллов.
Во-вторых, даже если допустим у этих игр "ничья" и это решает вопрос попадания в топ, то есть они в конце списка. Это означает что все остальные игры - заведомо сильнее. Для отсечения всяческих жюрийных перекосов и существует второй этап.

Для подобной ситуации не нужно равного количества баллов. Для этого нужно только, чтобы игра гипотетической Адженты оказалась ниже последней строчки списка, формируемого жюри. Хоть на последнем месте.
Ну а участники второго этапа вообще не обременены какими-то обязательствами быть объективными и всё такое. Вы протащите в наш этап, а мы уже позаботимся. Ну и не нужно сбрасывать со счетов подрыв в этом случае авторитета жюри и конкурса в целом.

Насчёт реальности странных и труднопредставляемых ситуаций, то "Вжж:Бабочки"— отличная иллюстрация, когда в жертву симпатиям и "я не успеваю" был принесён целый конкурс. После такого я во многое готов поверить.

Неактивен

Powered by PunBB
© copyright 2001–2024 iFiction.Ru