Тема закрыта
Я подумал, что было бы хорошо оградить своих будущих разработчиком и бета-тестеров от многократного ручного тестирования игр.
Страсти в теме КРИЛ просто пугают...
В приложении пока еще очень сырая программка - Тостер.
Работает на примере теста для стандартной библиотеки.
Для ручного тестирования запускаем std_test.bat и тестируем как обычно.
Для автоматического тестирования запускаем test7.bat и тестируем нажимая anykey.
Замечания:
1. ТОМ сейчас не обрабатывает команду run с аргументом, поэтому в начале теста вываливается диалог, в котором необходимо выбрать тестируемую игру. В нашем примере необходимо выбрать файл std_test.tom (доделаю).
2. Тостер пока не обрабатывает команды для input(), поэтому часть команд надо вводить руками (доделаю).
UPD:
3. Пока нет тестового режима для рандома. (доделаю).
--------------------------------------------------------------------------------
Прикрепленные файлы:
Toster.rar, Размер: 239,654 байт, Скачано: 4
Неактивен
интересная штуковина.
прежде чем выбирать инструмент тестирования, я бы попробовал сформулировать, каким должно быть идеальное тестирование:
1. как минимум один из тестеров должен заниматься просмотром текста программы. только так можно отследить все возможные некорректные реакции игры. + конечно, он должен проводить и обычное тестирование
2. основной задачей другого тестера должна быть проверка реакции игры на различные комбинации действий и предметов в различных ситуациях.
естественно, оба тестера (или сколько их там будет) должны иметь возможность постоянного общения м/ду собой (напр по ICQ).
и как бы эту прогу применить? разве что для теста проходимости. хотя, если генерить текст для тостера другой программой на дельфях с учётом.. эту мысль ещё надо додумать.
Неактивен
http://ru.wikipedia.org/wiki/Регрессионное_тестирование - можно тут немного почитать.
Как применять, будет более понятно, когда немного доделаю.
Основная идея, что для игры можно сделать много тестовых файлов на все случаи жизни и все варианты прохождения и прогонять их на полном автомате с контролем ошибок. Т.е. если что-то вдруг сломается - это не останется незамеченным.
Неактивен
теперь понятно. т е после исправления каждой ошибки, создаём тест на неё. в итогде получим несколько текстовых файлов, составленных таким образом, чтобы охватывать все встреченные ранее ошибки, и приходить к финишу всеми возможными способами.
Неактивен
Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.
Неактивен
Ntropy написал:
Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Организовать подачу команд на вход парсера из текстового файла совсем не сложно.
В любом случае, для ТОМа будет специализированное средство для тестирования.
Неактивен
Ntropy написал:
Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.
Нет, не для любого. Игры с элементами случайности такой бот не пройдет.
Отредактировано Nex (01.12.2009 11:34)
Неактивен
Nex написал:
Ntropy написал:
Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.Нет, не для любого. Игры с элементами случайности такой бот не пройдет.
Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:
Неактивен
elmortem написал:
Nex написал:
Ntropy написал:
Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.Нет, не для любого. Игры с элементами случайности такой бот не пройдет.
Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:
Посмотрим, как твой бот одолеет Серафима.
Неактивен
elmortem написал:
Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:
А как бот будет отличать найденные баги от непопадания в рандом?
Неактивен
ASBer написал:
elmortem написал:
Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:
А как бот будет отличать найденные баги от непопадания в рандом?
Как автор научит, так и будет.
Неактивен
elmortem написал:
Как автор научит, так и будет.
Это не ответ.
У автора просто не будет никаких средств для обучения бота столь нетривиальной задаче.
Неактивен
Слегка доработал тостер.
Теперь весь тест проходит нажатием одной клавиши.
Осталось сделать тестовый режим для рандома и разные сервисные фишки.
--------------------------------------------------------------------------------
Прикрепленные файлы:
Toster.rar, Размер: 242,821 байт, Скачано: 13
Неактивен
У самого в планах ПО "Проигрыватель для Бета-теста".
Стой лишь разницей, что данная прога должна сама обеспечивать нужными инструментами для тестов. Т.е. почти тоже самое, что проигрыватель для квестов, но заточенный для тестирования.
Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования. К тому же, как я понимаю, у твоего движка нет проблем работы и с оконными приложениями. Так что особых трудов это вызвать не должно.
З.Ы.
Полагаю, что так ты бы сильно помог, как авторам, так и разработчикам.
Неактивен
Eten написал:
Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования.
Э нет... это уже инструмент совсем другого калибра.
С оконными приложениями действительно никаких проблем нет, но полноценная оконная среда для разработки - задача пока неподъемная.
Поэтому пока делаю упор на мелкий, но полезный инструментарий.
Неактивен
ASBer написал:
Eten написал:
Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования.
Э нет... это уже инструмент совсем другого калибра.
С оконными приложениями действительно никаких проблем нет, но полноценная оконная среда для разработки - задача пока неподъемная.
Поэтому пока делаю упор на мелкий, но полезный инструментарий.
Да я не про IDE или дебагер, а про то, что можно сделать тот же самый TOM хотя бы, но для бета-теста квестов исключительно. А в оконном, можно сделать процесс удобнее. Это все не сложнее создания оконного проигрывателя. Вот к чему я вел.
Отредактировано Eten (03.12.2009 22:29)
Неактивен
Тема закрыта