Forum.iFiction.Ru

iFiction.Ru · ifHub · FAQ · IFWiki · QSP · URQ · INSTEAD · AXMA

форум об interactive fiction, текстовых приключенческих играх и всём таком...

Вы не зашли.

0    0    #1
30.11.2009 16:04

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Регрессионное тестирование игр на платформе ТОМ

Я подумал, что было бы хорошо оградить своих будущих разработчиком и бета-тестеров от многократного ручного тестирования игр.
Страсти в теме КРИЛ просто пугают...

В приложении пока еще очень сырая программка - Тостер.
Работает на примере теста для стандартной библиотеки.

Для ручного тестирования запускаем std_test.bat и тестируем как обычно.
Для автоматического тестирования запускаем test7.bat и тестируем нажимая anykey.

Замечания:
1. ТОМ сейчас не обрабатывает команду run с аргументом, поэтому в начале теста вываливается диалог, в котором необходимо выбрать тестируемую игру. В нашем примере необходимо выбрать файл std_test.tom (доделаю).

2. Тостер пока не обрабатывает команды для input(), поэтому часть команд надо вводить руками (доделаю).

UPD:
3. Пока нет тестового режима для рандома. (доделаю).

--------------------------------------------------------------------------------
Прикрепленные файлы:
Toster.rar, Размер: 239,654 байт, Скачано: 4

Неактивен

0    0    #2
30.11.2009 17:25

noname
Участник (+36, -9)
Зарегистрирован: 04.04.2008
Сообщений: 729

noname

Re: Регрессионное тестирование игр на платформе ТОМ

интересная штуковина.

прежде чем выбирать инструмент тестирования, я бы попробовал сформулировать, каким должно быть идеальное тестирование:

1. как минимум один из тестеров должен заниматься просмотром текста программы. только так можно отследить все возможные некорректные реакции игры. + конечно, он должен проводить и обычное тестирование

2. основной задачей другого тестера должна быть проверка реакции игры на различные комбинации действий и предметов в различных ситуациях.

естественно, оба тестера (или сколько их там будет) должны иметь возможность постоянного общения м/ду собой (напр по ICQ).

и как бы эту прогу применить? разве что для теста проходимости. хотя, если генерить текст для тостера другой программой на дельфях с учётом.. эту мысль ещё надо додумать.

Неактивен

0    0    #3
30.11.2009 18:31

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

http://ru.wikipedia.org/wiki/Регрессионное_тестирование - можно тут немного почитать.
Как применять, будет более понятно, когда немного доделаю.
Основная идея, что для игры можно сделать много тестовых файлов на все случаи жизни и все варианты прохождения и прогонять их на полном автомате с контролем ошибок. Т.е. если что-то вдруг сломается - это не останется незамеченным.

Неактивен

0    0    #4
30.11.2009 18:35

noname
Участник (+36, -9)
Зарегистрирован: 04.04.2008
Сообщений: 729

noname

Re: Регрессионное тестирование игр на платформе ТОМ

теперь понятно. т е после исправления каждой ошибки, создаём тест на неё. в итогде получим несколько текстовых файлов, составленных таким образом, чтобы охватывать все встреченные ранее ошибки, и приходить к финишу всеми возможными способами.

Неактивен

0    0    #5
30.11.2009 18:44

Ntropy
Участник (+1)
Зарегистрирован: 22.07.2009
Сообщений: 47

акрибофобия — боязнь не понять смысл прочитанного

Re: Регрессионное тестирование игр на платформе ТОМ

Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.

Неактивен

0    0    #6
01.12.2009 09:16

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

Ntropy написал:

Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.

Организовать подачу команд на вход парсера из текстового файла совсем не сложно.
В любом случае, для ТОМа будет специализированное средство для тестирования.

Неактивен

0    0    #7
01.12.2009 11:33

Nex
Участник (+120, -130)
Зарегистрирован: 11.06.2007
Сообщений: 2053

---

Re: Регрессионное тестирование игр на платформе ТОМ

Ntropy написал:

Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.

Нет, не для любого. Игры с элементами случайности такой бот не пройдет.

Отредактировано Nex (01.12.2009 11:34)

Неактивен

0    0    #8
01.12.2009 11:56

elmortem
Участник
Откуда: Терра
Зарегистрирован: 29.06.2007
Сообщений: 111
Вебсайт

Тихо, идёт запись!

Re: Регрессионное тестирование игр на платформе ТОМ

Nex написал:

Ntropy написал:

Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.

Нет, не для любого. Игры с элементами случайности такой бот не пройдет.

Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:

Неактивен

0    0    #9
01.12.2009 12:58

Nex
Участник (+120, -130)
Зарегистрирован: 11.06.2007
Сообщений: 2053

---

Re: Регрессионное тестирование игр на платформе ТОМ

elmortem написал:

Nex написал:

Ntropy написал:

Вчера на канале обсуждалось использование для этого обычных утилит для записи и проигрывания макрокоманд.
Для любого плеера и без изменений кода, думаю возможно универсальное решение.

Нет, не для любого. Игры с элементами случайности такой бот не пройдет.

Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:

Посмотрим, как твой бот одолеет Серафима.

Неактивен

0    0    #10
01.12.2009 13:38

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

elmortem написал:

Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:

А как бот будет отличать найденные баги от непопадания в рандом?

Неактивен

0    0    #11
01.12.2009 13:46

elmortem
Участник
Откуда: Терра
Зарегистрирован: 29.06.2007
Сообщений: 111
Вебсайт

Тихо, идёт запись!

Re: Регрессионное тестирование игр на платформе ТОМ

Nex написал:

Посмотрим, как твой бот одолеет Серафима.

Чушь не пори.

Неактивен

0    0    #12
01.12.2009 13:47

elmortem
Участник
Откуда: Терра
Зарегистрирован: 29.06.2007
Сообщений: 111
Вебсайт

Тихо, идёт запись!

Re: Регрессионное тестирование игр на платформе ТОМ

ASBer написал:

elmortem написал:

Для этого нужно, что бы бот умел многократно проходить игру. 100-200-300 прохождений и никакой рендом не выдержит. (:

А как бот будет отличать найденные баги от непопадания в рандом?

Как автор научит, так и будет.

Неактивен

0    0    #13
01.12.2009 14:23

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

elmortem написал:

Как автор научит, так и будет.

Это не ответ.
У автора просто не будет никаких средств для обучения бота столь нетривиальной задаче.

Неактивен

0    0    #14
01.12.2009 15:02

Nex
Участник (+120, -130)
Зарегистрирован: 11.06.2007
Сообщений: 2053

---

Re: Регрессионное тестирование игр на платформе ТОМ

elmortem написал:

Nex написал:

Посмотрим, как твой бот одолеет Серафима.

Чушь не пори.

То, что твой макробот одолеет любую текстовую игру, и есть чушь.

Неактивен

0    0    #15
03.12.2009 14:16

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

Слегка доработал тостер.
Теперь весь тест проходит нажатием одной клавиши.
Осталось сделать тестовый режим для рандома и разные сервисные фишки.

--------------------------------------------------------------------------------
Прикрепленные файлы:
Toster.rar, Размер: 242,821 байт, Скачано: 13

Неактивен

0    0    #16
03.12.2009 17:44

Eten
Участник (+9, -307)
Откуда: Балаково, Санкт-Петербург.
Зарегистрирован: 21.05.2007
Сообщений: 1416
Вебсайт

---

Re: Регрессионное тестирование игр на платформе ТОМ

У самого в планах ПО "Проигрыватель для Бета-теста".
Стой лишь разницей, что данная прога должна сама обеспечивать нужными инструментами для тестов. Т.е. почти тоже самое, что проигрыватель для квестов, но заточенный для тестирования.

Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования. К тому же, как я понимаю, у твоего движка нет проблем работы и с оконными приложениями. Так что особых трудов это вызвать не должно.

З.Ы.
Полагаю, что так ты бы сильно помог, как авторам, так и разработчикам.

Неактивен

0    0    #17
03.12.2009 18:03

ASBer
Модератор (+161, -20)
Откуда: Москва
Зарегистрирован: 19.07.2007
Сообщений: 816
Вебсайт

Эники-Бэники
ели вареники,
а Джоники-Мнемоники
ели психотроники.

Re: Регрессионное тестирование игр на платформе ТОМ

Eten написал:

Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования.

Э нет... это уже инструмент совсем другого калибра.
С оконными приложениями действительно никаких проблем нет, но полноценная оконная среда для разработки - задача пока неподъемная.

Поэтому пока делаю упор на мелкий, но полезный инструментарий.

Неактивен

0    0    #18
03.12.2009 22:28

Eten
Участник (+9, -307)
Откуда: Балаково, Санкт-Петербург.
Зарегистрирован: 21.05.2007
Сообщений: 1416
Вебсайт

---

Re: Регрессионное тестирование игр на платформе ТОМ

ASBer написал:

Eten написал:

Т.е. тебе лучше создать оконный тестировщик для своего движка. Где будет надлежащий набор инструментов для тестирования.

Э нет... это уже инструмент совсем другого калибра.
С оконными приложениями действительно никаких проблем нет, но полноценная оконная среда для разработки - задача пока неподъемная.

Поэтому пока делаю упор на мелкий, но полезный инструментарий.

Да я не про IDE или дебагер, а про то, что можно сделать тот же самый TOM хотя бы, но для бета-теста квестов исключительно. А в оконном, можно сделать процесс удобнее. Это все не сложнее создания оконного проигрывателя. wink Вот к чему я вел.

Отредактировано Eten (03.12.2009 22:29)

Неактивен

Powered by PunBB
© copyright 2001–2024 iFiction.Ru