Forum.iFiction.Ru

iFiction.Ru · ifHub · FAQ · IFWiki · QSP · URQ · INSTEAD · AXMA

форум об interactive fiction, текстовых приключенческих играх и всём таком...

Вы не зашли.

2    0    #1
13.05.2018 10:31

Oreolek
Модератор (+450, -169)
Откуда: Кемерово
Зарегистрирован: 02.11.2009
Сообщений: 673
Вебсайт

Скрипт дайджестов новостей

Как многие знают, я веду колонку на IFHub со свежими релизами текстовых и околотекстовых игр. В этом мне очень помогает автоматический скрипт-парсер игровых сайтов.

Скрипт написан на PHP и выложен на Gitlab под лицензией GPLv3. На самом деле это - не один скрипт, а набор из трёх проектов с похожим кодом парсеров.

Во-первых, это сам сценарий дайджестов для IFHub'а. Он сканирует все библиотеки и выдаёт уже оформленный список новых игр.

Во-вторых, это - похожий скрипт, но для бота Mastodon (заодно и с поддержкой Telegram.) Он ведёт постоянную ленту релизов в микроблогах, с указанием какие именно библиотеки попадают в ленту (чтобы как-то разделить ленты русских и иностранных игр).

В-третьих, это ещё и бот для русской IFWiki, который делает статьи о новых играх. (Вызывается вручную, чтобы не захламлять энциклопедию.) У него частично свой код парсеров, потому что он парсит отдельные страницы игр со всеми деталями, а не общую ленту с минимумом информации.

Приглашаю всех желающих помочь в улучшении. Нужно:

  • больше парсеров (например, для новых геймстори Квестбука)
  • улучшить парсеры (например, парсеры Anivisual и Textadventures не могут достать описания игр, а парсер Steam не может пройти ограничение по возрасту)
  • причесать код (потому что три проекта всё ещё не склеены на 100%)

Тут будут сообщения об обновлениях.

Неактивен

2    0    #2
13.05.2018 14:06

Nikita
Модератор (+404, -135)
Зарегистрирован: 29.10.2016
Сообщений: 139

Re: Скрипт дайджестов новостей

У релизов геймстори на quest-book.ru есть свой RSS, который можно распарсить уже имеющимися функциями, - https://quest-book.ru/online/rss.xml

Отредактировано Nikita (13.05.2018 17:23)

Неактивен

0    0    #3
15.05.2018 14:15

Oreolek
Модератор (+450, -169)
Откуда: Кемерово
Зарегистрирован: 02.11.2009
Сообщений: 673
Вебсайт

Re: Скрипт дайджестов новостей

Коммит 307404b: причесал код (теперь один конфиг на YAML вместо двух), включил обратно Квестер. :-)

UPD 16.05: добавил парсер второй ленты Квестбука (геймстори) и тесты для клиента VNDB API… клиент пока что не работает, так что и парсить пока с него нечего

Отредактировано Oreolek (16.05.2018 11:25)

Неактивен

Powered by PunBB
© copyright 2001–2024 iFiction.Ru