Skip to content
undervolterPublic

About

An ad parser/sniper for OLX // Парсер/снайпер обьявлений на OLX

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

pantheon

изображение

Русский | English

Go Release License Telegram Updates Project Status: Active

Парсер / снайпер объявлений OLX с управлением через тг бота.

Что умеет

  • Уведомлять вас через бот, если вышло новое обьявление
  • Гибкая настройка фильтров (диапазон цен, спец. фильтры, города, слова-исключения и др.)
  • Ловить только бесплатные обьявления («Безкоштовно») в любой категории
  • Работать с несколькими юзерами одновременно: у каждого чата свои фильтры, язык, пауза и тихие часы
  • Отправлять алерты через Rich (недавнее нововведение телеграма)
  • Меню на русском, украинском и английском
  • Хранить фильтры, просмотренные обьявления и журнал алертов в SQLite (pantheon.db)
  • Восстанавливать рассылку обьявлений после сбоя сети или перезапуска
  • Фильтровать новоподнятые/платные обьявления
  • Экспортировать и импортировать фильтры файлом

Что нового в 0.2.0

  • Цена «Бесплатно» — отдельный режим на шаге цены, доступен во всех категориях; можно просто ввести 0.
  • Новый пульт в боте — карточки с таблицами, цветные кнопки, визард из пяти шагов, «Недавние алерты», счётчики «сегодня / 7 дней», пауза чата, тихие часы, «отложить фильтр», слова-исключения, экспорт/импорт, три языка.
  • SQLite вместо .txt — фильтры и кэш просмотренных живут в pantheon.db. Данные 0.1.x переносятся сами при первом запуске.
  • Доступ — первый администратор привязывается одноразовым кодом из консоли; остальных добавляет он.
  • Исправлено много ошибок, из-за которых алерты терялись или дублировались. Подробности — в истории коммитов.

Возможно задаваемые вопросы

В чём разница между другими ботами?

В основном все подобные боты используют связку Python + BS4 (BeautifulSoup). Минус такой связки очевиден - при малейшем изменении вёрстки, такие боты быстро слепнут, а нередко ловят 403/429.

pantheon использует мобильный API OLX, поэтому такой проблемы у него нет. Также бот умеет работать с несколькими юзерами одновременно и имеет систему владения фильтров.

Почему бот отправляет обьявления с задержкой? Кодер даун? У OLX есть две даты - дата создания (когда продавец нажал на кнопку "Опубликовать") и дата индексации в поисковую выдачу. Обычно, задержка бывает ~10 минут, в некоторых случаях до 15–20.

В эти минуты вкладываются:

  1. Время модерации

  2. Время индексации (в условный Elasticsearch)

По неизвестной для меня причине, OLX индексирует сразу несколько десятков обьявлений волнами по 5-10 минут (иногда больше).

На это бот влиять не может! Он только забирает новые обьявления из базы OLX.

Свежесть обьявления вы можете проверить количеством просмотров на ней. Если счётчик 0 или 1 - вы реально единственный кто посмотрел на обьявление.

Из-за этой же задержки настройка «Макс. возраст лота» не должна быть меньше 20 минут: иначе бот будет считать «старым» почти всё, что OLX ему показывает. По умолчанию стоит 30.

В чём разница между обычным алертом и Rich алертом? Разницу можете наблюдать на фото.
Rich алерт изображение
Обычный алерт изображение

Вид карточки переключается в «Настройки → Вид карточки». Если сервер Bot API не знает rich-сообщений или отклонил конкретную карточку, бот сам отправит обычную.

Почему в боте нет недвижимости?

Недвижка была удалена из opencore версии, поскольку этой категорией слишком сильно интересуются. Возможно будет возвращение данной фичи

Быстрый старт

1. Настройка конфигурации

Скопируйте config.example.json в config.json и укажите:

  • telegram_bot_token: токен вашего бота от @BotFather (или задайте переменную окружения PANTHEON_BOT_TOKEN — тогда токен не хранится в файле)

telegram_chat_ids можно оставить пустым.

2. Запуск

go run .

Или сборка исполняемого файла:

go build -o pantheon .
./pantheon

3. Привязка администратора

Если в конфиге нет ни одного chat_id, при запуске бот напечатает в консоль одноразовый код:

  This bot has no admin yet. To become one, send it this command in a private chat:
      /start a1b2c3d4
  or open  https://t.me/your_bot?start=a1b2c3d4

Отправьте эту команду боту в личку — вы станете администратором, и откроется пульт. Просто написать боту или нажать на его кнопку недостаточно: так доступ не выдаётся никому.

Если telegram_chat_ids заполнен заранее, администратором станет первый пользователь из списка (бот напечатает, кто именно). Назначить другого можно ключом admin_chat_ids.

Остальных добавляет администратор: /addchat <id> для пользователя или канала, /bind внутри группы. Свой chat_id любой может узнать, написав боту /start.


Команды

Команда Что делает
/start Главное меню
/filters Мои фильтры
/add Новый фильтр
/history Недавние алерты
/settings Настройки
/pause, /resume Пауза и возобновление алертов в этом чате
/lang Язык
/export Фильтры файлом; чтобы импортировать, пришлите файл боту
/cancel Отменить текущее действие
/chatid, /version chat_id этого чата, версия бота

Только для администратора: /chats, /bind, /unbind, /addchat <id>, /delchat <id>, /check (проверить выдачу сейчас).

Ссылка на страницу поиска OLX, отправленная боту, превращается в фильтр.


Параметры командной строки

  • -config <path> — путь к конфигурационному файлу (по умолчанию config.json).
  • -once — выполнить один цикл проверки всех фильтров, дождаться отправки алертов и завершить работу.
  • -test-alert — отправить тестовый алерт в Telegram для проверки оформления.
  • -test-url <url> — найти лот по прямой ссылке OLX и прислать алерт в чат.
  • -tg=false — запустить без пульта в Telegram (только мониторинг и алерты).
  • -version — показать текущую версию.

Файл конфигурации

Фильтры в config.json больше не хранятся — они в базе и управляются из бота. В файле остаются токен, чаты и настройки; бот сам дописывает туда то, что меняется из меню.

Ключ По умолчанию Смысл
telegram_bot_token — Токен бота
telegram_chat_ids [] Доверенные чаты: пользуются пультом и получают алерты общих фильтров
admin_chat_ids первый пользователь Администраторы
interval_seconds 15 Интервал опроса, не меньше 3
fetch_limit 20 Лотов за запрос, не больше 50
concurrency 4 Сколько фильтров запрашивать одновременно
backfill true Догружать следующие страницы, если первая переполнилась
notify_on_startup false Слать алерты по первому проходу после запуска
max_alert_age_min 30 Макс. возраст лота в минутах, 0 — без лимита
skip_bumped_old true Не считать новыми старые поднятые лоты
rich_alerts true Rich-карточка вместо обычного текста
send_photos, max_photos true, 3 Фото в алертах, до 10
show_params, max_params true, 0 Характеристики в карточке, 0 — все
language ru Язык по умолчанию: ru, uk, en
timezone Europe/Kyiv Часовой пояс для тихих часов
data_dir рядом с конфигом Где лежит pantheon.db
seen_retention_days 7 Сколько дней помнить просмотренный лот
max_filters_per_chat 50 Лимит фильтров на чат, 0 — без лимита
ansi_hyperlinks true Кликабельные ссылки в консольном логе

languages, paused_chats, quiet_hours и announced_version бот ведёт сам.


Обновление с 0.1.x

Ничего делать не нужно: при первом запуске 0.2.0

  1. фильтры из config.json переезжают в pantheon.db, а исходный файл сохраняется как config.json.bak;
  2. seen_ids.txt импортируется в базу (сам файл остаётся на месте);
  3. фильтры недвижимости переносятся выключенными;
  4. если администратор не задан, им становится первый пользователь из telegram_chat_ids — бот пишет об этом в консоль при запуске. В 0.1.x в этот список попадал тот, кто первым написал боту, так что проверьте, что это вы; если нет — остановите бота и впишите свой id в admin_chat_ids.

Откат на 0.1.x: верните config.json.bak на место config.json.


Лицензия

Распространяется под AGPL-3.0.

About

An ad parser/sniper for OLX // Парсер/снайпер обьявлений на OLX

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages

⌂ 换网址