Схема новостного бота и проверки
Как подобает · podobaev.ru

Упрощенная схема по статье: от источника до сообщения. Начните с одного источника и контрольной новости, затем расширяйте список.

1. Источники → новые публикации
Проверять выбранные адреса по расписанию. Отдельно убедиться, что каждый источник действительно отдает свежие новости; наличие адреса в списке этого не доказывает.

2. Публикация → чистый текст
Выделить заголовок, дату, ссылку и фрагмент статьи. Если чистый текст не получен, использовать короткое описание источника. Проверить, что в сообщение не попали меню и реклама.

3. Проверка свежести и темы
Сверить дату и выбранные темы. При первом запуске не отправлять весь старый архив; контрольную выдачу смотреть отдельно.

4. Сравнение с уже найденными событиями
Проверять не только ссылки, но и суть новости. Два текста об одном событии должны объединяться, а похожие заголовки о разных матчах — оставаться разными.

5. Новость → сообщение в Telegram
Отправить текст и ссылку на источник. Проверить настоящее сообщение: понятен ли смысл, не обрезан ли текст, работает ли ссылка.

6. Несколько дней живой ленты
Собрать примеры повторов, пропущенных событий и лишнего текста. После исправления повторить проверку на сервере с теми же примерами.

В описанной итоговой версии ИИ-сводки нет. Распознавание дублей проверяется на примерах и живой ленте, а не обещанием полностью исключить повторы.