Если у вас уже есть закупки, которые точно подходят вашей компании, на них можно проверить тендерный поиск. Но тест «из десяти знакомых закупок нашлось восемь» сам по себе ещё не показывает качество поиска.
Практически полезная проверка устроена иначе: заранее фиксируем контрольный набор, формулируем, что считаем релевантной закупкой, сохраняем одинаковые фильтры и период, делаем неизменяемый срез выдачи, вручную разбираем пропуски, убираем дубли и только потом считаем показатели с корректными знаменателями.
Важно сразу обозначить границу. Список известных вам закупок позволяет измерить покрытие этого контрольного набора. Он не превращается автоматически в recall всего поиска. В методике NIST/TREC тестовая коллекция включает корпус документов, информационные потребности — topics — и оценки релевантности, связывающие документы с этими потребностями. Поэтому для настоящего recall нужен не только список найденных объектов, но и достаточно определённое множество всех релевантных объектов внутри тестового корпуса. NIST/TREC: How To TREC.
Сначала зафиксируйте, что именно вы проверяете
Не начинайте с поисковой строки. Сначала соберите контрольный список закупок, про которые вы независимо знаете, что они соответствуют вашей задаче.
Минимальная таблица может быть такой:
Все столбцы — прокрутите таблицу по горизонтали
| Поле | Зачем |
|---|---|
| Номер закупки | идентифицировать объект |
| Исходный источник | проверить существование и содержание |
| Почему закупка подходит | заранее зафиксировать релевантность |
| Дата публикации | проверить период и время появления |
| Закон / режим | определить контур |
| Версия / изменение | не считать одну закупку несколько раз |
in scope / out of scope |
правильно определить знаменатель |
Главное — до запуска сформулировать информационную потребность. В TREC topic — это именно описание информационной потребности, а query — её выражение, которое отправляется поисковой системе. Это полезное различие и для закупок: «найти насос» и «найти закупки промышленного насосного оборудования, которое мы реально поставляем» — не одно и то же. NIST/TREC: How To TREC.
Поэтому заранее определите:
- какие товары, работы или услуги подходят;
- какие смежные предметы тоже считать релевантными;
- что исключать;
- какие регионы, цены и статусы входят в задачу;
- какие источники и законы вы проверяете;
- считается ли подходящей закупка, где ваш товар — только часть более сложного объекта.
Если компания ещё не определила сам профиль подходящей закупки, сначала имеет смысл разобраться с базовой логикой участия: «Госзакупки с нуля: с чего начать малому бизнесу».
Контрольный набор не должен подстраиваться под результат
Хороший контрольный список лучше собирать независимо от того запуска поиска, который вы собираетесь оценивать.
Если все «эталонные» закупки сначала нашёл сам проверяемый поиск, а затем на них же измеряется качество, возникает круговая проверка.
То же относится к настройке запроса. Часть знакомых закупок можно использовать, чтобы подобрать формулировки и фильтры, но итоговую проверку лучше провести на другой, заранее отложенной части. В актуальном описании процесса TREC прямо разделяются training data, на которых участники разрабатывают подход, и последующие evaluation data для итогового запуска. Это не готовый стандарт проверки ЕИС или тендерных сервисов, но полезный принцип против подгонки теста под известный ответ. NIST/TREC: How To TREC.
Наш протокол дальше — именно практическая редакционная рекомендация на основе этих принципов, а не утверждение, что NIST разработал отдельный стандарт оценки тендерного поиска.
Заморозьте фильтры, период и источники
Перед запуском сохраните:
- точный тематический запрос;
- источники;
- закон;
- период;
- какое именно поле даты задаёт этот период;
- статусы;
- регион;
- цену;
- дополнительные фильтры;
- сортировку;
- время среза;
- глубину выдачи, которую собираетесь оценивать.
Нельзя, например, собрать контрольный набор по дате публикации извещения, а затем ограничить поиск датой окончания подачи заявок и записать несовпадения в пропуски алгоритма.
Граница источников тоже принципиальна. Публичную ЕИС нельзя автоматически приравнивать ко всему рынку закупок. По 223-ФЗ часть 15 статьи 4 прямо предусматривает информацию, которая не размещается в ЕИС, и случаи, когда заказчик вправе её не размещать; часть 16 позволяет Правительству определять закупки и группы закупок, информация о которых не размещается на официальном сайте. Для закрытых конкурентных закупок действует специальный режим статьи 3.5. Статья 4 Закона №223-ФЗ и статья 3.5 Закона №223-ФЗ.
Поэтому корректный вопрос теста:
«Насколько хорошо поиск сработал внутри заранее определённых источников, периода и условий?»
Текущий пользовательский интерфейс ЕИС здесь не оценивается и проверенным не объявляется.
Тематический поиск и поиск по номеру — разные проверки
Сначала сделайте обычный тематический запрос — такой, которым реально искали бы новые возможности. Зафиксируйте выдачу и только после этого начинайте диагностику пропущенных закупок.
Поиск по номеру — отдельная проверка.
В терминологии TREC known-item search — задача найти конкретный документ, про который заранее известно, что он существует в коллекции. Такой тест вознаграждает нахождение целевого объекта, а не похожих документов. NIST/TREC: Known Item Search Evaluation.
Для тендеров это означает:
Все столбцы — прокрутите таблицу по горизонтали
| Проверка | Что можно из неё узнать |
|---|---|
| Тематический запрос | нашлась ли закупка по смыслу потребности |
| Запрос по номеру | возвращает ли выбранный маршрут конкретный известный объект |
| Исходный источник | есть ли подтверждение самой закупки |
| Повторная проверка | изменилась ли наблюдаемая выдача позже |
При этом отсутствие результата по номеру не доказывает отсутствие записи во внутреннем индексе. Могут влиять фильтры, способ индексирования номера, формат идентификатора или другой маршрут поиска. Для вывода «объекта нет в индексе» одного неудачного номерного запроса недостаточно.
И наоборот: недоступность исходной карточки в момент проверки не доказывает, что закупки не существовало. Техническая доступность конкретной страницы и факт существования закупки — разные обстоятельства.
Каждый пропуск нужно сохранить, а потом объяснить
Для каждой известной закупки, отсутствующей в исходном тематическом срезе, проверьте:
- входила ли она в период;
- входил ли её источник в тест;
- не отсекли ли её ваши фильтры;
- подтверждается ли закупка исходными данными;
- находится ли она по номеру или другим предусмотренным маршрутом;
- не является ли результат другой версией той же закупки;
- не обнаруживается ли она позже.
Последнее не должно переписывать историю теста.
Если закупки не было в зафиксированном срезе, а позднее она обнаружилась, исходный пропуск остаётся пропуском. Поздняя находка может изменить диагноз причины, но не результат предыдущего среза.
Это особенно важно для живой базы, которая меняется со временем. NIST отдельно описывает проблему dynamic test collections: классические методы предполагают статический набор документов, тогда как живая коллекция и множество доступных релевантных документов могут изменяться. Поэтому момент проведения измерения имеет самостоятельное значение. NIST: Dynamic Test Collections.
Дубли и версии считайте отдельно
До расчёта метрик определите единицу оценки: закупка, извещение или лот.
Если поиск показывает одну карточку на закупку, несколько её версий не должны превращаться в несколько успешных находок.
По 44-ФЗ заказчик вправе в предусмотренном порядке вносить изменения в извещение, причём такие изменения формируются и размещаются с использованием ЕИС. Часть 4 статьи 42 Закона №44-ФЗ.
По 223-ФЗ в ЕИС размещаются в том числе изменения извещения и документации; часть 11 статьи 4 отдельно регулирует срок размещения таких изменений. Статья 4 Закона №223-ФЗ.
Практически удобно хранить:
канонический ID закупки → версии / изменения.
Актуальность версии, корректность объединения дублей и повторные уведомления можно оценивать отдельными показателями.
Как считать результат: один учебный пример
Предположим, у компании есть 25 заранее известных релевантных закупок, и все они действительно входят в зафиксированный период, источники и фильтры.
Тематический поиск нашёл 20.
Получаем:
20 / 25 = 80%.
Если эти 25 — просто известный компании контрольный список, корректное название — покрытие контрольного набора 80%.
Полноценным recall эта величина становится только при условии, что 25 закупок — это все релевантные объекты заранее определённого тестового корпуса.
NIST определяет recall как долю найденных релевантных объектов от всех релевантных объектов, а precision — как долю релевантных среди извлечённых. Работа Buckley и Voorhees показывает, что стандартные оценки становятся ненадёжными при существенно неполной разметке релевантности. NIST: Retrieval Evaluation with Incomplete Information, полный текст исследования.
Теперь допустим, после дедупликации поиск вернул 40 объектов, а для проверки заранее выбраны первые 30 результатов. Все эти 30 полностью размечены:
- 21 релевантен;
- 9 нерелевантны.
Тогда:
Precision@30 = 21 / 30 = 70%.
Оставшиеся десять результатов не размечены. Их нельзя автоматически объявить нерелевантными и посчитать 21 / 40 = 52,5% как precision всей выдачи.
У обычного precision знаменатель — все результаты заранее определённого оцениваемого среза, для каждого из которых известна релевантность.
Если вы взяли не первые k, а произвольную часть результатов, полученное число следует называть, например, долей релевантных среди размеченной выборки, одновременно раскрывая, как эта выборка была отобрана. Оно не является precision всей выдачи без дополнительного основания.
Для P@k нужны именно фактические первые k результатов и известная релевантность каждого. Если поиск вернул меньше k объектов, правило обработки такой ситуации необходимо определить до теста и применять одинаково — нельзя в разных запусках незаметно менять знаменатель.
Шпаргалка по знаменателям
Все столбцы — прокрутите таблицу по горизонтали
| Показатель | Знаменатель |
|---|---|
| Покрытие контрольного набора | все in-scope закупки фиксированного набора |
| Precision | все результаты заранее определённого оцениваемого среза с известной релевантностью |
| Precision@k | фактические первые k результатов с полной разметкой |
| Доля релевантных в выборке | все результаты раскрытой размеченной выборки |
| Recall | все релевантные объекты определённого тестового корпуса |
Есть ещё один крайний случай: нулевой знаменатель.
Если после применения заранее установленных правил в контрольном наборе оказалось 0 закупок in scope, покрытие не равно ни 0%, ни 100%. Оно не рассчитывается — N/A.
Если поисковая выдача пуста, это нужно отдельно записать: «выдача пуста». Нельзя автоматически присваивать precision произвольный процент при нулевом или неизвестном знаменателе.
Если тесты агрегируются по нескольким запросам, правило работы с N/A и способ агрегирования нужно определить заранее. И стандартный F1 не следует рассчитывать, если настоящий recall не установлен.
Время появления: ручная проверка и системный журнал — не одно и то же
Для скорости особенно легко получить ложную точность.
Сначала определите временные точки.
t0 — подтверждённое время публикации исходным источником, если такое время доступно.
t1 — точное время, когда объект стал доступен через проверяемый поиск. Такое точное значение разумно использовать только при наличии надёжного системного журнала. При этом t1 не обязательно означает момент какого-то внутреннего индексирования: это время подтверждённой доступности через оцениваемый поисковый маршрут.
При ручных проверках вместо одного точного t1 фиксируются:
t1_prev— последний момент, когда при неизменных условиях объект ещё не обнаруживался;t1_obs— первый момент, когда объект был обнаружен.
Тогда интервал
(t1_prev; t1_obs]
описывает наблюдаемый переход между отсутствием и обнаружением.
Но он не доказывает, что объект непрерывно появился в какой-то единственной точке внутри интервала. Без системного журнала неизвестны возможные промежуточные изменения выдачи, сбои или повторное исчезновение. Монотонное появление предполагать нельзя.
Поэтому t1_obs − t0 при ручной проверке — это время до первого обнаружения, а не точная задержка появления в поиске.
Для уведомлений полезны ещё две точки:
t2_send— подтверждённое время отправки уведомления;t3_delivery— подтверждённое время доставки, только если канал действительно предоставляет такой статус.
Тогда t2_send − t0 — время от публикации до отправки, а не «общая задержка для пользователя».
Если доступен достоверный t3_delivery, разность t3_delivery − t0 показывает время до подтверждённой доставки. Когда пользователь реально прочитал сообщение, из этого всё равно неизвестно.
Разность t2_send − t1 допустима только тогда, когда оба момента известны точно, получены сопоставимым способом и относятся к одному процессу. Смешивать точный серверный timestamp с приблизительным временем ручного наблюдения нельзя.
Все времена перед расчётом должны быть приведены к одной временной шкале или храниться с явным часовым поясом. Нельзя вычитать, например, локальное время источника и UTC-журнал без нормализации.
Если момент неизвестен — точное число задержки не рассчитывается.
И обязательно сохраняйте пропуски уведомлений. Если из десяти релевантных новых закупок уведомления отправлены по восьми, нельзя посчитать только задержки этих восьми и потерять две остальные позиции. Покрытие уведомлениями и время уведомлений — разные характеристики.
Итоговый протокол
Для практической проверки достаточно десяти шагов:
- определить, какие закупки считаются релевантными;
- собрать независимый контрольный набор;
- заранее отметить
in scope / out of scope; - зафиксировать запрос, источники, период, фильтры и время среза;
- определить единицу счёта;
- сохранить исходную тематическую выдачу;
- дедуплицировать и полностью разметить заранее выбранный оцениваемый срез;
- вручную разобрать каждый известный пропуск;
- посчитать только метрики с известными знаменателями;
- скорость появления и уведомлений проверять отдельным временным экспериментом.
Результат такой проверки должен звучать конкретно: сколько закупок найдено из фиксированного in-scope набора, какова релевантность полностью размеченного среза, сколько было дублей и что показал разбор пропусков.
Он не даёт гарантии абсолютной полноты и не устанавливает универсальный порог «хорошего поиска». Зато позволяет понять, где именно возникает проблема: в тематическом запросе, фильтрах, выбранном источниковом контуре, версиях, дедупликации или времени появления данных.
Если требуется оценивать уже не поиск, а работу с найденной карточкой — документы, риски, вопросы и анализ — это другой слой продукта: «ИИ-сервис для закупок: удобство, функции и экспертиза».
А найденная закупка ещё не означает, что в неё стоит идти: после поиска отдельно оцениваются экономика и условия участия — «Как выбрать первый тендер и не уйти в минус».
Что проверить после этого разбора
- Собрать независимый фиксированный список и заранее определить in scope.
- Заморозить запрос, источники, фильтры, период и cutoff.
- Сохранить тематическую выдачу до поиска пропусков по номеру.
- Полностью разметить заранее выбранный оцениваемый срез и отдельно разобрать пропуски.
- Для времени хранить источник каждого timestamp, часовой пояс и отдельно учитывать недоставленные уведомления.
На чём основан разбор
Ссылки проверены редакцией на дату актуальности материала.
- Первичный How To TREC
NIST / TREC
test collection включает документы, topics/information needs и relevance judgments; TREC разделяет training и evaluation data
- Первичный Known Item Search Evaluation
NIST / TREC
known-item search — поиск конкретного документа, про который известно, что он существует в коллекции
-
NIST
неполные relevance judgments ограничивают надёжность стандартных retrieval-метрик
-
NIST / SIGIR
определения и анализ precision/recall-производных мер при неполной разметке
-
NIST
статическая модель тестовой коллекции ограничена для живого изменяющегося корпуса; время состояния коллекции существенно
- Первичный Статья 42 Закона №44-ФЗ
Федеральный закон №44-ФЗ / КонсультантПлюс
извещение формируется в ЕИС; часть 4 предусматривает формирование и размещение изменений
- Первичный Статья 4 Закона №223-ФЗ
Федеральный закон №223-ФЗ / КонсультантПлюс
размещение извещений и изменений; ч. 15–16 устанавливают границы публичного размещения информации
- Первичный Статья 3.5 Закона №223-ФЗ
Федеральный закон №223-ФЗ / КонсультантПлюс
отдельный режим закрытых конкурентных закупок и ограничения размещения информации в ЕИС
Как сослаться
Готовая строка содержит фактическую подпись, дату публикации и номер версии.
Роман Вельский. «Как проверить качество тендерного поиска на своих известных закупках» // «Ферман Радар». 30 октября 2026 г. Версия v001. https://fermanai.ru/news/proverka-kachestva-tendernogo-poiska/
Контроль актуальности источников — до 30 октября 2026 г.
Если вы заметили изменение или неточность, напишите на info@fermanai.ru.
Версия материала: 001 · история изменений