Почему в базу не попал закон о лесных дорогах

В августе в базе мониторинга нашёлся акт Министерства сельского хозяйства США — об отмене запрета на строительство дорог в бездорожных участках национальных лесов. К цифровой экономике он не имел отношения никакого. Попал он в базу по слову electronic, а удержался в ней на двух других: telecommunications relay service — справочная строка, которую американские ведомства по традиции печатают в каждом акте, и critical infrastructure — в противопожарном смысле, про просеки и разрывы.

Случай разобрали и написали методику. Ниже — как она устроена: что мы считаем цифровой экономикой, какие документы вообще берём, как машина решает, что документ по теме, и что делает редакция, когда машина ошиблась.

Тема — это закрытый список

Предмет мониторинга — не «всё, где встречается слово цифровой». Это регулирование десяти областей, и список закрытый: он расширяется только решением заказчика. Разница принципиальная. У открытого списка нет края: сначала в базу заходит «цифровизация документооборота в лесном хозяйстве», через месяц — любая норма, где что-нибудь подаётся через сайт, а ещё через месяц читать ленту становится незачем.

Правая колонка дороже левой. Левую можно написать за час из общих соображений, правая собрана из разобранных ложных срабатываний — каждая строка в ней когда-то была документом, который система привела, а редакция вычеркнула.

Первый вопрос — не «о чём», а «что это вообще за документ»

Тематический отбор отвечает на вопрос «о чём документ». Но раньше него мы задаём вопрос проще и важнее: что это за документ по виду. В базе только акты уровня закона, законопроекты и судебная практика. Подзаконные акты не берём — и этот фильтр стоит первым, поэтому ведомственный приказ не попадёт в базу, даже если он целиком про искусственный интеллект.

Причина не в том, что подзаконные акты неинтересны. Тренд регулирования виден на уровне закона: там идёт спор, там принимается решение, там его можно сравнивать между странами. Ведомственная норма — это уже исполнение принятого решения, и её на порядок больше. Пока фильтра по виду не было, лента мониторинга состояла в основном из неё.

Вид документа мы не угадываем по названию. Почти каждый источник сам сообщает его отдельным полем, и мы читаем именно поле: у Конгресса США это billType (HR и S берём, HRES и SRES — нет), у Бундестага vorgangstyp со значением Gesetzgebung, у бразильских палат — аббревиатура вида (PL, PLP, PEC, MPV — да; RQS, REQ, PDL — нет), у испанского BOE — rango, у Второй палаты Нидерландов условие Soort eq «Wetgeving» уходит прямо в запрос, у шведского Риксдага — doktyp.¹ Там, где поля нет, работает разбор названия и номера в официальном вестнике.

Проверка идёт дважды: при обнаружении — чтобы не тратить сутки загрузок на то, что всё равно не сохраним, — и после загрузки текста, потому что в метаданных самого документа признаков обычно больше, чем в карточке поиска. Незнакомый источник по умолчанию считается законодательным: лишний документ дешевле потерянной страны.

Путь документа

От чужого сайта до витрины документ проходит семь шагов, и на каждом его можно потерять — это нормально, потому что теряется в основном не то, что нужно.

1. Источник. Адаптер к сайту парламента, суда или официального вестника. Где сайт умеет искать — идём словарём запросов на языке страны; где не умеет — забираем поток новых документов целиком.
2. Вид документа. Подзаконные акты и парламентская переписка отсеиваются до всего остального.
3. Обнаружение. Поиску чужого сайта мы не доверяем: решение о теме принимает наш классификатор по названию и карточке. Не увидел темы — документ не выбрасывается, а получает статус «кандидат» и ждёт полного текста.
4. Загрузка текста. HTML, PDF или XML приводятся к нормализованному тексту — с восстановлением переносов, вычисткой колонтитулов и разметкой заголовков.
5. Оценка. По названию, аннотации и первым 120 тысячам знаков считается вес совпадений.
6. Витрина. Документ появляется в поиске и ленте; слабое совпадение помечается прямо в карточке.
7. Оценка редакции. Человек подтверждает или опровергает решение системы.

Одно случайное слово темой не является

Это главная мысль всего отбора. Документ на триста страниц почти наверняка содержит слово «электронный» — и это ничего не говорит о том, про что он. Поэтому совпадения не считаются, а взвешиваются.

Зона. Название и аннотация весят больше тела документа: сильный термин в названии даёт три балла и сразу проводит документ, совпадение в теле — один балл. Порог попадания — три балла.²

Плотность. Тема, найденная только в теле, требует не менее двух упоминаний, и требование растёт с длиной: на каждые сто тысяч знаков — плюс одно. Рабочий документ Еврокомиссии на 250 тысяч знаков с единственным artificial intelligence темой не считается.

Сильные и слабые термины. Многозначные слова — algorithm, token, spectrum, privacy, social media, critical infrastructure, intellectual property, telecommunication — помечены как слабые: сами по себе они документ не проводят, нужен хотя бы один однозначный термин темы. Именно из-за этого правила лесной акт США больше не прошёл бы.

Стоп-обороты. Шаблонные формулы вычитаются до подсчёта: telecommunications relay service из справочной строки американских актов, invites written electronic comments, чешское zadal osobní údaje из описания регистрации на сайте, процессуальное opatřeno elektronickým podpisem.

Дедупликация. Совпадения склеиваются по месту в тексте. Раньше чешское osobní údaje ловилось и основным словарём, и расширением на другие языки: одна фраза давала два балла и документ проходил порог, сам себя подтвердив.

Снятые термины. Из словаря удалены слова, которые ловят не то: русское «связи» — из-за оборота «в связи с», eid — потому что по-немецки Eid это присяга, а Eidgenossenschaft — Швейцарская Конфедерация, mica — потому что буквы регламента MiCA совпадают с обычными словами нескольких языков.

Спросить у источника правильно

Половина мусора приходит не из-за плохой оценки, а из-за плохого запроса. Federal Register США разбирал фразу electronic signature на отдельные слова и выдавал 165 актов за полтора месяца, из которых по теме были единицы. Та же фраза в кавычках даёт семь. Отсюда правило: многословный запрос уходит в кавычках везде, где источник это поддерживает, а где не поддерживает — результат считается потоком, а не находкой, и проходит полную оценку.

Решение видно целиком

Отбор, который нельзя объяснить, нельзя и починить. Поэтому решение сохраняется вместе с документом: какие термины сработали, в какой зоне, с каким контекстом вокруг, сколько баллов дал каждый и что было отброшено стоп-оборотами. Это лежит не в логах, а на странице документа во вкладке «Справка» — проверить отбор может любой читатель, а не только разработчик.

Последнее слово за человеком

Машинный отбор — первичный фильтр, а не окончательное решение. У сотрудника редакции на странице каждого документа три действия.

По теме. Подтверждение, что документ отобран верно. Такие документы образуют защитный список: правило, которое задело бы хоть один подтверждённый документ, система не предложит применить.

Не по теме. Документ остаётся в базе, но помечен как ошибка отбора. Именно на этих отметках система и учится.

Вычеркнуть. Тотальный отказ, доступный редактору: документ немедленно удаляется — тексты и редакции стираются, из поиска он исчезает, PDF удаляется с диска, а адрес и внешний номер попадают в чёрный список, чтобы ночной обход не завёл его заново. Действие обратимо: документ можно вернуть, и робот перезальёт его текст.

Оценка сохраняется вместе со снимком документа: название, источник, темы и полное объяснение отбора на момент оценки. Поэтому учиться на вычеркнутом документе можно и после того, как его текст удалён.

Как система учится

Накопленную обратную связь разбирает отдельный проход. Он ищет закономерности в отклонённых документах и предлагает правила четырёх видов.

Каждое правило показывается с числом отказов, на которых оно держится, и с числом подтверждённых документов, которых оно коснётся, — это риск. Правила с ненулевым риском не предлагаются вовсе. И ни одно правило не вступает в силу само: нужна кнопка «Применить».

Точность важнее полноты

Качество отбора мы меряем тремя величинами. Точность — доля подтверждённых редакцией среди отобранных; считается по накопленным оценкам, отдельно по источникам. Полнота — доля документов по теме, которые система нашла; оценивается выборочной проверкой источника за период. Управляемость — возможность объяснить любое решение: какой термин, в каком месте, в каком контексте.

Когда они конфликтуют, выбираем точность. Пропущенный документ найдётся на следующем прогоне или по запросу редакции — а база, засорённая случайными актами, обесценивает весь мониторинг: читатель перестаёт верить ленте и начинает проверять каждый документ руками, то есть делает ровно ту работу, ради которой мониторинг и заводили.