Read in:
Русский

Гибридный поиск, который не был гибридным

Прогнали поиск trip2g на корпоративном бенчмарке из 500 вопросов и нашли ошибку, из-за которой он работал вполсилы. Исправление подняло долю вопросов, где нужный документ в первой десятке, с 69% до 84%. Заодно проверили, выдержит ли trip2g большую базу: память и запуск можно улучшить настройками, но по умолчанию они пока не включены.

Год я находил в поиске странные промахи. Спрашиваешь обычным языком, документ точно есть, а поиск его не видит. Каждый случай выглядел как мелочь, и общей картины не было. Чтобы понять, можно ли доверять trip2g корпоративное хранилище, нужен был честный экзамен, а не ещё один пример руками.

Что за экзамен

EnterpriseRAG-Bench выпустила компания Onyx. Это выдуманная компания Redwood Inference со всей рабочей перепиской и документами: почти 512 тысяч файлов из Slack, почты, Jira, Confluence, GitHub, CRM и записей созвонов. Там есть внутренние кодовые имена, устаревшие страницы и почти одинаковые черновики, как в настоящей компании.

К этому архиву прилагаются 500 вопросов с правильными ответами. Часть простые, в части нет слов из нужного документа, а в некоторых ответа в базе нет вообще.

Такой экзамен важен, потому что RAG отвечает только по тому, что нашёл поиск. Если нужный документ не нашёлся, самая умная модель ответит мимо или уверенно сочинит. Всё начинается с поиска.

Весь архив мы не брали. В этот прогон вошли все 722 документа с ответами и 50 тысяч случайных, это каждый десятый файл. Значит, сравнивать с лидербордом бенчмарка нельзя: задача стала легче, потому что большинство почти одинаковых документов выпало. На полном архиве результат будет хуже.

Что показал первый прогон

Вопросы Нужный документ в первой десятке
Все 69%
Простые 79%
Заданные своими словами 38%

Вопросы своими словами оказались катастрофой. В реальной работе люди спрашивают именно так, а поиск ошибался в шести случаях из десяти. Ещё по 109 вопросам из 470 нужного документа не было даже в первой двадцатке.

В чём была ошибка

В trip2g два поиска работают вместе: один по точным словам, другой по смыслу. Результаты объединяются, и каждый должен закрывать слабые места другого.

Проверка показала, что поиск по словам почти не работал. Он требовал, чтобы в документе нашлись все слова вопроса. В длинном вопросе так почти не бывает: результат вообще был только у 59 вопросов из 500. Остальные ему просто не доставались, и весь гибрид держался на поиске по смыслу.

А он на корпоративных данных часто промахивается. Спрашиваешь про банк Northbridge и хранение логов, и он приносит другой документ на ту же тему, а нужная инструкция лежит на 75-м месте. Для него кодовые имена и названия клиентов не значат почти ничего, а поиск по словам такое находит легко.

Вторая ошибка пряталась за первой. Заголовок считался отдельно от текста, и заголовок из одного слова выглядел идеальным совпадением. В Slack заголовок часто равен названию канала, поэтому любой вопрос про инциденты поднимал наверх канал incidents.

Что изменили

  • Документу теперь достаточно половины слов вопроса, а не всех.
  • Заголовок считается вместе с текстом.
  • Служебные слова вроде «как» и «is» больше не участвуют в поиске и не подсвечиваются.

Ни одного нового компонента, только правка в поиске.

Что получилось

50 тысяч документов, 500 вопросов Было Стало
Нужный документ в первой десятке 69% 84%
То же для вопросов своими словами 38% 62%
То же для простых вопросов 79% 93%
Нужный документ на первом месте 43% 57%
Вопросов без нужного документа в первой двадцатке 109 45

Проверили и на настоящих заметках, на справке Obsidian. Русский поиск там вырос заметно: оценка качества с 0,689 до 0,751. Английский меньше: с 0,763 до 0,784.

Правка не бесплатная. Запросы с опечатками и сложной морфологией стали находиться чуть хуже. На старом двуязычном наборе из 48 заметок порядок результатов ухудшился, оценка упала с 0,926 до 0,879, хотя нужные документы он находит по-прежнему. Простое «достаточно любого слова» там обрушило её до 0,626, поэтому порог и стоит на половине. Порог мы подбирали на этих же наборах, так что цифры немного оптимистичны. Случай «вопрос по-русски, ответ только в английской заметке» мы отдельно не мерили.

А ответы стали лучше

Поиск нужен ради ответа, поэтому мы проверили и его. Дешёвая модель Claude Haiku отвечала на 129 случайных вопросов только по первым пяти найденным документам, один раз со старым поиском и один раз с новым. Ответы оценивала более сильная Claude Sonnet по правилам бенчмарка и не знала, какой ответ откуда.

129 вопросов Старый поиск Новый поиск
Ответ верный 46% 58%
Нужные факты в ответе 39% 52%
Вопросы своими словами, ответ верный 28% 41%

Из 24 вопросов, где результат разошёлся, новый поиск выиграл 20. Модели никто не менял, она просто получила документы получше. С лидербордом бенчмарка это тоже не сравнить: и база, и судья, и выборка у нас свои, а от каждого документа модель видела только первые 4000 знаков.

А что с производительностью

Коротко: часть проблем нашли и знаем, как обойти, но по умолчанию почти ничего не поменялось.

Что Как было Что можно сейчас Включено по умолчанию
Пик памяти на 50 тысячах 23,6 ГБ 8–9 ГБ с индексом на диске Нет
Запуск сервера Индекс строится заново при каждом запуске: 204 секунды уже на 13 тысячах заметок С индексом на диске на 50 тысячах: первый запуск 8 минут, следующие 33 секунды Нет
Подготовка заметок к поиску по смыслу 3 заметки в секунду 9 заметок в секунду с новыми настройками очереди Нет
Лимит размера базы Заливка встала на 14 тысячах заметок Лимит можно снять настройкой Нет
Время поиска, половина запросов быстрее 1,03 секунды 1,18 секунды Стало чуть медленнее

Под нагрузкой всё упёрлось в неожиданное место. Поиск держит 15 запросов в секунду при 20 одновременных клиентах, половина ответов быстрее 1,2 секунды. А вот обычная страница заметки держит всего 2,6 запроса в секунду и открывается 1,9 секунды даже для одного человека. При 50 клиентах ответа ждёшь 18 секунд.

Виноват блок «похожие заметки»: на него уходит 96% работы процессора. При каждом открытии страницы сервер заново сравнивает заметку со всеми кусками всех заметок. Сам сервер быстрый, пустой служебный запрос он обрабатывает 138 тысяч раз в секунду. Это пока не исправлено.

Память оказалась главной находкой. Индекс в памяти занимал 85% всей занятой программой памяти. Если считать прямо, полный архив потребовал бы около 240 ГБ, но это оценка, а не замер. С индексом на диске тот же объём заметок помещается в треть памяти.

Полный архив на 512 тысяч файлов пока не проверен.

Можно ли это в корпоративное хранилище

Пока рано. Было 69%, стало 84%, и это на облегчённом варианте экзамена. Значит, примерно один документ из шести всё ещё не попадает в первую десятку, а на вопросах своими словами больше одного из трёх. Модель отвечает верно чуть больше чем в половине случаев, а страницы на такой базе открываются слишком медленно.

Часть этого обычным поиском не исправить. На вопрос «какая команда получила больше всего задач после всех разборов инцидентов» нет одного документа с ответом: здесь нужно считать, а не искать. Другая часть чинится: длинные куски текста режутся плохо, в источниках вроде записей созвонов они бывают в разы больше нужного. Это следующая задача.