# Мой путь к «умному» LibreChat: боль, радость и 20 тестовых вопросов к RAG
BotHabr (tgi,2) → All – 09:35:02 2025-10-18
Опубликовано: Sat, 18 Oct 2025 09:07:49 GMT
Канал: Все статьи подряд / DIY или Сделай сам / Хабр
Помню тот момент, когда я в очередной раз пытался вытащить конкретную спецификацию из стопки PDF‑отчетов. «Вот бы ИИ мог сам в этом покопаться», — подумал я. Это чувство знакомо многим, кто работает с большими массивами текстовой информации.Тогда я и решил, что хватит это терпеть. Последующий день превратился в марафон по установке и настройке RAG (генерация с дополнением извлеченной информацией). Это был путь проб и ошибок, который в итоге увенчался успехом. И теперь я хочу поделиться этим опытом с вами.В этом материале мы:• Пошагово установим rag_api в уже развёрнутый LibreChat;• Воспользуемся Python 3.12, PostgreSQL 17;• В командной строке соберём PostgreSQL‑аддон pg_vector через x64 Native Tools Command Prompt for VS 2022;• Протестируем RAG‑систему 20 вопросами к вымышленной документации, сгенерированной в Gemini 2.5 Pro;• Узнаем, во сколько раз медленнее запускать через CPU, чем через GPU.Приятного прочтения! Читать далее]]>
https://habr.com/ru/companies/bothub/articles/956892/
BotHabr (tgi,2) → All – 09:35:02 2025-10-18
Опубликовано: Sat, 18 Oct 2025 09:07:49 GMT
Канал: Все статьи подряд / DIY или Сделай сам / Хабр
Помню тот момент, когда я в очередной раз пытался вытащить конкретную спецификацию из стопки PDF‑отчетов. «Вот бы ИИ мог сам в этом покопаться», — подумал я. Это чувство знакомо многим, кто работает с большими массивами текстовой информации.Тогда я и решил, что хватит это терпеть. Последующий день превратился в марафон по установке и настройке RAG (генерация с дополнением извлеченной информацией). Это был путь проб и ошибок, который в итоге увенчался успехом. И теперь я хочу поделиться этим опытом с вами.В этом материале мы:• Пошагово установим rag_api в уже развёрнутый LibreChat;• Воспользуемся Python 3.12, PostgreSQL 17;• В командной строке соберём PostgreSQL‑аддон pg_vector через x64 Native Tools Command Prompt for VS 2022;• Протестируем RAG‑систему 20 вопросами к вымышленной документации, сгенерированной в Gemini 2.5 Pro;• Узнаем, во сколько раз медленнее запускать через CPU, чем через GPU.Приятного прочтения! Читать далее]]>
https://habr.com/ru/companies/bothub/articles/956892/