Большие языковые модели для бизнеса: как создать умную базу знаний
Корпоративная база знаний помогает сотрудникам узнавать, что происходит в компании. А клиентам ― находить ответы на свои вопросы о продуктах или услугах. Большие языковые модели на базе ИИ (LLM) могут ускорить этот процесс в разы. По сути системы на базе LLM ― это умные помощники: сначала обобщают информацию, а потом генерируют ответы, экономя пользователям время.
Но чтобы использовать большие языковые модели, их нужно настроить под свои нужды. В статье расскажем, с какими сложностями можно столкнуться во время этого процесса и как их преодолеть. А также поделимся кейсами российских и зарубежных компаний, которые успешно внедряют LLM в свои бизнес-процессы.
Что такое большие языковые модели?
Большие языковые модели, или Large Language Models — это нейронные сети, обученные на огромных массивах текстовых данных. В отличие от предыдущих генеративных моделей, они могут общаться на высоком уровне качества, так что человек не замечает, что это ИИ. Вы пишете свой запрос в обычном чате, а модель обрабатывает запрос: может написать статью или пост в соцсети, сгенерировать бизнес-план, предложить идеи для маркетинговой компании. Среди популярных вендорских решений: ChatGPT, GigaChat, ЯндексGPT. Также есть опенсорсные ― LLaMA, Mistral.
В бизнесе такие модели решают две задачи:
Повышают производительность. LLM помогают автоматизировать рутинные задачи, например, отвечают клиентам на распространенные запросы, пишут электронные письма и составляют документы. Сотрудники тратят рабочее время на более креативные и нестандартные задачи, такие как стратегическое планирование и генерацию идей.
Позволяют справиться с амнезией. Амнезия ― это проблема, с которой сталкиваются многие системы, включая компании и государства. Устойчивые системы обладают памятью, которая помогает им функционировать. Однако в бизнесе часто возникают трудности с сохранением информации, поскольку она может хранится в архивах или в головах отдельных людей, которые могут уволиться. Приложения на базе языковых моделей решают эту проблему, став своего рода «мозгом» компании, способным аккумулировать и передавать информацию.
Сегодня модели не идеальны. Они страдают галлюцинациями ― выдают недостоверную информацию. Например, могут выдумывать факты о людях и событиях или совершать ошибки в простейших арифметических подсчетах. Это серьезное препятствие, чтобы использовать LLM для решения бизнес-задач.
Кроме того, LLM обучены на большом количестве открытых данных из интернета, но ничего не знают о вашем бизнесе. Например, мы в «Технократии» работали над созданием корпоративного ИИ-ассистента. Сейчас он помогает погружать новых сотрудников и находить полезную информацию во внутренних документах. Но если спросить обычную модель, что такое технократия, она расскажет про особенности социально-политической системы, а не про компанию-разработчика из Казани. Нам пришлось адаптировать LLM под свои нужды, чтобы она приносила пользу.
Дальше поговорим о техниках, которые помогают превратить ИИ в умных помощников.
Fine-tuning и RAG: в чем разница?
Современные большие языковые модели, такие как ChatGPT или LLaMA, обладают обширными знаниями, полученными из открытых источников. Однако, если вы — скажем, кофейня, которая хочет обучить своих сотрудников варить уникальный кофе по своим внутренним стандартам, то в открытых источниках такой информации не будет.
В этой ситуации есть два подхода: файнтюнинг (fine-tuning) или RAG (Retrieval Augmented Generation).
Файнтюнинг (Fine-tuning). Файнтюнинг — это процесс дообучения модели на специализированных данных.
Изначально у вас есть модель, которая умеет решает общие задачи ― мы их описывали выше. Но чтобы справляться с более специфическими, нужны релевантные данные.
Представим задачу: вы ― банк, у которого есть свои терминологии, регламенты и бизнес-процессы. Нужно нужно создать корпоративного ассистента для помощи в онбординге новых сотрудников. Чтобы модель могла правильно работать:
- Вы собираете внутренние регламенты и другие данные.
- Проводите fine-tuning модели на этих данных.
- Модель начинает лучше понимать контексты и терминологию.
«Существует множество методов для работы с языковыми моделями, таких как SFT (supervised fine-tuning), DPO (Direct Preference Optimization), PPO (Proximal Policy Optimization) и т.д. Эти подходы сложны, требуют значительных вычислительных ресурсов и участия специалистов высокого класса — своего рода элитного спецназа в мире data science. Это связано с тем, что такие методы нестабильны и требуют большого количества корректно специально размеченных данных. Если у компании всего 100 страниц внутренних документов, эти подходы окажутся неэффективными».
Ярослав Шмулев
Эксперт по AI, CEO ReML
Retrieval-Augmented Generation (RAG). RAG, или retrieval-augmented generation, работает на базе двух принципов: поиска релевантной информации и генерации финального ответа. Чтобы общая модель могла выдавать специализированную информацию, ее нужно подключить к собственной базе данных. Документы, инструкции, даже изображения — всё это превращается в векторы (наборы чисел), которые отражают смысл текста. Запрос пользователя тоже превращается в вектор, и система ищет наиболее подходящие документы в базе по смыслу, а не просто по ключевым словам.
Чтобы обучить, например, того же сотрудника банка внутренним процессам, нужно дать новичку доступ к документам компании через чат-бота. В этом случае RAG — идеальное решение.
«RAG работает так: у вас есть большая языковая модель, которая умеет вести диалог с пользователем на естественном языке. Мы используем эту модель как генеративный движок для общения. Но чтобы она отвечала на вопросы, основываясь на ваших внутренних данных, ей нужно подсказать, где искать ответы. Пользователь, например, может спросить: «Как правильно оформлять нового клиента?» Система ищет соответствующую информацию в базе знаний, находит нужные документы и отправляет их языковой модели для генерации ответа. Модель, опираясь на внутренние данные, отвечает пользователю без придумывания лишнего. Тем самым мы снижаем риски возникновения галлюцинаций, а также всегда можем выдать ссылку на оригинальный документ/регламент для проверки пользователю».
Ярослав Шмулев
Эксперт по AI, CEO ReML
У RAG много преимуществ:
- Это сравнительно простой метод, который можно реализовать быстро и недорого.
- Он эффективно борется с «галлюцинациями» модели. Ответы будут подкреплены ссылками на конкретные источники в базе, что снижает вероятность ошибок и добавляет прозрачность.
- Может работать даже если данных немного ― подходит для малого и среднего бизнеса.
- Быстро обновляется. Например, если ассистент должен отслеживать изменения в законодательстве, то файнтюнинг модели был бы слишком затратным, так как требует регулярного переобучения. В случае с RAG достаточно просто добавить новые документы в базу, провести их индексацию, и уже на следующий день ассистент будет в курсе всех изменений.
Кроме того, у RAG есть улучшение ― graph RAG, когда соединяется классический RAG на векторах с графами знаний. Это еще больше увеличивает точность и релевантность ответов.
В «Технократии» мы применили именно RAG: собрали бизнес-требования и создали документ, который содержит внутренние регламенты компании. Его трансформировали в векторную базу данных.
После этого этапа нужно было подключить LLM-модель. На этом можно говорить, что бэкенд продукта был готов.
Далее создали приятный интерфейс, чтобы сотрудники могли пользоваться программой в корпоративных сервисах. Реализация заняла всего несколько недель. У нас получилось это сделать так быстро, потому что данные уже были и в хорошем качестве. В реальности 80% проекта ―это работа над данными: сбор и их обработка, что заняло бы гораздо больше времени.
Как выбрать подходящий метод для вашего бизнеса
Выбор зависит от нескольких факторов:
Какие у вас данные? RAG подходит, если ваш бизнес работает с данными, которые часто обновляются. Например, если нужно обрабатывать постоянно меняющиеся нормативные документы или поддерживать актуальность информации в базах.
Fine-tuning лучше подходит для более стабильных и устойчивых данных. Если вам нужно, чтобы модель хорошо понимала специфическую отраслевую терминологию, процессы и стандарты, то лучше выбрать дообучение модели.
Насколько высокие требования к точности и актуальности? RAG подходит, когда важна высокая актуальность информации. Например, если вы банковское приложение и предоставляете информацию о последних транзакциях и остатке по счету, данные не могут быть приблизительными или устаревшими.
Fine-tuning подойдет, если точность на специализированных данных более важна, чем актуальность. Модель будет глубже понимать узкоспециализированные вопросы и контексты. Например, если вы завод по плавке алюминия ― важно, чтобы модель понимала именно ваши специфические термины.
Какой у вас объем данных? RAG экономит ресурсы, так как вместо того, чтобы загружать модель новыми данными, используется механизм поиска информации в уже существующих базах данных. Использовать его относительно недорого, даже если у вас большой объем данных.
Каждый раз, когда вы обновляете данные с помощью fine-tuning, вы переобучаете модель. Это требует ресурсов. Поэтому для крупных бизнесов может быть неэффективным, либо очень дорогим.
Как используют большие языковые модели в разных индустриях
Вот несколько примеров компаний, которые успешно используют большие языковые модели в различных бизнес-процессах.
Общение с клиентами: Т-Банк. Т-Банк представил целую экосистему помощников (говорят, первым в мире) на базе больших языковых моделей. Есть секретарь, который отвечает на звонки пользователей, финассистент, который разбирается в тратах, персональный шопер, который подбирает товары по запросу пользователя. LLM помогает им не только понимать запросы, но и подстраиваться под стиль общения юзера и учитывать прошлые обращения.
Боты снижают нагрузку на команду поддержки и улучшают качество взаимодействия с клиентами.
Персональный ассистент: Klarna. Популярный европейский BNPL использовал ChatGPT, чтобы создать персонального шопера для своих клиентов. Пользователю не нужно просматривать сотни страниц, чтобы найти подходящие кроссовки ― достаточно описать в чате, какой предмет он ищет, а ИИ порекомендует подходящие.
Они также применяют ИИ в customer service. Чатбот сегодня берет на себя две трети всех клиентских запросов и осуществляет работу равную 700 людям. Чтобы решить проблему у клиентов теперь уходит 2 минуты вместо 11.
Работа с документами: Oscar. Шведский медтех-стартап использует LLM, чтобы помочь врачам документировать данные о пациентах. Обычно этот процесс занимает 20 минут на пациента, но ИИ помог сократить это время на 40%. ИИ автоматически просматривает результаты анализов и обследований и составляет саммари, которое помогает врачам при диагностике и назначении лечения.
Также ИИ-ассистент помогает получить страховые выплаты. Клиникам проще находить нужную информацию, подтверждающую необходимость выплат, так что получить выплаты можно быстрее.
Помощник для разработчиков: Сбер. «Сбер» разработал умного помощника для штатных программистов GigaCode — по аналогии с CoPilot ― ассистентом от Git. Преимущество корпоративного помощника: можно не бояться, что приватные данные попадут не в те руки. Ведь разработкой и поддержкой решения «Сбер» занимается самостоятельно.
Сервисом уже активно пользуются в компании. Возможно в будущем его выпустят и для открытого пользования.
База знаний: Harvey. Юртех Harvey применил ИИ, чтобы создать платформу-помощника для юристов. Она помогает составлять документы, отвечать на вопросы клиентов об особенностях юридических процессов и находить нестыковки с сотнях разных документов одновременно.
По словам создателей стартапа, 86 из 100 ответов на вопросы клиента опрошенные ими юристы отправили бы без редактуры напрямую клиенту.
В итоге
- Большие языковые модели, или Large Language Models — это генеративные нейронные сети, обученные на огромных массивах текстовых данных.
- LLM обучены на большом количестве открытых данных из интернета и могут решать разные задачи, но ничего не знают о деталях вашего бизнеса. Поэтому модель требуется адаптировать и дообучать.
- ИИ-модели, адаптированные к потребностям бизнеса, могут повысить производительность и помочь справиться с амнезией бизнеса.
- Файнтюнинг — это процесс дообучения модели на специализированных данных, чтобы адаптировать ее для решения конкретных задач.
- Подходит, чтобы научить модель отвечать в определенной стилистике или понимать специфические термины.
- Основная идея RAG состоит в том, чтобы сначала найти релевантную информацию в базе данных или источнике знаний, а затем сгенерировать на основе этого ответ с помощью языковой модели.
- Подходит, когда нужно давать ответы, которые лучше соответствуют запросу пользователя, чем просто генерация текста на основе общих знаний, встроенных в модель.
- В реальном мире чаще используется RAG, поскольку дообучать модели дорого и не всегда эффективно.
- Большие языковые модели для создания умных ИИ-ассистентов используют крупные российские и мировые компании из разных сфер: медтех, финтех, юртех и т.д.
А в вашем бизнесе есть задачи, которые можно решить при помощи нейросетей?