Команда ClickHouse представила набор встроенных ИИ‑функций, которые позволяют вызывать большие языковые модели (LLM) и сервисы для создания векторных представлений непосредственно из SQL‑запросов. Теперь операции вроде классификации текста, извлечения данных, перевода или генерации можно выполнять внутри базы данных, где уже хранятся исходные данные. Новые возможности находятся в стадии бета‑тестирования. Они появлялись постепенно в нескольких версиях ClickHouse : сначала были добавлены функции для генерации, классификации, извлечения и перевода текста, затем — создание эмбеддингов, фильтрация, скрытие персональных данных и оценка смысловой близости текстов. Обычно сценарий с LLM выглядит так: данные выгружаются из базы, передаются во внешний сервис или отдельный пайплайн обработки, результаты сохраняются обратно. Такой подход требует дополнительной инфраструктуры и усложняет поддержку. В ClickHouse предлагают другой вариант: перенести модель ближе к данным. Поскольку ClickHouse уже умеет хранить данные и работать с векторами, полный цикл для задач с генерацией с дополнением контекста (RAG) можно выполнять в одной системе — без отдельной векторной базы и дополнительных слоёв оркестрации. Например, классификацию текста теперь можно выполнить обычным SQL‑запросом: SELECT aiClassify( 'I love this product!', ['positive', 'negative', 'neutral'] ); В ответ ClickHouse вернёт одну из заданных категорий: В версии 26.8 доступны следующие функции для работы с текстом: aiClassify — классифицирует текст по заданным категориям; aiExtract — извлекает структурированные данные из неструктурированного текста; aiGenerate — генерирует текст по заданному запросу; aiTranslate — переводит текст на указанный язык; aiFilter — проверяет текст по условию на естественном языке и возвращает логическое значение; aiRedact — находит и скрывает персональные данные в тексте. aiEmbed — создаёт векторное представление текста; aiSimilarity — оценивает смысловое сходство двух текстов.
Источник: Habr — https://habr.com/ru/companies/otus/news/1082364/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1082364
Комментарии