Timescale Inc., компания, занимающаяся облачными базами данных PostgreSQL, сегодня объявила о выпуске двух новых open-source расширений, которые значительно улучшают масштабируемость и удобство использования для приложений искусственного интеллекта при извлечении данных из векторных баз данных.
Улучшение PostgreSQL для AI приложений
Новые расширения, pgvectorscale и pgai, позволяют PostgreSQL, открытой реляционной базе данных, эффективно обрабатывать извлечение векторных данных. Эта возможность важна для разработки AI приложений и специализированных контекстных поисков. Векторные базы данных позволяют разработчикам AI организовывать данные в высокоразмерные массивы на основе контекстных отношений. В отличие от традиционных реляционных баз данных, векторные базы данных хранят данные с использованием контекстных значений, что позволяет устанавливать связи на основе отношений "ближайшего соседа". Например, кошка и собака ближе по значению (как домашние животные), чем кошка и яблоко. Такое контекстное хранение ускоряет извлечение информации во время AI поисков семантических данных, таких как ключевые слова, документы, изображения и другие медиа.
Автар Севратан, руководитель продукта AI в Timescale, объяснил SiliconANGLE, что хотя большинство данных хранится в высокопроизводительных векторных базах данных, не все данные, используемые сервисами, находятся в векторных базах данных. Следовательно, в одной среде часто сосуществуют несколько источников данных.
"Каждый в каждой организации в мире пытается интегрировать AI каким-то образом, будь то создание новых приложений, использующих возможности больших языковых моделей, или переосмысление существующих приложений," сказал Севратан. "Поэтому, когда технические директора или инженерные команды исследуют интеграцию AI, они сталкиваются с выбором: использовать отдельную векторную базу данных или использовать знакомую базу данных. Мотивация за этими расширениями заключается в том, чтобы сделать Postgres лучшей базой данных для AI."
Представляем pgvectorscale
Расширение pgvectorscale основывается на существующем open-source расширении pgvector, позволяя разработчикам создавать более масштабируемые AI приложения с более высокой производительностью встраивания для поиска при меньших затратах. Севратан выделил два ключевых нововведения в pgvectorscale: DiskANN и Statistical Binary Quantization. DiskANN может выгружать половину своих поисковых индексов на диск, обычно хранящихся в памяти, с минимальным влиянием на производительность, значительно снижая затраты. Statistical Binary Quantization улучшает стандартную бинарную квантизацию, уменьшая использование памяти.
Тесты Timescale для pgvectorscale показали, что PostgreSQL может достигать 28-кратного снижения задержки для 95% и 16-кратного увеличения пропускной способности запросов по сравнению с популярной векторной базой данных Pinecone для приблизительных запросов ближайшего соседа при 99% точности. В отличие от pgvector, написанного на C, pgvectorscale разработан на Rust, открывая новые возможности для разработчиков PostgreSQL по созданию поддержки векторов.
Представляем pgai
Расширение pgai упрощает разработку решений для поиска и генерации с дополнением (RAG) для AI приложений. RAG сочетает сильные стороны векторных баз данных с большими языковыми моделями (LLMs), предоставляя актуальную информацию в реальном времени для уменьшения галлюцинаций AI — случаев, когда AI уверенно выдает ложные утверждения. Эта техника необходима для создания точных и надежных AI приложений. Начальный выпуск pgai поддерживает быстрое создание встраиваний OpenAI и генерацию завершений чатов OpenAI из моделей, таких как GPT-4o, непосредственно внутри PostgreSQL.
GPT-4o от OpenAI — это последняя флагманская модель, предлагающая мощные мультимодальные возможности, включая голосовой разговор в реальном времени и понимание видео. Севратан подчеркнул, что интеграция возможностей векторов в PostgreSQL создает мощный "мост удобства использования" для многих разработчиков, так как многие компании уже полагаются на PostgreSQL или другие реляционные базы данных.