Open Source ИИ стек

Ключевые компоненты возможного стека ИИ с открытым исходным кодом следующие:

Фронтенд
Для создания красивых пользовательских интерфейсов ИИ чрезвычайно полезны такие фреймворки, как NextJS и Streamlit. Кроме того, Vercel может помочь с развертыванием.

Встраивание и библиотеки RAG
Встраивание моделей и библиотек RAG, таких как Nomic, JinaAI, Cognito и LLMAware, помогает разработчикам создавать точные функции поиска и RAG.

Бэкенд и доступ к моделям
Для разработки бэкенда разработчики могут полагаться на такие фреймворки, как FastAPI, Langchain и Netflix Metaflow. Для доступа к моделям доступны такие продукты, как Ollama и Huggingface.

Данные и извлечение
Для хранения и извлечения данных доступны несколько опций, таких как Postgres, Milvus, Weaviate, PGVector и FAISS.

LLM
Основанные на тестах производительности, модели с открытым исходным кодом, такие как Llama, Mistral, Qwen, Phi и Gemma, являются отличными альтернативами проприетарным моделям LLM, таким как GPT и Claude.

/via bytebytego.com