Ollama + Open WebUI: Спосіб запуску LLM локально

Орієнтовний час читання: 5 minutes

Вступ

Цей посібник покаже вам, як легко налаштувати та запустити великі мовні моделі (LLM) локально за допомогою Ollama та Open WebUI на Windows, Linux або macOS – без необхідності використовувати Docker. Ollama забезпечує локальне прогнозування моделей, а Open WebUI є інтерфейсом користувача, що спрощує взаємодію з цими моделями. Досвід є подібним до використання інтерфейсів, таких як ChatGPT, Google Gemini або Claude AI.

Чому запускати Open WebUI без Docker?

Запуск Open WebUI без Docker дозволяє ефективніше використовувати ресурси вашого комп’ютера. Без обмежень контейнеризованих середовищ усі доступні системні ресурси, такі як оперативна пам’ять, потужність процесора та зберігання, можуть бути повністю присвячені роботі з додатком. Це особливо важливо під час роботи з моделями, що потребують великих ресурсів, де кожна частинка продуктивності має значення.

Наприклад, якщо ви використовуєте Open WebUI для взаємодії з великими мовними моделями, нативне виконання може призвести до швидшої обробки та більш плавної роботи, оскільки немає перевантаження через Docker, що керує контейнером. Запускаючи нативно, ви також отримуєте такі переваги:

Простіше налаштування: Ви уникаєте складнощів налаштування та керування контейнерами Docker, що може бути особливо корисним для користувачів, які віддають перевагу більш простій і прямій установці.
Покращена продуктивність: Без віртуалізації Docker є пряміший зв’язок із системними ресурсами, що може покращити продуктивність додатка.
Прямий доступ до системних ресурсів: Ви отримуєте прямий контроль над файловими шляхами, налаштуваннями та конфігураціями системи, що спрощує усунення неполадок і налаштування.

Попередні вимоги

Перед початком переконайтеся, що на вашій системі встановлено наступне:

Python: Необхідний для запуску Open WebUI.

Переконайтеся, що ви використовуєте Python 3.11.X. Наприклад, версія 3.11.6 працює добре. Остання версія Python, 3.12.7, несумісна з поточною версією Open WebUI.

Завантажити Python можна тут. Обов’язково виберіть відповідну версію для вашої операційної системи. Python — це універсальна мова програмування, широко використовувана в галузі штучного інтелекту та машинного навчання, включаючи розробку та експлуатацію великих мовних моделей (LLM). Якщо ви хочете розвивати свої навички в цій галузі, обов’язково перегляньте наші картки з Python для швидкого та ефективного навчання.

Установка Ollama

Перейдіть на сторінку завантаження Ollama.
Виберіть вашу платформу (Windows, Linux або macOS) і завантажте відповідну версію.
Встановіть Ollama за допомогою стандартного процесу встановлення для вашої платформи.

Встановлення та запуск Open WebUI

Щоб встановити Open WebUI, ви можете скористатися менеджером пакетів Python pip. Виконайте ці кроки:

Відкрийте свій термінал і виконайте наступну команду для встановлення Open WebUI:
```
pip install open-webui
```
Після встановлення оновіть pip до останньої версії, виконавши наступну команду:
```
python.exe -m pip install --upgrade pip
```
Після встановлення Open WebUI запустіть сервер за допомогою наступної команди:
```
open-webui serve
```
Після успішного запуску Open WebUI ви зможете отримати доступ до нього через свій браузер за адресою: http://localhost:8080.

Налаштування Ollama та завантаження мовних моделей

За замовчуванням Ollama встановлює наступні шляхи для зберігання мовних моделей (LLM) на вашій системі:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

Ви можете змінити цей шлях за необхідності. Наприклад, на Windows скористайтеся наступною командою:

setx OLLAMA_MODELS "D:\ollama_models"

Налаштування змінних середовища на macOS

Якщо ви запускаєте Ollama як додаток macOS, змінні середовища повинні бути встановлені за допомогою launchctl. Щоб встановити змінну, скористайтеся наступною командою:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

Після встановлення змінної перезапустіть додаток Ollama, щоб зміни набули чинності.

Налаштування змінних середовища на Linux

Для користувачів Linux, які запускають Ollama як службу systemd, ви можете налаштувати змінні середовища за допомогою systemctl. Ось як це зробити:

Відкрийте конфігурацію служби, виконавши:
```
sudo systemctl edit ollama.service
```
У розділі [Service] додайте наступний рядок:
```
Environment="OLLAMA_MODELS=/new/path/to/models"
```
Збережіть файл, після чого перезавантажте systemd і перезапустіть службу:
```
sudo systemctl daemon-reload
```
```
sudo systemctl restart ollama
```

Завантаження та запуск мовних моделей в Ollama

Щоб завантажити та запустити мовні моделі в Ollama, скористайтеся наступними командами в терміналі. Ці команди автоматично завантажать модель, якщо вона ще не встановлена:

Щоб завантажити та запустити модель LLaMA 3.1 від Meta (Facebook):
```
ollama run llama3.1
```
Щоб завантажити та запустити модель Gemma 2 від Google:
```
ollama run gemma2
```

Використання Open WebUI

Після запуску Open WebUI ви зможете отримати доступ до нього через http://localhost:8080. Після переходу за цією адресою вам буде запропоновано увійти або зареєструватися. Щоб створити новий обліковий запис, виберіть опцію «Зареєструватися». Цей обліковий запис створюється локально, тобто він доступний лише на цьому комп’ютері, і жоден інший користувач вашої системи не матиме доступу до ваших даних.

Якщо ви раніше запускали Open WebUI і моделі, завантажені через Ollama, не відображаються в списку, оновіть сторінку, щоб оновити доступні моделі. Усі дані, якими керує Open WebUI, зберігаються локально на вашому пристрої, що гарантує конфіденційність і контроль над вашими моделями та взаємодіями.

Встановлення Open WebUI за допомогою Git

Якщо ви хочете встановити Open WebUI шляхом клонування проекту з GitHub і керування ним вручну, виконайте такі дії:

Попередні вимоги:

Git: Переконайтеся, що у вас на системі встановлено Git. Ви можете завантажити його тут.
Anaconda: Рекомендується використовувати Anaconda для керування вашим середовищем Python. Ви можете завантажити та встановити Anaconda тут.

Інструкції з встановлення:

Для Linux/macOS:

Відкрийте термінал і перейдіть до каталогу, куди ви хочете клонувати репозиторій.
Клонуйте репозиторій Open WebUI за допомогою Git:
```
git clone https://github.com/open-webui/open-webui.git
```
Перейдіть до каталогу проекту:
```
cd open-webui/
```
Скопіюйте файл .env:
```
cp -RPp .env.example .env
```
Зберіть фронтенд за допомогою Node.js:
```
npm install
```
```
npm run build
```
Перейдіть до каталогу backend:
```
cd ./backend
```
(Необов’язково) Створіть і активуйте середовище Conda:
```
conda create --name open-webui-env python=3.11
```
```
conda activate open-webui-env
```
Встановіть залежності Python:
```
pip install -r requirements.txt -U
```
Запустіть додаток:
```
bash start.sh
```

Для Windows:

Відкрийте термінал і перейдіть до каталогу, куди ви хочете клонувати репозиторій.
Клонуйте репозиторій Open WebUI за допомогою Git:
```
git clone https://github.com/open-webui/open-webui.git
```
Перейдіть до каталогу проекту:
```
cd open-webui
```
Скопіюйте файл .env:
```
copy .env.example .env
```
Зберіть фронтенд за допомогою Node.js:
```
npm install
```
```
npm run build
```
Перейдіть до каталогу backend:
```
cd .\backend
```
(Необов’язково) Створіть і активуйте середовище Conda:
```
conda create --name open-webui-env python=3.11
```
```
conda activate open-webui-env
```
Встановіть залежності Python:
```
pip install -r requirements.txt -U
```
Запустіть додаток:
```
start_windows.bat
```

Підсумок Ollama + Open WebUI

Скориставшись цим посібником, ви зможете успішно запустити Ollama та Open WebUI (без Docker) локально без будь-яких проблем. Однак, якщо ви зіткнетеся з помилками або труднощами на шляху, залиште коментар, і я зроблю все можливе, щоб вам допомогти.

Ollama + Open WebUI: Спосіб локального запуску LLM на Windows, Linux або macOS (без Docker)