Ollama + Open WebUI: Un modo per eseguire LLM localmente

Estimated reading time: 6 minutes

Introduzione

Questa guida ti mostrerà come configurare e utilizzare facilmente i modelli linguistici di grandi dimensioni (LLM) localmente utilizzando Ollama e Open WebUI su Windows, Linux o macOS, senza bisogno di Docker. Ollama offre l'inferenza dei modelli localmente, mentre Open WebUI è un'interfaccia utente che semplifica l'interazione con questi modelli. L'esperienza è simile a quella offerta da interfacce come ChatGPT, Google Gemini o Claude AI.

Perché eseguire Open WebUI senza Docker?

Eseguire Open WebUI senza Docker consente di utilizzare le risorse del computer in modo più efficiente. Senza le limitazioni degli ambienti containerizzati, tutta la memoria di sistema disponibile, la potenza della CPU e lo spazio di archiviazione possono essere completamente dedicati all'esecuzione dell'applicazione. Questo è particolarmente importante quando si lavora con modelli che richiedono molte risorse, dove ogni bit di prestazioni è cruciale.

Ad esempio, se utilizzi Open WebUI per interagire con modelli linguistici di grandi dimensioni, l'esecuzione nativa può comportare tempi di elaborazione più rapidi e prestazioni più fluide, poiché non vi è alcun overhead dovuto alla gestione del container da parte di Docker. Eseguendo l'applicazione in modo nativo, si ottengono anche:

Installazione più semplice: Eviti la complessità di configurare e gestire i container Docker, il che può essere particolarmente utile per gli utenti che preferiscono un'installazione più diretta e semplice.
Migliori prestazioni: Senza la virtualizzazione di Docker, c'è una connessione più diretta alle risorse del sistema, il che può tradursi in migliori prestazioni dell'applicazione.
Accesso diretto alle risorse del sistema: Hai un controllo diretto su percorsi dei file, impostazioni e configurazioni di sistema, il che rende più semplice la risoluzione dei problemi e la personalizzazione.

Prerequisiti

Prima di iniziare, assicurati di avere installato i seguenti elementi sul tuo sistema:

Python: Necessario per eseguire Open WebUI.

Assicurati di utilizzare Python 3.11.X. Ad esempio, la versione 3.11.6 funziona bene. L'ultima versione di Python, 3.12.7, non è compatibile con la versione attuale di Open WebUI.

Puoi scaricare Python qui. Assicurati di selezionare la versione appropriata per il tuo sistema operativo. Python è un linguaggio di programmazione versatile, ampiamente utilizzato in AI e machine learning, inclusi lo sviluppo e l'operatività dei modelli linguistici di grandi dimensioni (LLM). Se vuoi migliorare le tue competenze in quest'area, consulta i nostri flashcard Python per un modo rapido ed efficiente per imparare.

Installare Ollama

Vai alla pagina di download di Ollama.
Scegli la tua piattaforma (Windows, Linux o macOS) e scarica la versione appropriata.
Installa Ollama utilizzando il processo di installazione standard per la tua piattaforma.

Installare ed eseguire Open WebUI

Per installare Open WebUI, puoi utilizzare il gestore di pacchetti pip di Python. Segui questi passaggi:

Apri il terminale ed esegui il seguente comando per installare Open WebUI:
```
pip install open-webui
```
Dopo l'installazione, aggiorna pip all'ultima versione eseguendo:
```
python.exe -m pip install --upgrade pip
```
Una volta installato Open WebUI, avvia il server con il comando seguente:
```
open-webui serve
```
Dopo aver avviato correttamente Open WebUI, puoi accedervi nel browser all'indirizzo: http://localhost:8080.

In alternativa, se preferisci, puoi installare Open WebUI clonando direttamente il progetto da GitHub. Per maggiori dettagli, consulta la sezione alla fine di questa guida.

Configurazione di Ollama e download dei modelli linguistici

Per impostazione predefinita, Ollama utilizza i seguenti percorsi per archiviare i modelli linguistici (LLM) sul tuo sistema:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

Puoi modificare questo percorso se necessario. Ad esempio, su Windows, utilizza il seguente comando:

setx OLLAMA_MODELS "D:\ollama_models"

Impostazione delle variabili di ambiente su macOS

Se esegui Ollama come applicazione macOS, le variabili di ambiente devono essere impostate utilizzando launchctl. Per impostare una variabile, utilizza il seguente comando:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

Dopo aver impostato la variabile, riavvia l'applicazione Ollama affinché le modifiche abbiano effetto.

Impostazione delle variabili di ambiente su Linux

Per gli utenti Linux che eseguono Ollama come servizio systemd, è possibile impostare le variabili di ambiente utilizzando systemctl. Ecco come fare:

Apri la configurazione del servizio eseguendo:
```
sudo systemctl edit ollama.service
```
Sotto la sezione [Service], aggiungi la seguente riga:
```
Environment="OLLAMA_MODELS=/new/path/to/models"
```
Salva il file, quindi ricarica systemd e riavvia il servizio:
```
sudo systemctl daemon-reload

sudo systemctl restart ollama
```

Download ed esecuzione di modelli linguistici in Ollama

Per scaricare ed eseguire i modelli linguistici in Ollama, utilizza i seguenti comandi nel terminale. Questi comandi scaricheranno automaticamente il modello se non è già installato:

Per scaricare ed eseguire il modello LLaMA 3.1 di Meta (Facebook):
```
ollama run llama3.1
```
Per scaricare ed eseguire il modello Gemma 2 di Google:
```
ollama run gemma2
```

Utilizzo di Open WebUI

Una volta avviato Open WebUI, puoi accedervi tramite http://localhost:8080. Dopo aver navigato a questo indirizzo, ti verrà chiesto di accedere o registrarti. Per creare un nuovo account, seleziona l'opzione Sign Up. Questo account viene creato localmente, il che significa che è disponibile solo su questa macchina e nessun altro utente del tuo sistema avrà accesso ai tuoi dati.

Se hai già avviato Open WebUI e i modelli scaricati tramite Ollama non compaiono nell'elenco, aggiorna la pagina per aggiornare i modelli disponibili. Tutti i dati gestiti all'interno di Open WebUI sono archiviati localmente sul tuo dispositivo, garantendo privacy e controllo sui tuoi modelli e interazioni.

Installazione di Open WebUI tramite Git

Se desideri installare Open WebUI clonando il progetto da GitHub e gestendolo manualmente, segui questi passaggi:

Prerequisiti:

Git: Assicurati di avere Git installato sul tuo sistema. Puoi scaricarlo qui.
Anaconda: Si consiglia di utilizzare Anaconda per gestire il tuo ambiente Python. Puoi scaricare e installare Anaconda da qui.

Istruzioni per l'installazione:

Per Linux/macOS:

Apri un terminale e naviga nella directory dove vuoi clonare il repository.

Clona il repository di Open WebUI utilizzando Git:

git clone https://github.com/open-webui/open-webui.git

Passa alla directory del progetto:
```
cd open-webui/
```
Copia il file .env:
```
cp -RPp .env.example .env
```
Costruisci il frontend utilizzando Node.js:
```
npm install

npm run build
```
Passa nella directory backend:
```
cd ./backend
```

(Opzionale) Crea e attiva un ambiente Conda:

conda create --name open-webui-env python=3.11

conda activate open-webui-env

Installa le dipendenze Python:
```
pip install -r requirements.txt -U
```
Avvia l'applicazione:
```
bash start.sh
```

Per Windows:

Apri un terminale e naviga nella directory in cui vuoi clonare il repository.