Installera LobeChat

Vad LobeChat är

Ett eget chattgränssnitt mot språkmodeller, som ni kör på er egen dator. Det ser ut ungefär som de chattjänster ni redan använt, men ni bestämmer själva vilken modell som svarar och var samtalen sparas.

Två saker gör det intressant för ett företag. Ni kan bygga egna assistenter med färdiga instruktioner, till exempel en som svarar kundmejl i er ton, och dela dem i företaget. Och ni kan köra mot en modell som ligger på er egen dator, vilket betyder att texten aldrig lämnar maskinen.

Programmet hette tidigare LobeChat och kallas numera även LobeHub. Det är samma sak.

Det här är ett serverprogram

LobeChat installeras inte som ett vanligt program. Det är en webbtjänst som körs i en container och som ni når via webbläsaren. Verktyget som kör containern är Docker, samma som i Installera Docker. Har ni inte Docker på plats, börja där och kom tillbaka hit.

På Windows innebär Docker Desktop att ni också får WSL2, alltså Windows inbyggda Linux. Det installeras normalt automatiskt av Docker Desktop, men blir ni tillfrågade om det ska ni svara ja. Utan WSL2 startar ingen container.

Gratisvägen först: LobeChat plus Ollama

Nästan varje guide på nätet börjar med att ni ska klistra in en API-nyckel från en betaltjänst. En sådan nyckel kostar pengar per meddelande, och för ett företag som räknar varje krona är det fel ställe att börja.

Det finns en väg utan nyckel. Ollama är ett gratis program som kör en språkmodell direkt på er dator, och LobeChat pratar med den lika gärna som med en betaltjänst. Installera Ollama från ollama.com, både Windows och Linux finns, och hämta sedan en modell:

ollama pull llama3.2

Innan ni startar containern ska Ollama släppa in den. Från början lyssnar Ollama bara på den egna datorn, och en container räknas som något annat. Sätt därför OLLAMA_HOST till 0.0.0.0 och starta om Ollama. På Linux Mint:

sudo systemctl edit ollama

Lägg in raden [Service] och under den Environment="OLLAMA_HOST=0.0.0.0", spara, och kör sedan sudo systemctl restart ollama. På Windows avslutar ni Ollama i aktivitetsfältet, lägger till OLLAMA_HOST med värdet 0.0.0.0 under Miljövariabler i Windows-inställningarna, och startar programmet igen. Hoppar ni över det här får ni tomma svar i LobeChat senare, utan att något felmeddelande förklarar varför.

Starta därefter LobeChat. På Windows räcker en rad, för Docker Desktop känner redan till namnet host.docker.internal, alltså värddatorn sedd inifrån containern:

docker run -d -p 3210:3210 --name lobe-chat -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 -e OLLAMA_ORIGINS=* lobehub/lobe-chat

Sätt gärna även ACCESS_CODE till ett eget lösenord, annars kan vem som helst som hittar adressen använda tjänsten.

På Linux Mint finns inte det namnet, och då hittar containern aldrig Ollama. Lägg till flaggan som skapar namnet åt er:

docker run -d -p 3210:3210 --name lobe-chat --add-host=host.docker.internal:host-gateway -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 lobehub/lobe-chat

Surfa till http://localhost:3210, välj Ollama som leverantör i inställningarna och välj modellen ni hämtade. Nu fungerar allt, och ingenting kostar.

Behöver ni senare en större modell än vad datorn orkar med går det att lägga till en betald nyckel i samma inställningar. Då vet ni åtminstone vad ni betalar för, och varför.

Tre saker att göra först

1. Kontrollera att kopplingen till Ollama fungerar innan ni gör något annat. Ställ en fråga i LobeChat och se att ett svar kommer. Blir svaret tomt är det nästan alltid OLLAMA_HOST som inte fick fäste, eller flaggan --add-host som saknas på Linux Mint.
2. Bygg en egen assistent innan ni bygger tio. Ge den en tydlig instruktion, till exempel att den alltid svarar på svenska och håller sig under fem meningar. Skillnaden mot en tom chatt är större än ni tror.
3. Välj modell efter datorn, inte efter vad som låter bäst. En modell med tre miljarder parametrar går på en vanlig bärbar. En med sjuttio gör det inte, och ni märker det på att svaren tar minuter i stället för sekunder.

Den vanligaste fällan

Att lägga en API-nyckel i en fil och sedan lägga filen på GitHub. Nyckeln är ett lösenord som kostar pengar när någon annan använder det, och botar som söker igenom nya publika repon efter nycklar hittar dem inom minuter. Det finns gott om berättelser om räkningar på tiotusentals kronor som uppstått precis så.

Håll därför nycklarna i LobeChats egna inställningar i webbläsaren, eller i en fil som heter .env och som står med i .gitignore. Och kör ni mot Ollama finns ingen nyckel alls att läcka, vilket är ytterligare ett skäl att börja där.