Es gibt unterschiedliche Anbieter, die (kostenlose) LLM-API-Keys zur Verfügung stellen. Wir können zum Beispiel OpenRouter nutzen. Ein grosser Vorteil dabei ist, dass die Anforderungen im Gegensatz zu anderen Anbietern keine Kreditkarte o. Ä. benötigen.

Befolgen Sie folgende Schritte, um einen OpenRouter-API-Key zu bekommen.

1. https://openrouter.ai/ öffnen
2. „SignUp“ klicken und Account erstellen
3. Per E-Mail zugeschickter Link bestätigen und einloggen
4. Unter https://openrouter.ai/settings/keys einen API-Key erstellen
5. Den Key unbedingt kopieren, da er nachher nicht mehr sichtbar ist

Hinterlegen Sie den API-Key in Ihrer application.properties-Datei.

spring.ai.openai.api-key=sk-or-v1-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Unter folgendem Link finden Sie alle möglichen Models. Da Sie nur einen Free-Account haben, können Sie entsprechend nur ein kostenloses Model wählen.

https://openrouter.ai/models?fmt=table&order=pricing-low-to-high

Überprüfen Sie Ihren Key mit dem folgenden cURD-Befehl. Ersetzen Sie dabei YOUR_API_KEY durch Ihren Key. Die max_tokens bestimmen, wie viele Zeichen die Antwort maximal haben darf. Der Rest wird einfach abgeschnitten.

curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/mistral-7b-instruct:free",
    "messages": [
      {
        "role": "user",
        "content": "What is the answer to life, the universe and everything?"
      }
    ],
    "temperature": 0.4,
    "max_tokens": 64
  }'

Sie dürfen gerne auch mit anderen Werten (zum Beispiel Temperatur) rumspielen.