ai:local-llm
Self hosting of LLM
- Dell Pro Max med GB10 – Vettig relativt billig dator som kan köra lokal LLM
- https://www.litellm.ai/ – LLM proxy som är betydligt bättre än Ollama
Vettiga modeller
- Qwen3.6-35B-A3B-NVFP4
- NVIDIA-Nemotron-3-Super-120B-A12B-NVFP4
ai/local-llm.txt · Last modified: 2026/09/03 06:59 by utedass