RFI - Lokalt installerad AI-plattform

Kammarkollegiet avser att göra ett avrop av hårdvara för en lokalt installerad plattform för AI (Eneo) samt lokalt driftade språkmodeller (completion, embedding, transcription) via VLLM. För att få en bättre kunskap om vilken hårdvara som krävs för att uppnå önskad kapacitet genomför Kammarkollegiet nu en RFI. Observera att det här inte är en skarp upphandling utan enbart en informationsinsamling inför kommande avrop. Kammarkollegiet har i några år genom piloter och detta projekt utrett möjligheterna med generativ AI och landat i att nästa steg är att gå vidare med en lokalt installerad plattform och språkmodell. Arbetet omhändertas i ett prioriterat myndighetsprojekt där målet är att få bättre utväxling av generativ AI och inte begränsas av de riktlinjer som gäller vid användning av molntjänster. Kammarkollegiet har därför installerat open-source-plattformen Eneo och planerar att även installera en språkmodell lokalt. För att vi ska uppnå den kapacitet som krävs så behöver vi investera i hårdvara och hoppas med den här RFI:n få en tydligare bild av vad som krävs. Behoven i verksamheten består i korthet av att nyttja RAG, MCP och kunna ha cirka 300 användare som ska kunna ladda upp dokument, sammanfatta större textmängder och interagera med chattfunktionaliteten. I dialog med andra myndigheter som gjort liknande investeringar finns det en specifikation av hårdvaruuppsättning som kan agera utgångspunkt, men som sannolikt kan behöva anpassas för att på bästa sätt möta Kammarkollegiets behov: Komponent - Specifikation Serverchassi - HPE DL385 Gen11 8SFF CPU - 1 x AMD EPYC 9354 (32 kärnor) GPU - 2 x NVIDIA L40S (48GB styck) RAM - 256GB DDR5 (12x32GB) Lagring - 2 x 3.84TB NVMe SSD Inför ett kommande avrop önskar Kammarkollegiet få in svar på följande frågor avseende den hårdvara som tillfrågade leverantörer tillhandahåller: 1. Utifrån våra behov

• hur väl anpassad är den föreslagna hårdvaruspecifikationen (rubrik 3) för att uppnå tillräcklig kapacitet för våra behov? 2. Utifrån våra behov
• Ser ni en helt annan uppsättning av hårdvara för att uppnå tillräcklig kapacitet för våra behov? 3. Finns det möjliga gradskillnader i kapacitet (small och large) och hur skiljer sig behovet av hårdvara då och hur stor blir skillnaden i kapacitet om vi lägger oss på nivå lägre? 4. Ungefärlig kostnad för föreslagen lösning 5. För att få en uppfattning om er föreslagna lösning skulle kunna fungera att installera i något av våra befintliga serverrum så vill vi att ni för föreslagen lösning anger: Effekt vid hög belastning (W) Effekt vid normal belastning (W) Antalet CU i 19”-rack