NVIDIA heeft op 3 september PAIR gepresenteerd, software die afzonderlijke AI-verzoeken over geschikte computers in een thuisnetwerk verdeelt. De gratis opensourcetool werkt met Ollama en LM Studio. Volgens het bedrijf kan een beschikbare tweede computer daardoor werk overnemen wanneer meerdere AI-taken tegelijk om rekencapaciteit vragen op het systeem dat de gebruiker normaal gebruikt.
Verdelen op het niveau van verzoeken
PAIR draait het AI-model niet zelf. De technische documentatie beschrijft hoe de software voor ieder verzoek één geschikte computer kiest, waar Ollama of LM Studio de volledige berekening uitvoert. Het geheugen van verschillende videokaarten wordt daarbij niet gecombineerd. Een model dat niet op één deelnemende machine past, wordt dus niet door PAIR over meerdere machines verspreid.
Bèta voor verschillende systemen
NVIDIA noemt ondersteuning voor geschikte Windows-, macOS- en Linux-systemen, onder meer met GeForce RTX 20-kaarten of nieuwer, RTX PRO-hardware vanaf Turing, DGX Spark en Apple M4-chips of nieuwer. De software heeft een grafische bediening en een terminalinterface. Die brede lijst betekent niet dat iedere computer elk gevraagd model kan uitvoeren; compatibiliteit blijft een voorwaarde.
Beschikbaarheid bepaalt de verdeling
Volgens de technische uitleg kijkt PAIR onder meer of een computer online is, de benodigde software draait en het exacte model aanwezig is. Ook de belasting telt mee. Een laptop die slaapt kan niet bijdragen. Vooral werk met meerdere onafhankelijke verzoeken past bij deze aanpak; één lange, opeenvolgende berekening profiteert er niet vanzelf van.
Verder bij de bron
De feiten en aankondigingen achter deze Nxt-brief.
Zelfstandig geformuleerde uitleg, gemaakt met behulp van AI op basis van de genoemde bronnen. Zo werken we.