LOOM
Rendere pratico un modello locale da 30B su un Mac M1 con 8 GB.
Quanto può diventare utilizzabile un modello locale di classe 30B su un Mac M1 con 8 GB se il runtime circostante, lo storage e il percorso di accesso agli esperti vengono progettati in modo aggressivo?
- Modello
- modello 30B
- Memoria unificata
- 8 GB di memoria unificata
- Decodifica
- 7.557 tok/s
- Prefill a freddo di 1.155 token
- 11.306 tok/s