Крама апаратнага забеспячэння ШІ
Праглядайце міні-ПК, NAS, рабочыя станцыі, серверы і апаратуру для edge-ШІ — кожную сістэму можна камбінаваць з паслугай устаноўкі і праграмнымі інавацыямі ад ⏻ On Intelligence.
| Фота | Прадукт | Кошт | Ёмістасць |
|---|
Разуменне ёмістасці мадэлі
Ёмістасць мадэлі азначае колькасць параметраў, якія ўтрымлівае мадэль штучнага інтэлекту (напрыклад, 70B = 70 мільярдаў параметраў). Большыя мадэлі, як правіла, патрабуюць больш памяці і вылічальнай магутнасці, але могуць забяспечыць лепшае разважанне і якасць вываду.
Дакладнасць (FP16 / FP8 / FP4) уплывае на тое, колькі памяці патрабуецца для пэўнай ёмістасці мадэлі: фарматы ніжэйшай дакладнасці прыблізна папалову памяншаюць патрабаванні да памяці на кожным кроку ўніз (FP16 → FP8 → FP4), за кошт некаторага пагаршэння дакладнасці вываду.
| Памер мадэлі | Тыповая памяць (FP16) | Тыповая памяць (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |