阿朱 勾引 英伟达新品“掌心AI超算”,¥1800跑8B多模态模子,算力暴增70%价钱腰斩
"英伟达版树莓派"这波良心了,性能涨 70%阿朱 勾引,降价 50%。
老黄召开厨房发布会,从烤箱里端出这台"掌心 AI 超算"。
△奈何不穿皮衣了
新版Jetson Orin Nano开拓版套件,算力从 40 TOPS 涨到 67 TOPS(INT8),内存带宽增多 50%,达到 102GB/s,功耗仅 25 瓦。
女同偷拍价钱却降了 50%,从 $499 降到 $249(约东谈主民币 1800 元)。
67 TOPS 什么主见?
比当前英特尔、AMD 或高通 AI PC 中的大部分 NPU 齐快
能跑主流的 7B、8B 大模子量化版,如阿里 Qwen,Llama 等
最高解救 4 个录像头,也能跑 8B 的视觉言语模子和 ViT 模子
英伟达称这是"最实惠的生成式 AI 超等计算机"。
不管是用来创建基于 RAG 的聊天机器东谈主、视觉 AI Agent,如故部署基于 AI 的机器东谈主,齐是理思的贬责决策。
开拓套件包括一个 Jetson Orin Nano 8GB 系统级模块(SoM)和一个参考载板,可用于旯旮 AI 运用的原型想象,功耗最高 25w。
选拔 6 核 Arm CPU 和 NVIDIA Ampere 架构 GPU,GPU 配备 1024 个 CUDA 中枢和 32 个张量中枢,解救多个并发 AI 运用管谈和高性能推理。它最多不错解救 4 个录像头,提供比昔时版块更高的分裂率和帧率。
The Register 忖度在运转 4 位量化版 Llama 3.1 8B 模子时,能达到约 18-20 tokens/s 的速率。
Jetson 解救一系列英伟达 AI 软件,包括用于机器东谈主的 NVIDIA ISAAC、用于视觉 AI 的 NVIDIA Metropolis 和用于传感器处理的 NVIDIA Holoscan。
另外不错使用 NVIDIA Omniverse Replicator 生成合成数据,并使用 NVIDIA TAO 器具包微调预查考模子,不错裁汰开拓时辰。
老黄称这个系列为一种全新的处理器——机器东谈主处理器。
推出第一代产物时,没东谈主湮灭英伟达在作念什么
到当今,它还是解救了多样机器东谈主,带轮子的、两条腿的、三条腿的。
突出的好音书是,新推出的软件更新,也将为买过旧版开拓套件的用户带来生成式 AI 性能擢升。
有网友默示,黄仁勋便是新的圣诞老东谈主。
参考贯串:
[ 1 ] https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/
[ 2 ] https://www.theregister.com/2024/12/17/nvidia_jetson_orin/
— 完 —
点这里� � 暖和我,铭刻标星哦~
一键三连「共享」、「点赞」和「在看」
科技前沿发挥日日再见 ~