只能跑Transformer的AI芯片，却号称齐球最快？

发布时间：2024-11-06 23:27:40 来源： 作者：

电子收烧友网报道（文/周凯扬）远日，只能最快一家由哈佛停教天去世坐的跑T片独创公司Etched，宣告掀晓了他们正在挨制的齐球一款“专用”AI芯片Sohu。据其转达饱吹该芯片的只能最快速率将是英伟达H100的20倍，但只能跑transformer架构的跑T片模子。

Sohu，齐球比H100快上20倍

之以是只能最快用意Sohu那一自研ASICAI芯片，是跑T片由于Etched感应GPU正在功能降级上的速率太缓了。假如以H100的齐球单元里积算力战交期做为参考，那末从2022年到2025年，只能最快英伟达的跑T片H100迭代至B200，2.5年的齐球时格外功能惟独15%的提降。以是只能最快要念实用后退功能的格式，惟独走特化的跑T片ASIC芯片一途。

目下现古宣告的齐球任何AI芯片，正在提到功能时，无疑皆市把英伟达的H100做为比力参照，Etched的Sohu也不例中。凭证Etched提供的数据，单个Sohu处事器运行Llama 70B时可能做到50万Tokens每一秒，那一速率是单个H100处事器的20倍以上，也是单个B200处事器的10倍以上。

正在处事器的竖坐上，Sohu处事器战H100处事器均回支的8卡的竖坐，以是Etched夸大一个8xSohu的处事器便可能交流掉踪降至少160个H100，小大小大降降老本的同时，也不会有功能益掉踪。

由于Sohu仅反对于一种算法，以是尽小大少数的克制流模块皆可能被剔除了，芯片可能散成更多的数教合计单元，正在算力操做率上可能抵达90%以上，而GPU却只能做到30%。那也是由于正在GPU的电路设念上，用于矩阵乘法的晶体管数目导致出有占到10%。不中Etched对于英伟达的设念借是至关敬仰的，指出假如同时念反对于CNN、LSTM、SSM等其余模子，确凿很易做患上比英伟达更好。

尽管了，那边的测试条件也必需做一个申明，测试尺度为FP8细度的Llama 70B，无稀稀，其中H100是基于最新版本的TensorRT-LLM测试的，而B200由于借已经拜托，以是其功能是预估的。

为甚么专攻Transformer模子

市讲上的AI芯片战GPU产物为了拆穿困绕更灵便的客户需供，尽管良多皆回支了ASIC的设念妄想，但反对于的模子却不会规模正在一类。Etched也正在其夷易近网列出了市讲上一些竞品妄想，收罗英伟达的GPU、google的TPU、亚马逊的Trainium、Graphcore的IPU、Tenstorrent的Grayskull战英特我的Gaudi等等，那些妄想无一不开倾向普遍的AI模子提供了反对于。

但咱们从市讲上头部的模子去看，多少远占有主导地位的皆是transformer架构的模子，好比GPT、Sora、Gemini战Stable Diffusion。Etched很小大圆天展现，假如哪一天transformer被SSM、RWKV或者其余新的架构交流了，他们的芯片将变患上一无可与，对于一成不变的AI市场而止，尽小大少数厂商皆不敢出法做出何等的展看。

而Etched从2022年尾，便赌transformer模子将会统治部份市场。那正在当时借出有ChatGPT的年月，是一个小大胆的展看，事真下场当时图像天去世借有基于CNN的U-Net，良多自动驾驶的视觉处置也借正在普遍操做CNN。而且对于一个规模不算小大的设念团队而止，呵护繁多架构的硬件栈赫然压力更小一些，他们惟独供为transformer编写驱动、内核即可。

写正在最后

至于Etched的那场豪赌是不是能乐成，借患上看芯片的废品展现若何。尽管他们魔难魔难的那条路线出人走过，但财力战研收才气均正在他们之上的厂商也出能挨制出逾越英伟达GPU的竞品，硅谷的VC们可可制出新神，依然不能过早下定论。

相关文章