1. Groq公司推出的大模型推理芯片，每秒500tokens的惊人速度逾越了传统GPU，应战谷歌TPU。2. 该芯片由草创公司Groq研制，由谷歌TPU团队原班人马打造，推理速度进步10倍，本钱下降十分之一，支撑多种大模型。

  3. Groq的方针是在三年内逾越英伟达，选用自创的LPU方案，战胜核算密度和内存带宽瓶颈，完成18倍于云渠道速度的推理功能。

  站长之家（2月20日 音讯:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，逾越了传统GPU和谷歌TPU。该芯片由草创公司Groq研制，其小组成员来自谷歌TPU，包含创始人兼CEO Jonathan Ross，曾规划完成第一代TPU芯片的中心元件。

  Groq选用了全球首个LPU（Language Processing Unit）方案，旨在战胜核算密度和内存带宽的瓶颈，终究完成大模型推理功能比其他云渠道厂商快18倍。据介绍，英伟达GPU需求大约10到30焦耳才干生成呼应中的tokens，而Groq仅需1到3焦耳，使得推理速度进步了10倍，本钱下降十分之一，性价比进步了100倍。

  Groq的芯片选用14nm制程，搭载了230MB大SRAM以确保内存带宽，片上内存带宽高达80TB/s。在算力方面，该芯片的整型（8位）运算速度为750TOPs，浮点(16位)运算速度为188TFLOPs。根据自研的TSP架构，Groq运用机器学习作业负载的并行性对推理进行加快，并支撑经过PyTorch、TensorFlow等规范机器学习结构进行推理。

  Groq公司在演示中展现了其芯片的强壮功能，支撑Mixtral8x7B SMoE、Llama2的7B和70B等多种模型，并可直接体会Demo。不仅如此，Groq还喊话各大公司，扬言在三年内逾越英伟达。该公司的推理芯片在第三方网站上的价格为2万多美元。

  Groq公司以其立异的LPU方案和逾越功能的大模型推理芯片，成为大模型推理范畴令人瞩意图新兴力量，引领着技能的飞速发展。

  1. API拜访加载速度极快:Groq供给了API密钥，可以拜访世界上最快的开源大型言语模型（LLM）推理速度。他们的完成在Anyscale的LLMPerf Leaderboard上展现了相较于云服务供给商高达18倍的推理功能。

  4. 免费试用期: 供给为期10天的免费试用期，可以精确的经过恳求进行改写。在试用期间，用户将取得100万免费令牌，而且API与OpenAI API彻底兼容。

  5. 价格确保: Groq确保以打败任何已发布的相应模型的百万令牌价格。他们的定价比较来说较低，可以给我们供给更具竞争力的服务。

  6. 前期拜访方案: Groq供给了Alpha版别的API的前期拜访方案，免费供研讨和开发意图运用。公共可用性方案于2024年第二季度。

  7. 高功能硬件支撑: Groq引擎（LPU™ Inference Engine）在功能上优胜，经过硬件支撑完成了18倍于云服务供给商的LLM推理功能。

  Groq产品以其超卓的推理功能、对多种开源LLM模型的支撑以及具有竞争力的价格政策等特征，成为一个引人注意图挑选。

上一篇:海关总署关于修改《中华人民共和国海关珠澳跨境工业区珠海园区管理办法》的决定（总署令第189号）

下一篇:列日大学开发常温快速发泡技术 用来生产无异氰酸酯PU泡沫