当前位置：网站首页 » 热点 » 内容详情

int4最新视觉报道_int4是什么类型(2024年12月全程跟踪)

内容来源：惠生活优选所属栏目：热点更新日期：2024-12-03

int4

[LG]《Llama Guard 3-1B-INT4: Compact and Efficient Safeguard for Human-AI Conversations》I Fedorov, K Plawiak, L Wu, T Elgamal... [Meta] (2024)网页链接「机器学习」「人工智能」「论文」

[LG]《"Give Me BF16 or Give Me Death"? Accuracy-Performance Trade-Offs in LLM Quantization》E Kurtic, A Marques, S Pandit, M Kurtz... [Neural Magic] (2024)网页链接「机器学习」「人工智能」「论文」

一篇评估大模型量化后准确性的论文。网页链接关键结论：（1）FP8权重和激活量化（W8A8-FP）在所有模型规模下是无损的，（2）INT8权重和激活量化（W8A8-INT）在适当调优的情况下，准确性下降仅为1-3%，（3）INT4仅权重量化（W4A16-INT）与8位整数权重和激活量化相当。W4A16在同步部署和中端GPU的异步部署中提供了最佳的性价比；W8A8格式在高端GPU上进行中型和大型模型的异步“连续批处理”部署中表现优异。

【AI前沿：AI内容防护与高效对话新技术】本期节目，带你深入了解AI内容水印技术、Meta最新的Llama Guard 3-1B-INT4模型、创新的缩放校正法、动态词元化技术以及NeuroAI在AI安全中的前景。在线收听：网页链接

【「高通与腾讯混元达成合作」】高通在骁龙峰会期间宣布与腾讯混元合作，基于骁龙8至尊版移动平台推动腾讯混元大模型7B和3B版本的终端侧部署。高通表示，通过使用INT4量化技术，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30 tokens/秒。

二代骁龙8 𐟓𑢜褺Œ代骁龙8来了！最近我一直在研究这款新的移动平台，不得不说，它真的非常强大。无论是性能提升还是创新突破，二代骁龙8都带来了不少惊喜。今天就和大家聊聊这款芯片到底有多厉害！性能提升显著𐟚€ 二代骁龙8采用了台积电4纳米工艺，性能提升相当显著。CPU性能提升了35%，GPU性能提升了25%。高帧率和高画质的游戏如《原神》在二代骁龙8上表现尤为突出，帧率能稳定在60帧，即使身处打怪也不会出现卡顿掉线的情况。支持UFS4.0存储，使得应用秒开、游戏飞速加载，体验非常流畅。相比于上一代，这款处理器在游戏中的表现真的很有优势。影像与游戏体验𐟓𘰟Ž𚌤𛣩ꁩ𞙸加入了认知ISP，能够智能优化拍摄内容，对人脸、着装、景色进行独立优化。拍摄时可以直接在取景框里“修图”，方便很多。游戏方面，支持光线追踪效果，运行《原神》最高画质下稳定运行60帧以上，同时带来更加临场感的立体音效，时延仅48毫秒。无论是打游戏还是听音乐，体验都比以前提升了不少。突破与创新𐟔𚌤𛣩ꁩ𞙸支持最新的AI引擎，包含INT4AI和微切片推理，4.35倍的提升使得AI运算性能大幅提升。它具备双蓝牙连接和Wi-Fi7功能，极大提升了联网速度和稳定性。二代骁龙8还提供了独有的AI联网优化功能，支持动态头部追踪和空间音频功能，带来更丰富的多媒体潜力和用户体验。搭载二代骁龙8的手机在各个方面都表现得非常出色。无论是性能、影像还是游戏体验，都能带来极致的享受。而且它的网络连接速度也非常快，支持双卡双通，时刻在线无障碍。 𐟓𑢜褺Œ代骁龙8真的非常强大！如果你也在考虑换手机，不妨看看搭载二代骁龙8的手机吧！有任何问题或者体验，欢迎在评论区和我互动哦！𐟑‹

近期，浪潮信息正式推出源2.0-M32大模型的革命性4bit与8bit量化版本。该量化版不仅实现了与700亿参数巨擘LLaMA3相当的卓越性能，更是在资源消耗上实现了惊人的飞跃，其中4bit版本仅需23.27GB显存即可流畅运行，每token算力消耗低至1.9 GFLOPs，相较于LLaMA3-70B的160GB显存需求与140GFLOPs算力消耗，展现了其非凡的算力效率与成本效益。源2.0-M32量化版是“源”大模型团队为进一步提高模算效率，降低大模型部署运行的计算资源要求而推出的版本，通过采用领先的量化技术，将原模型精度量化至int4和int8级别，并保持模型性能基本不变。源2.0-M32量化版提高了模型部署加载速度和多线程推理效率，在不同硬件和软件环境中均能高效运行，降低了模型移植和部署门槛，让用户使用更少的计算资源，就能获取源2.0-M32大模型的强大能力。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本，其创新性地提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家（Expert）的混合专家模型（MoE），模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型，大幅提升了模型算力效率。

如何计算大模型所需的GPU内存？为大型语言模型提供服务需要大量的 GPU 内存资源。所需的内存量取决于模型的大小和复杂性、用于存储参数的数据类型以及所应用的任何优化（例如量化）。通过了解影响 GPU 内存需求的因素，开发人员可以做出明智的决策，了解如何部署 LLM 以实现最佳性能和效率。 𐟧 如何减少GPU内存需求？量化是一种通过将模型参数从较高精度格式（例如 float32）转换为较低精度格式（例如 float16 甚至更低）来降低模型参数精度的技术。这可以显著减少内存使用量，而不会对准确性产生重大影响。例如，在我们的 Llama 70B 示例中，使用 float16 精度而不是 float32 可以将内存需求减少一半（从每个参数 4 个字节减少到每个参数 2 个字节）。 𐟔 量化的作用是什么？量化技术可以通过使用更低精度的格式（如 INT8、INT4）进一步减少内存占用，但降低精度可能会影响输出的准确性。例如，与 FP16 相比，INT8 量化有时会导致准确度明显下降。评估模型在量化前后的性能至关重要。 𐟒𛠃PU的重要性尽管CPU虽然直接参与深度学习模型计算，但CPU需要提供大于模型训练吞吐的数据处理能力。比如，一台8卡NVIDIA V100的DGX服务器，训练ResNet-50 ImageNet图像分类的吞吐就达到8000张图像/秒，而扩展到16卡V100的DGX2服务器却没达到2倍的吞吐，说明这台DGX2服务器的CPU已经成为性能瓶颈了。理想情况下，模型计算吞吐随GPU数量线性增长，单GPU的合理CPU逻辑核心数分配可以直接线性扩展到多GPU上。

100B以内开源大模型个人可用了。是速度可用，不是之前的只是勉强可运行。测试：最新款顶配128G的M4 Max跑Qwen2.5 72B，速度7.77 tokens/s，较短输出的话11.07 tokens/s至16.47 tokens/s。慢阅读的话基本可以同步。 Qwen2.5 32B Int4 18 ~ 19 tokens/s，和一般阅读速度差不多（读速超快的当没说）。这可是之前用A100才能做到的事。以上是有人替咱测出来的结果。对照我之前用96G的M2 Max的测试速度，基本快了一倍到两倍。图2至图9为我之前DIY AI PC，安装123B、70B、8B等不同体量模型的测试结果。所以目前最新的结论是：100B以内开源大模型如果采用Int4或Int8量化版本，在顶配消费级AI PC上速度基本可用了。如果采用几个月后上市的顶配M4 Ultra的Mac Studio，速度还能再快一倍左右。之前也能运行起来，只是速度慢到眼看着一个词一个词往出蹦。

专栏内容推荐

2005 x 775 · png
Int4
素材来自:bulldogjob.pl

900 x 900 · jpeg
Int4 - YouTube
素材来自:youtube.com
769 x 960 · jpeg
PLC Hardware: Allen-Bradley 1746-INT4 Isolated Thermocouple/Millivolt Input
素材来自:plchardware.com

1536 x 1029 · png
Int4 Suite - INT4
素材来自:int4.com
500 x 500 · jpeg
Allen Bradley 1746-INT4 IO Digital Input Module/ Module đầu vào SLC 500 ...
素材来自:tek-ac.com

1024 x 503 · png
INT4 Longevity
素材来自:london-electronics.com

1992 x 1494 · jpeg
ALLEN BRADLEY 1746-INT4 SER. B F/W 1.10 NSMP | eBay
素材来自:ebay.com
1920 x 1571 · jpeg
~BRAND NEW~ Allen Bradley 1746-INT4 /B SLC 500 Isolated Thermocouple/mV ...
素材来自:theplcdepot.com

2049 x 1025 · jpeg
Int4 Precision for AI Inference | NVIDIA Technical Blog
素材来自:developer.nvidia.com

1200 x 648 · png
THUDM/chatglm-6b-int4 · Hugging Face
素材来自:huggingface.co

1024 x 668 · jpeg
INT4.4 - Construction Plus Asia
素材来自:constructionplusasia.com
1000 x 814 · jpeg
一种基于Tensorcore处理int4数据类型的方法、系统、设备及介质【掌桥专利】
素材来自:zhuanli.zhangqiaokeyan.com

2062 x 1071 · png
Deployment architecture (2022)
素材来自:kuaforasistani.com

1200 x 961 · jpeg
int4 | NEPS official Site
素材来自:neps.jp
2560 x 1537 · jpeg
Comparison of Previous Generation of Nvidia GPU A30 vs T4 - AEWIN
素材来自:aewin.com

474 x 266 · jpeg
SAP partner Int4 helps customers migrate from SAP Process Orchestration ...
素材来自:sap.com

745 x 575 · png
Int4 Precision for AI Inference | NVIDIA Technical Blog
素材来自:developer.nvidia.com
200 x 200 · png
INT4和INT8_int4和int8区别-CSDN博客
素材来自:blog.csdn.net

1280 x 664 · jpeg
PLC Hardware: Allen-Bradley 1746-INT4 Isolated Thermocouple/Millivolt Input
素材来自:plchardware.com

2560 x 1706 · jpeg
~BRAND NEW~ Allen Bradley 1746-INT4 /B SLC 500 Isolated Thermocouple/mV ...
素材来自:theplcdepot.com
1200 x 648 · png
README.md · innev/ChatGLM-6B-INT4 at main
素材来自:huggingface.co

800 x 500 · jpeg
int4 | Pulse
素材来自:pulse.lk
1280 x 720 · jpeg
int4 - YouTube
素材来自:youtube.com

322 x 360 · png
1746-INT4 | In Stock! | Buy Online | Allen Bradley - PLC SLC 500 ...
素材来自:automationstop.com
1200 x 648 · png
josStorer/ChatGLM-6B-Int4-API-OpenAI-Compatible at main
素材来自:huggingface.co

570 x 404 · png
Internet Protocol Suite : Architecture, Types, and Its Advantages (2022)
素材来自:fipise.com
1026 x 203 · png
int（4）、int（8）、int（11）分别占用几个字节？_int(8)-CSDN博客
素材来自:blog.csdn.net

600 x 450 · jpeg
1746-INT4 Allen-Bradley (Isolated Thermocouple Input Module) | ArtisanTG™
素材来自:artisantg.com
729 x 960 · jpeg
Allen Bradley 1746-INT4 /B SLC 500 Isolated Thermocouple/Millivolt ...
素材来自:ebay.com

1024 x 768 · jpeg
int4 - PakWheels Blog
素材来自:pakwheels.com
1280 x 720 · jpeg
Int4 1 - YouTube
素材来自:youtube.com

1680 x 1050 · jpeg
langchain+ChatGLM：知识库问答云端部署教程
素材来自:xbeibeix.com
680 x 509 · jpeg
int4 | Iforium
素材来自:iforium.com

1000 x 784 · gif
ILT4在肿瘤诊治中的应用的制作方法
素材来自:xjishu.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)