《大模型專題：大模型的異構計算和加速》由英特爾院士戴金權在AiCon人工智能開發與應用大會上的演講內容整理而成。報告介紹了大語言模型的異構計算和加速相關技術。首先闡述大語言模型基于Transformer解碼器架構的自回歸模型原理。接著分析大模型推理和訓練面臨的瓶頸，包括內存帶寬、計算、顯存大小和分布式計算等方面。

報告重點介紹了大模型的異構計算和加速方法。包括XPU異構計算，涉及CPU、GPU、NPU等硬件加速；低比特計算，如模型量化/壓縮、數據類型選擇、低比特算子應用以及對顯存使用量和訓練微調的影響，并對比了不同量化方式下多個模型的精度；還介紹了推理算法優化，涵蓋Self - speculative decoding、KV Cache compression等多種方式。

此外，報告還介紹了IPEX - LLM開源大模型XPU加速框架及其應用場景，如在Intel Core Ultra AI PC、Intel Arc A770 GPU等不同硬件上的加速體驗，包括Office助手、工業機器人代碼生成、AI座艙 - 汽車助理等多個應用案例展示了英特爾XPU在大模型應用創新方面的成果，并鼓勵關注和試用IPEX - LLM，在Intel XPU平臺開發大模型及其應用。

附件：大模型的異構計算和加速:加速方法,包括XPU異構計算,多個模型的精度,推理算法優化