引领全球行动通讯科技风向球的MWC 2024 世界行动通讯大展,于26日起至2月29日在西班牙巴塞隆纳盛大举办。瞄准当红的生成式AI人工智能技术,高通于MWC发布在即将推出的新一代安卓智能型手机、Windows PC、汽车和穿戴式装置上的最新生成式AI功能,致力于促成行动装置上AI的大规模商业化,透过横跨各领域的多样化AI应用与高尖端的技术展示,打造智能运算无所不在的使用者体验。
特别一提的是,高通旗下的Qualcomm AI Research 研究团队,在今年MWC上带来了首次在Android 智能型手机上运行的两个最新模型,分别为展现大型语言和视觉助理的LLaVA(Large Language and Vision Assistant,)全新多模态模型,以及在Android智能型手机上运行的LoRA(Low Rank Adaptation,)低秩调整模型。
聚焦于Windows PC 装置上所展示的大型语言LMM ,则是使用超过70亿个参数为全球首见。高通表示此模型可以在Windows PC 装置上接受文字和音讯输入(例如:音乐、交通声音等),并生成有关此段音讯的多轮对话。
高通指出,首次运行于Android 智能型手机上LLaVA全新多模态模型,具有超过70亿个参数,可以接受包括文字和图像在内的多种类型资料输入,并能与AI 助理生成关于图像的多轮对话。优势特色在于能以反应灵敏的代码(token)速率运行,以增强隐私性、可靠度、个人化和成本。以及具有语言理解和视觉理解能力,可支援许多使用案例,例如辨识和讨论复杂的视觉模式、物件和场景。
而同样也是首次运行在Android智能型手机上的LoRA低秩调整模型,使用分解成较小的矩阵Stable Diffusion,让使用者可以根据个人或艺术偏好创造出高品质的客制化图像。除能减少AI模型的可训练参数数量,实现更优秀的效率、可扩充性、和客制化的装置上生成式AI使用案例。此外,亦可为不同的艺术风格微调语言视觉模型(LVM)。另,LoRA 还可广泛运用于如大型语言模型等各种客制化的AI 模型,例如打造量身定制的个人助理、改善语言翻译等更多应用。
此外,为促使AI更为普及化,高通面向开发者人员推出了全新的Qualcomm AI Hub,包含一个预先最佳化的AI模型库,可在搭载Snapdragon和高通平台的装置上无缝部署。
Qualcomm AI Hub AI模型库提供包括Whisper、ControlNet、Stable Diffusion和Baichuan 7B在内,超过75个热门的AI和生成式AI模型供开发者使用。这些模型都已针对装置上AI的出色效能、更低的记忆体利用率和更好的能源效率进行了最佳化,适用于不同的外形规格,并封装在各种运行时间环境中。在充分利用高通AI引擎(NPU、CPU 和GPU)中所有核心的硬体加速,使推论速度快4倍。
开发者藉由Qualcomm AI Hub模型库,能将这些生成式AI模型无缝整合至其应用程式中,缩短上市时间,并充分发挥实现装置上AI所带来的优势,包括即时性、可靠性、隐私性、个人化和节省成本等。预先最佳化的模型现已于Qualcomm AI Hub、GitHub和Hugging Face上提供。
除搭载Snapdragon和高通平台适用之外,“Qualcomm AI Hub”模型库会持续将新模型加入模型库,除预计未来也将会支援其他平台和作业系统。