——工业智能全场景解决方案专家——工业智能全场景解决方案专家

百度智能云开源视觉理解模型 Qianfan-VL,基于自研昆仑芯 P800 芯片计算

发布时间2025-09-23 10:00:26
分享:

【导语】9月22日,百度智能云千帆正式推出并全面开源全新视觉理解模型Qianfan-VL,含3B、8B、70B三个版本,针对企业级多模态场景深度优化,具备多尺寸适配、思考推理及OCR与文档理解等强大能力,在多项基准测试中表现优异,将助力AI技术在各行业落地。

  9月 22 日消息,百度智能云千帆正式推出全新视觉理解模型 ——Qianfan-VL,并全面开源。该系列包含 3B、8B 和 70B 三个尺寸版本,是面向企业级多模态应用场景,进行了深度优化的视觉理解大模型。官方称,Qianfan-VL 不仅具备出色的基础通用能力,还针对产业落地中的高频需求,如 OCR 和教育垂直场景做了专项强化,使其在实际应用中表现更加卓越。

  Qianfan-VL 现已开源,即日起至 10 月 10 日,企业用户和开发者可在百度智能云千帆平台免费体验 8B、70B 模型。

  附模型官方介绍如下:

  Qianfan-VL 系列模型是由百度智能云千帆模型研发团队,基于开源模型进行开发,并在百度自研昆仑芯 P800 上完成全流程计算任务。昆仑芯 P800 提供了强大的算力支撑,确保模型能够高效处理海量数据与复杂算法,同时支持单任务 5000 卡规模的并行计算。这一结合不仅优化了模型计算的效率,更使得模型在性能表现上达到了新的高度,在通用和垂类任务评测中展现出 SOTA 水平。Qianfan-VL 模型具备三大特点:

  ● 多尺寸模型满足不同场景需求:提供 3B、8B、70B 三种规格的模型,让不同规模的企业和开发者都能找到合适的解决方案。

  ● 提供思考推理能力:8B 和 70B 模型支持通过特殊 token 激活思维链能力,覆盖复杂图表理解、视觉推理、数学解题等多种场景。

  ● OCR 与文档理解能力增强:主打 OCR 全场景识别和复杂版面文档理解两大特色能力,在多项基准测试中表现优异,为企业级应用提供高精度的视觉理解解决方案。

  模型性能与效果

  >> 通用能力基准测试表现

  在通用能力基准测试中,Qianfan-VL 系列模型(3B、8B、70B)展现出显著核心优势。从视觉理解到专业领域问答,模型性能随参数规模增大提升显著,体现出很好的 Scaling 趋势。在 ScienceQA 等专业问答测试中,精准度表现突出;多模态任务如 RefCOCO 等,物体识别与关联能力优异;同时,在各类通用基准测试里,相较主流模型,整体表现也颇为亮眼,充分彰显出在视觉理解通用能力上的出色实力,为不同场景下的智能应用提供了有力支撑。

  >>OCR 与文档理解基准测试表现

  Qianfan-VL 系列模型(3B、8B、70B)在 OCR 与文档理解领域尽显卓越实力。一方面,具备 OCR 全场景识别能力,能精准识别手写体、数学公式、自然场景文字,还可对卡证票据信息进行结构化提取;另一方面,复杂版面文档理解能力突出,可自动分析版面元素,精准解析表格、图表,实现文档智能问答与结构化解析。从基准测试表现看,在 OCRBench、各类专业测试中,相较于主流模型,成绩优异且随参数规模提升持续向好,为企业级应用提供了高精度的视觉理解解决方案,有力推动文档智能处理场景的高效落地。

  >> 数学解题基准测试表现

  Qianfan-VL 系列的 8B 和 70B 模型,在思考(kǎo)推(tuī)理(lǐ)能(néng)力(lì)方(fāng)面(miàn)表(biǎo)现(xiàn)卓(zhuō)越(yuè)。它(tā)们(men)支(zhī)持(chí)通(tōng)过(guò)特(tè)殊(shū) token 激(jī)活(huó)思(sī)维(wéi)链(liàn)能(néng)力(lì),能(néng)覆(fù)盖(gài)复(fù)杂(zá)图(tú)表(biǎo)理(lǐ)解(jiě)、视(shì)觉(jué)推(tuī)理(lǐ)、数(shù)学(xué)解题等多类场景。这类任务需结合视觉信息与外部知识进行组合推理,而模型通过融合大量视觉类、文本类推理数据并用于后训练,从 benchmark 表现来看,推理计算相关任务效果显著提升。

  在核心推理应用场景上,复杂图表理解与推理方面,可从复杂图表提取关键信息,进行数据分析、趋势预测、关联推理及统(tǒng)计(jì)计(jì)算(suàn);数(shù)学(xué)解(jiě)题(tí)与(yǔ)视(shì)觉(jué)推(tuī)理(lǐ)领(lǐng)域,能(néng)实(shí)现(xiàn)几(jǐ)何(hé)推(tuī)理(lǐ)、公(gōng)式(shì)识(shi)别(bié)、分(fēn)步(bù)求(qiú)解(jiě)与(yǔ)逻(luó)辑(ji)推(tuī)断(duàn)。从(cóng)数(shù)学(xué)解(jiě)题(tí)基(jī)准(zhǔn)测(cè)试(shì)表(biǎo)现(xiàn)看,在 MathVista-mini、MathVision 等多项测试中,相较于主流模型,成绩优异且随参数规模提升持续向好,为复杂推理场景下的应用提供了强力支持。

  模型架构设计(jì)与(yǔ)技(jì)术(shù)特(tè)色(sè)

  Qianfan-VL 通(tōng)过(guò)先(xiān)进(jìn)的(de)多(duō)模(mó)态(tài)架(jià)构(gòu)设(shè)计(jì),凭(píng)借(jiè)持(chí)续(xù)预(yù)训(xun)练(liàn)和(hé)三(sān)大(dà)技(jì)术(shù)创(chuàng)新(xīn),实(shí)现(xiàn)了(le)领(lǐng)域增(zēng)强(qiáng)的(de)通(tōng)用(yòng)视(shì)觉(jué)-语(yǔ)言(yán)能(néng)力(lì)。

  ● 能(néng)力(lì)增(zēng)强训练方案:创新的四阶段训练策略,在保持通用能力基础上实现领域能力显著提升。

  ● 高精度数据合成管线:构建面向多模态任务的大规模数据合成管线,涵盖文档识别、数学解题、图表理解、表格识别、公式识别、自然场景 OCR 等核心任务,通过精细化的管线设计和中间过程数据构造,实现高质量训练数据的规模化生产。

  ● 昆仑芯驱动大模型高效计算基于百度自研昆仑芯 P800 芯片,构建了业界领先的超大规模(5000 卡)分布式计算系统,通过创新的并行策略和算子优化,显著提升大模型任务的处理性能与运行效率。

  模型应用案例

  >>OCR 识别场景

941a4940-9728-404d-92f6-c4b5d5ad44a8.png

  >> 文档理解场景

  除上述场景应用案例外,Qianfan-VL 同样可应用在图表分析、视频理解等场景中,均呈现出卓越的模型效果。

  Qianfan-VL 系列模型的开源,对百度智能云千帆来说,更像是“把模型放进真实生产力场景”的一小步;未来,百度智能云将秉持对技术的执着追求与对应用场景的深度洞察,不断推出全新的产业级模型,全方位助力 AI 技术在各行业落地。



让资产更安全、更经济、更智能
请选择您的行业 水电 新能源 火电 电网 其他
请选择您的行业 水电 新能源 火电 电网 其他
请选择您的行业 水电 新能源 火电 电网 其他
请选择您的行业 水电 新能源 火电 电网 其他
请选择您的行业 水电 新能源 火电 电网 其他
×
咨询电话:400-83756699 咨询邮箱:pocketGames@gsfzw.com
咨询电话:
400-83756699
咨询邮箱:
pocketGames@gsfzw.com
咨询电话:400-83756699 咨询邮箱:pocketGames@gsfzw.com
code1
Hi,有什么问题可以帮您? 立即咨询
Hi,有什么问题可以帮您?
咨询电话:400-83756699 咨询邮箱:pocketGames@gsfzw.com