• IIANews微官网
    扫描二维码 进入微官网
    IIANews微信
    扫描二维码 关注微信
    移动客户端
  • English
2025全景工博会
嵌入式系统

研扬成为国内首家与openGauss深嵌入式合作企业,为生成式AI应用添砖加瓦

  2025年08月29日  

当强大的Intel®酷睿™Ultra处理器遇上企业级的openGauss数据库,再集成创新的RAGFlow智能应用,一台真正的AI PC开发套件能为我们带来怎样的开发效率革命?研扬将带您亲历从环境搭建到应用部署的全过程,探索AI PC的实用边界。

本次使用的AI PC设备是由Intel与研扬科技(苏州)有限公司联合研发的UP边缘计算开发套件,该设备属于经过Ubuntu认证的UP系列工业交钥匙解决方案,预装了Intel® OpenVINO™工具包,专为简化AI边缘应用的开发与部署流程而设计,极大地缩短了从开发到市场的周期。

AI PC时代,开发者的新“工作站”

研扬科技与openGauss深嵌入式合作

当前,检索增强生成(RAG)等人工智能应用正迅速改变我们处理信息的方式。随之而来的,是对本地高性能、高隐私性开发与测试环境的迫切需求。云端资源虽庞大,但在数据敏感性、网络延迟和即时迭代开发方面,存在其固有局限。

正是在这一背景下,专为AI开发者设计的硬件平台——AI PC Dev Kit(开发者套件)应运而生。它不仅仅是一台高性能PC,更是一个集成了专用AI加速能力的开发平台。本文将展示如何在此套件上,成功构建一个以openGauss数据库为坚实基座、RAGFlow为智能前端的完整RAG应用,验证其作为AI应用开发“工作站”的实用价值。

AI PC Dev Kit——为AI计算而生的强大引擎

研扬科技与openGauss深嵌入式合作

本次部署基于Intel与研扬科技合作开发的AI PC Dev Kit(UP系列边缘计算开发套件),具体型号为UP XTREME I14 EDGE,搭载Intel® Core™ Ultra 7 155H处理器。该处理器采用Intel® 4制程工艺与分离式模块架构,集成专为AI负载设计的NPU(Intel® AI Boost),可提供持续3.38 TOPS的AI推理算力,适用于文本嵌入等持续性AI任务,有效释放CPU与GPU资源。

此外,该设备还配备Intel® Arc™ GPU,具备8个Xe核心并支持XMX AI加速引擎,可进一步提升AI计算吞吐量。通过CPU + GPU + NPU异构算力架构,该平台为本地AI应用提供了高效可靠的硬件支持。

值得一提的是,在生成式模型推理环节,系统可集成Intel开源的IPEX-LLM加速框架。该框架通过INT4量化技术将模型参数从FP32压缩至4位,结合动态内存分配与算子融合技术,显著降低大模型内存占用与推理延迟。以THUDM/chatglm2-6b模型为例,原生PyTorch在CPU上推理耗时6分8秒,而经IPEX-LLM优化后可缩减至5秒,速度提升超过70倍。开发者仅需通过pip install ipex-llm[xpu_lnl]安装库,并在加载模型时添加load_in_4bit=True参数,即可实现一行代码完成轻量化部署,极大简化了本地大模型服务的搭建流程。

与openGauss的协同优势:

在当今数据驱动的时代,高效可靠的数据库与检索增强生成(RAG)技术对企业提升数据处理和知识管理能力至关重要。将 openGauss 与 RAGFlow 相结合,既能发挥 openGauss 在数据存储和检索方面的优势,又可借助 RAG 实现智能问答、分析与内容生成,构建更强大的企业级数据智能解决方案。

这种硬件设计理念与openGauss数据库的特性形成了天然契合。openGauss作为一款企业级开源数据库,其优异的多核并行处理能力能够充分发掘Intel Core Ultra处理器的16核心22线程的潜力,确保在数据库层面实现高效的数据处理和复杂的SQL查询。

更重要的是,Intel硬件平台对主流AI框架和优化库(如OpenVINO™ Toolkit)的原生支持,与openGauss所倡导的AI-Native(原生于AI)理念不谋而合。openGauss支持AI算子、向量检索等特性,这意味着从数据存储、检索到最终的AI推理,可以在同一个本地环境中形成一个高效、无缝的闭环,为开发者构建了一个全栈本地化的AI开发与部署环境。所有敏感数据和核心算法处理均在本地完成,为开发提供了最高级别的隐私和合规保障。

Intel AI PC Dev Kit——专为AI计算打造

研扬科技与openGauss深嵌入式合作

数据库是任何应用的基石。我们选择了开源关系型数据库openGauss,其源自PostgreSQL,并针对企业级场景进行了深度优化。

根据其官方技术白皮书,openGauss具备多项关键特性:

高性能: 尤其在联机事务处理(OLTP)场景下表现优异,支持并行查询等先进技术,能够有效管理RAGFlow生成的大量文档、 chunk 片段和向量数据。

高可用与高可靠: 提供了全面的主备同步、异步复制等数据冗余方案,即使在单机开发环境下,也能为项目数据提供坚实的可靠性保障。

生态兼容性: 保持良好的SQL标准兼容性和丰富的应用程序接口,这使得像RAGFlow这样的现代应用可以轻松地通过PostgreSQL协议与之对接。

将openGauss部署在Intel AI PC Dev Kit上,带来了几个显著好处:

极致的数据访问速度:数据库与应用程序同处一地,消除了网络传输延迟。开发过程中的每一次查询、每一次插入都几乎是“零延迟”,极大加速了开发、调试和测试的迭代周期。

资源隔离与确定性:本地环境确保了所有计算资源(CPU、内存、NPU、存储)都可被预测和独占使用,避免了云端多租户环境下的资源争用带来的性能波动,使性能测试结果更具参考价值。

简化部署流程:借助容器化技术,在预装的AIPC上,通过WSL2和Docker,开发者可以在数十分钟内完成从裸机到一个完整可用的企业级数据库环境的搭建,效率远超传统方式。

实战演练:搭建OpenGauss + RAGFlow应用

研扬科技与openGauss深嵌入式合作

本次部署基于 Linux (Ubuntu 22.04),整合了源自 Gitee 上华为 KunpengRAG 项目中与 RAGFlow 相关的适配工作及 RAGFlow 官方源码。下文将重点说明为完成部署所做的关键改动,常规配置已省略。完整适配源码可通过文末百度网盘链接获取,供进一步研究与实践。

关键改动说明:

为使RAGFlow默认支持并连接到OpenGauss数据库,需要对源码进行必要的适配。主要改动集中在配置文件和数据库初始化脚本上。

RAGFlow相关改动:

1. 数据库连接配置文件 (.env):

修改 .env 文件,将默认的文档存储引擎指向OpenGauss

配置相应参数:

2. Docker-Compose 服务定义文件 (docker-compose-base.yml):

在服务的定义中,添加OpenGauss数据库容器服务

注: 最初尝试使用 latest 标签或其它候选版本镜像时,可能遇到数据库无法正常启动的问题。

最终明确使用 opengauss/opengauss:7.0.0-RC2.B003 版本镜像是本次部署成功的关键之一。

OpenGauss相关准备:

获取特定版本镜像:

docker pull opengauss/opengauss:7.0.0-RC2.B003

成果展示:

网盘链接:

https://pan.baidu.com/s/16A36OxXB0yT_MA9G3XOqMw?pwd=z4i4

提取码: z4i4

本次实践成功验证了在单台Intel AI PC Dev Kit上构建并运行一个包含企业级数据库和复杂AI应用的完整系统的可行性。整个过程无需依赖任何云端资源,所有数据处理和模型推理均在本地完成。

此外,随着如IPEX-LLM这类端侧大模型优化技术的持续演进,本地设备处理复杂AI任务的能力边界正不断拓宽。其通过低位量化、XMX指令加速与动态内存管理等技术,实现在锐炫GPU上高达70 TPS的Token生成效率,为RAG等生成式应用提供了更高效的端侧推理方案。

对于开发者、学生和初创团队而言,这种组合提供了一个低成本、高性能、高隐私性的理想AI开发与原型验证平台。它极大地缩短了从idea到prototype的路径,让开发者能专注于算法和逻辑本身,而非环境配置与资源申请。

(来源:研扬科技)

最新视频
欧姆龙机器人高速多点检查 | 统合控制器实现一体化控制,可实现2ms扫描周期,提升运行节拍   
欧姆龙机器人高速多点检查 | 通过设备统合仿真实现整机模拟,效率、竞争力双提升   
研祥智能
施耐德电气EAE
魏德米勒麒麟专题
魏德米勒
专题报道
《我们的回答》ABB电气客户故事
《我们的回答》ABB电气客户故事 ABB以电气问题解决专家之志,回答未来之问。讲述与中国用户携手开拓创新、引领行业发展、推动绿色转型的合作故事,共同谱写安全、智慧和可持续的电气化未来。
企业通讯
AVEVA InTouch Unlimited重塑HMI/SCADA的无限可能
AVEVA InTouch Unlimited重塑HMI/SCADA的无限可能

12月18日,《AVEVA InTouch Unlimited重塑HMI/SCADA的无限可能》在线研讨会即将开播。

电子半导体行业的数字化未来
电子半导体行业的数字化未来

为助力广大电子半导体企业洞悉行业数智化发展趋势,并提供切实可行、可靠的解决方案,推动整个行业繁荣发展,剑维软件的专家团队

在线会议
热门标签

社区