提交 0fc7b734 编写于 作者: 唐门教主's avatar 唐门教主

Update 第四章 开源行业发展现状.md

上级 6499bda6
# 第四章 开源行业发展现状
## 开源在金融行业的应用
作为行业发展的重要基石,开源已经成为促进全球各行业转型升级、推动数字经济快速发展的中坚力量。行业已经形成拥抱开源、使用开源的共识。未来,开源将在传统企业展现更多的力量,而传统行业积极拥抱开源、引入开源软件的背后,是其业务发展导致的企业对持续变化的业务需求响应能力、软件性能及成本与效率方面的考虑。出于传统行业的增长需求、市场环境的变化、客户需求的多样性等原因,传统企业自身的研发能力不足以支撑企业敏捷响应、快速迭代、开发,制约了企业的快速发展,尤其是金融行业的应用场景规模大、高并发,对企业应用的软件性能有严苛要求。但企业根据需求自研系统或引入外部商业软件都会带来高昂的采购成本、维护成本和人力投入。
在此背景下,开源由于其开放式协作的特点,使得开发流程更为敏捷,业务需求和变化能快速得到响应,而且开源社区为企业与外部精英提供合作平台,可以解决短期内传统行业研发实力不足的问题。引入开源软件意味着企业可以基于原有开源代码自行开发或只需采购增量服务,节约时间、人力、经济成本。传统行业引入开源软件提升了企业业务竞争力,驱动了企业数字化转型,帮助企业系统实现了安全性和可靠性提升。从全局角度而言,传统行业拥抱开源为其带来了新的增长机遇。
据信通院在《全球开源生态研究报告(2022)》中指出,开源开放是数字化催生的新“创新范式”,开源通过数字技术扩散互联促进数字技术创新,进而加速数字化转型。一方面,企业通过开源开放充分集结全社会智力资源,与外部创新主体协同创新,搭建企业技术创新入口和交互平台,获得“数字化生存”的动态技术创新能力。另一方面,开源战略通过核心开源产品快速建立一个以开源技术为平台、参与者相互赋能的行业生态圈。数字企业通过开源产品,与上下游企业形成共享代码、协同开发、成本分摊的战略联盟,能够充分发挥各个企业的竞争优势与核心能力,增强企业之间的资源互补,有效地扩大行业业务范围,加速行业数字化转型。
## 4.1 开源在金融行业的应用
> 作者:
>
......@@ -8,9 +14,9 @@
>
> 刘建珍,中国农业银行研发中心高级专员
### 一、2022-2023 年金融行业开源发展现状
### 4.1.1 2022-2023 年金融行业开源发展现状
#### 1. 开源技术已渗透金融全场景,机遇与挑战并存
#### 开源技术已渗透金融全场景,机遇与挑战并存
金融行业在强化技术掌控和提质增效的双重压力下,越来越多地选择开源技术产品作为其基础技术架构组成部分。金融行业通过开源技术支持企业核心技术框架,既能保证接轨国际主流技术,又能确保以深度参与的方式完成金融信息建设,实现从“可用”到“好用”的转变。根据北京金融科技产业联盟调研报告显示,90%的金融机构已官方应用和试用开源软件。开源技术已成为金融服务的重要技术支撑。据金融行业开源技术应用社区的“2022金融行业开源技术应用调查”显示,47.06%的金融机构开源架构资产库系统使用开源组件和软件的清单列表数量在1000至10000之间,35.29%的金融机构开源架构资产库系统使用开源组件和软件的清单列表数量小于1000,另有11.76%的金融机构使用开源组件和软件的清单列表数量在1万至10万之间,5.88%的公司开源架构资产库系统使用开源组件和软件的清单列表数量在10万以上。
......@@ -18,13 +24,13 @@
开源技术为金融机构带来科技创新、业务赋能等积极成效的同时,也带来了包括技术风险、法律风险、供应链风险在内的诸多挑战。日益增多的开源安全漏洞、恶意软件植入、开源许可证冲突、关键组件瓶颈等,已成为金融企业广泛运用开源技术亟待解决的问题。
#### 2. 金融行业积极布局开源发展,陆续出台多项政策规范,提供金融业开源治理和生态建设基本遵循
#### 金融行业积极布局开源发展,陆续出台多项政策规范,提供金融业开源治理和生态建设基本遵循
因开源技术的广泛使用,金融行业日益重视开源治理和开源生态建设,2021年10月,人民银行办公厅、中央网信办秘书局、工业和信息化部办公厅、银保监会办公厅、证监会办公厅联合发布《关于规范金融业开源技术应用与发展的意见》(以下简称《意见》)。整体从金融机构使用开源、自发开源、开源生态构建、构建标准和法律体系等4个方面提出了指导意见,并鼓励“金融机构将开源技术应用作为提高核心技术自主可控能力的重要手段”、鼓励“金融机构积极参与开源生态建设”和“开展开源项目合作,实现优势互补、互利共赢、共同发展”。同年人行发布的《金融科技发展规划(2022-2025)》提出了要在开源生态方面“依法合规参与数字技术开源社区等创新联合体”。行业相关政策陆续出台,规范和鼓励了金融机构安全合规应用开源技术,促进了金融行业开源生态培育和发展,推动了金融机构的数字化转型。
2022年金融行业开源相关标准规范陆续出台,护航金融业参与开源生态行稳致远。在行业标准方面,《金融业开源软件应用管理指南》《金融信息系统开源软件应用 评估规范》《金融业开源技术 术语》为进一步规范金融 机构开源软件的资产管理提供了宝贵的经验。《金融行业开源软件评测规范》、《金融行业开源软件服务商评测 规范》为银行机构评估和选择合适的开源软件及服务商提供参考依据,保障银行业开源软件的应用安全,促使开源软件服务商 提升企业竞争。《金融技术产品开源项目管理指南》 保障金融技术产品开源管理流程的规范性和可行性,促进金融机构合法合规、拥抱开源。
#### 3. 金融机构逐渐强化开源治理,尝试探索对外开源
#### 金融机构逐渐强化开源治理,尝试探索对外开源
在内部开源治理方面,超70%的金融机构具有开源相关治理流程,其中41.18%的企业有多个开源相关治理流程,29.41%的企业有1个开源治理流程。另有29.41%的企业尚无开源治理相关流程。70.59%的公司无单独开源管理团队,17.65%的公司拥有单独开源管理团队,其中1人专职,5-10人兼职;11.76%的公司具备2-3人专职,10-20人兼职的单独开源管理团队。多家大型商业银行已制定企业级开源治理流程,具备明确开源管理人员责任划分,保障开源技术的安全可控应用。例如,中国农业银行结合商业银行特点和自身实践涉及了一套融合传统和开源理念的软件管理体系和框架TOSIM(Tranditional&Open-source Software Integrated Management),规范企业内部开源管理;交行也根据自身企业技术架构发展,制定了开源软件管理办法、开源依赖库管理细则等,形成开源软件管理模型;浦发银行成立了开源治理配套组织架构,建设了开源治理平台实现开源软件全流程、一体化、自动化管理;中国银行打造了包括开源技术架构师、开源安全专家、开源软件开发专家在内的三支专家队伍,确保高效协同;中信银行成立了专业开源治理团队,启动开源治理平台建设,实现开源资产管理线上化。
......@@ -34,68 +40,69 @@
在内部开源方面,64.71%的金融机构实施了企业或集团内部开源,35.29%的企业还未实施。缺乏专门的开源管理团队和企业级的开源文化认同以及安全、商务、法律因素是内部开源的最大阻力。
### 二、金融行业开源发展的问题与挑战
### 4.1.2 金融行业开源发展的问题与挑战
金融行业开源要得到长足发展,必然面临开源领域普遍会遇到的开源许可证合规风险、供应链风险、代码安全风险、自主创新风险和运维服务支持风险,各家金融机构也面临自身IT转型过程中的开源发展问题与挑战。
#### 1. 开源许可证合规风险高
#### 开源许可证合规风险高
许可证合规性是金融机构引入、使用、治理开源软件面临的首要问题。同时,也需要保护金融机构自身的知识产权免遭传染性许可证侵害。目前,国际公认的开源许可证91种,主流使用的许可证也有9种(截至2020年12月19日,OSI),其中大多采用英文编写,只有木兰许可证采用中文编写。金融机构需要有具备熟悉许可证特性与要求的法律法规团队支持,并建设在开源软件全生命周期内动态管理、定期扫描,发挥监控、评估等能力。
#### 2. 缺少运维支持服务风险
#### 缺少运维支持服务风险
开源软件相较闭源商业软件缺少完善的运维保障支持。对开源软件应用中出现的安全漏洞、隐私风险,金融机构需要自行分析解决。此外,金融机构对开源软件二次开发的代码,因其针对金融特定场景不具有通用性,在开源软件进行大版本升级后,金融机构仍需要重复开发、测试、上线。
#### 3. 开源商业模式运营公司的不可持续服务风险
#### 开源商业模式运营公司的不可持续服务风险
开源软件独特的商业运营模式,使成功的开源软件几乎都由成熟商业组织推动,在无法为其商业模式带来流量、关注度等回报,或开源软件的存在对其盈利造成影响时,开源软件将面临人员投入、资金支持、代码贡献调整的风险。
#### 4. 缺少统一安全管理风险
#### 缺少统一安全管理风险
金融行业普遍应用了成千上万的开源软件,开源软件之间的依赖关系趋于复杂,管理成本较高。开源软件间安全漏洞、后门风险的连锁传播,须进行有效漏洞管理。
#### 5. 对外参予和对外开源程度不足
#### 对外参予和对外开源程度不足
金融机构整体上在开源产业生态链中贡献度较低。传统银行科技团队面的挑战更多,对外开源的内部流程更复杂、孵化时间更长。
#### 6. 开源供应链风险层出不穷
#### 开源供应链风险层出不穷
随着软件供应链开源化趋势日益明显,供应链风险也随之愈发复杂和多样化,主要包括了断供风险和攻击风险。
### 三、金融行业开源发展前景与趋势
### 4.1.3 金融行业开源发展前景与趋势
#### 1. 和开源供给侧合作更加紧密
#### 和开源供给侧合作更加紧密
金融行业开源已广泛应用,开源软件方面的专业服务需求日益旺盛,和开源商业公司、开源技术服务公司、开源软件安全服务公司、开源治理咨询公司的合作将更加紧密。
#### 2. 生态共建步伐进一步加快
#### 生态共建步伐进一步加快
金融行业在《意见》的指导下,在北京金融科技产业联盟开源专委会的组织下,通过FOST平台和OFTP平台,将进一步分享开源技术应用经验,共享开源技术研究成果。通过各类团体,如金融行业开源技术应用社区(FINOC)和经溶液开源技术应用与发展实验室,行业合作共建步伐将进一步加快。
#### 3. 对外开源意义进一步普及
#### 对外开源意义进一步普及
各类机构在开展生态共建的基础上,将进一步了解对外开源的意义并逐步熟悉对外开源能力建设方法。
### 四、金融行业开源发展建议
### 4.1.4 金融行业开源发展建议
#### 1. 金融机构应合理制定开源规划
#### 金融机构应合理制定开源规划
金融机构应在IT顶层规划设计,加强开源软件使用、开源治理、开源人才队伍建设方面的规划,实现开源核心技术的自主可控。
#### 2. 金融机构应加强开源安全管理
#### 金融机构应加强开源安全管理
金融机构应加强开源风险意识,提升开源工作认知度和参与度,建立统一安全管理机制,破除开源引入障碍,规范开源全生命周期管理,推动适合开源的组织架构调整,指导金融机构建立开源办公室,配备相应的开源法律合规团队,彻实掌握开源使用规模、复杂度,对已存在的安全漏洞、许可证合规风险主动防控处理。
#### 3. 金融机构应积极参与开源生态建设,加强开源社区互动
#### 金融机构应积极参与开源生态建设,加强开源社区互动
金融机构应走出以使用为主的单方模式,在贡献开源、主动开源、开源慈善捐赠等方面主动投入和布局,加强与协会、联盟、基金会等社会组织合作和开源社区互动,推动开源供给侧参与金融开源工作,积极参加编制开源标准,促进金融行业开源生态可持续健康发展。
## 开源在汽车行业的应用
## 4.2 开源在汽车行业的应用
> 作者:滕召智,OpenSDV汽车软件开源联盟生态负责人
>
> 参与单位:极氪汽车、长安汽车、信通院、国科础石、中汽智联
### 一、2022-2023全球汽车软件开源生态
### 4.2.1 2022-2023全球汽车软件开源生态
2022年,汽车行业的战略技术储备通过成本及供应链的棱镜,在市场表现上展露的非常明显,技术架构也随着软件比重以及EE架构进入了新的双螺旋进化模式。目前各个车企,根据自身供应链条件的不同,也正处于不同的发展阶段。软件定义汽车正在通过软件的技术、基础技术的普及、科技团队的引入影响汽车行业,促使整个行业进入到一个新的发展阶段。
......@@ -113,29 +120,9 @@
汽车因为供应链很长,涉及面非常广,汽车软件的复杂度也很高,从本次调研的情况来看,我们非常高兴的看到了车企与开源的交织,也看到了很多的问题。我们这一次先从大多数车企所处的开源阶段 --- 合理使用开源进行展开。
### 二、汽车行业OSPO建设情况
随着开源软件的引用、供应商大量使用开源中间件或组件进行交付,在车企进行SBOM管理时迎来了巨大的挑战,需要有一个跨部门、跨组织、跨权限的协调组织出现,进行资源、流程的配置与管理,因此,开始引入了OSPO(Open Source Program Office),这在大型互联网企业相对成熟,对于企业在使用外部开源组件/项目的合规,以及代码开源到外部的流程负责,协调研发、产品、市场、法务、人力进行综合的管理,在用好开源的同时,也遵循开源世界的游戏规则,更好的融入其中。
2022年7月,极氪汽车成立了自己的OSPO,在同期,长安也正在考察开源软件办公室的作用和意义,最终还是以知识产权相关部门为驱动,在合规上进行把关。
极氪汽车是吉利汽车、吉利控股集团于2021年4月推出的豪华纯电品牌。极氪高层高度重视开源,特别是开源合规风险管控。公司成立不到一年就在内部启动了开源治理项目,并积极推动了开源办公室(OSPO)的建成,取名为极氪开源合规审查小组。
极氪OSPO组成人员涵盖了研发、安全、合规、法务、运维等人员,设置三层四组的人员架构,职责分工明确。其中三层指的是高层人员支持、中层人员指导、基础层人员执行的层级设置;四组指的是研发组、审核组、检测组、运维组。对内运营方面,极氪OSPO推动落地了四大事项:制度建设、流程落地、培训宣贯、供应商管理。其中在制度建设上,已经推动建立了开源软件合规管理制度、开源软件选型及引入管理规范等一阶二阶的制度,以及开源代理治理、引入场景和分发场景等具体指引文件作为指导,加强许可证风险、安全漏洞风险以及出口管制风险。
在流程落地上,开源合规和安全审核嵌入到devSecOps,已经建成开源组件引入流程,收口公司开源组件的引入,研发人员只需提供一个代码下载链接或直接通过极氪组件代码库进行识别引用;在分发前,通过SCA工具自动化扫描识别验证研发所做的合规安全措施是否落地。
同时,随着开源软件的引用、供应商大量使用开源中间件或组件进行交付,在车企进行SBOM管理时迎来了巨大的挑战,需要有一个跨部门、跨组织、跨权限的协调组织出现,进行资源、流程的配置与管理,因此,开始引入了OSPO(Open Source Program Office),这在大型互联网企业相对成熟,对于企业在使用外部开源组件/项目的合规,以及代码开源到外部的流程负责,协调研发、产品、市场、法务、人力进行综合的管理,在用好开源的同时,也遵循开源世界的游戏规则,更好地融入其中。比如在2022年7月,极氪汽车成立了自己的OSPO,取名为极氪开源合规审查小组。在同期,长安也正在考察开源软件办公室的作用和意义,最终还是以知识产权相关部门为驱动,在合规上进行把关。
在培训宣贯上,通过线上线下等课程培训进行培训,同时开通开源科普文系列。
在供应商管理上,极氪OSPO对公司软件/信息化相关合规模版进行调整,增加可落地的开源合规条款,并要求应用场景是外部项目和SAAS项目的供应商提供开源组件使用情况表或SCA报告;同时在DMZ流程中嵌入供应商引入代码的SCA扫描,确保供应商引入合规。
对外合作上,极氪OSPO参与了多项对外活动,首批加入中国信息通信研究院“可信开源合规计划”,参编了国内首份开源办公室案例集,并获得OSCAR尖峰开源企业(开源治理)奖以及开源合规领航者称号。
开源之路并非一蹴而就,极氪OSPO也正在考虑研究并推动内部项目对外开源,从使用开源,慢慢走向参与开源直至领导一些项目的开源,在开源生态中贡献极氪礼物。
我们也希望将极氪OSPO在开源领域的最佳实践,推广应用到汽车行业,影响供应商、集成商以及车企生产商,形成一个良性的与开源共舞的生态发展局面。
### 三、问题、机遇与挑战
### 4.2.2 问题、机遇与挑战
从当前的生产模式和电子电气架构在大多数车厂的发展阶段,车企在整体开源生态上,还是一个使用者的角度,Tire1和Tire2厂商在基础技术的投入、技术要更深入。从车企以及软件供应商和集成解决方案的提供商来说,需要从引入开源软件或组件入手,逐渐规范起来,迎接开源带来的无限可能,也正视可能的风险。
......@@ -238,9 +225,7 @@
GPT(Generative Pre-trainedTransformer))技术在多个车企内部的SOA中均有所提及,除了从应用端解决类似智能客服的问题外,如果可以训练GPT参与到代码编写过程,不仅可以规范化和模块化可靠的代码块,也可以尽可能减少人为错误。通过GPT将具有功能安全不同等级要求的代码风格,结构和关系树结合到开发流程中,开发满足功能安全要求或者适用于汽车座舱环境的代码。要达到这样的效果,需要对模型进行大量的训练,给予正确的边界理解,让GPT可以在汽车这种垂直领域的软件开发中贡献力量。这里也不可避免的需要参与单位通过开源、开放的形式,在数据样本、编码要求上进行共享,促进整体行业的技术进步。
### 四、发展建议
主要问题的解决思路及建议
### 4.2.3 主要问题的解决思路及建议
#### 产业的技术更迭太快,人才的储备不足
......@@ -269,11 +254,11 @@ GPT(Generative Pre-trainedTransformer))技术在多个车企内部的SOA中均
- https://www.nist.gov/system/files/documents/2022/02/04/software-supply-chain-security-guidance-under-EO-14028-section-4e.pdf
- https://www.whitehouse.gov/wp-content/uploads/2021/08/M-21-30.pdf
## 开源在工业互联网的应用
## 4.3 开源在工业互联网的应用
> 作者:郑伟波,浪潮国际CTO、开放原子基金会TOC副主席
### 一、2022-2023 年工业互联网开源发展现状
### 4.3.1 2022-2023年工业互联网开源发展现状
工业互联网自2017年上升为国家战略以来,在政策与市场双轮驱动下,呈现快速发展态势,国家级双跨平台从最初的10家已经发展到29家,面向行业和专业领域的工业互联网平台更是达到几百家,体系架构也从1.0进化到2.0,功能视图体系架构如下:
......@@ -283,13 +268,13 @@ GPT(Generative Pre-trainedTransformer))技术在多个车企内部的SOA中均
工业互联网高速发展,部分功劳应归功于开源软硬件的助力。目前,工业互联网通用技术领域开源项目较多、成熟度相对高,但不可忽视的是,深入到OT层、传统制造领域,开源项目相对少、成熟度也较低,且核心开源项目以国外为主。推动开源开放技术体系,对加快我国工业互联网发展具有重大意义。近年来,我国也涌现了一批优秀的工业互联网开源项目,整体呈增长态势。
#### 1. 工业互联网边缘侧碎片化程度高,开源技术发展空间广阔
#### 工业互联网边缘侧碎片化程度高,开源技术发展空间广阔
工业互联网边缘侧主要是通过物联网技术实现工业设备数据接入能力、协议解析与数据预处理,整个服务市场呈现碎片化的形态,为开源技术提供了更广阔的发展空间。从通信网络、连接协议到物联软件、时序数据库,都存在大量优秀开源项目,我国开源项目表现也相当亮眼。
在网络方面,5G开源项目较多,包括Open5Gs、Free5GC和Magma等,NB-IoT、LoRa、ZigBee等相对少。在连接协议方面,MQTT、CoAP、OPC UA、AMQP、XMPP、DDS等都是开源协议,基于标准协议的开源项目也较多,其中,中国的开源物联网 MQTT 服务器EMQX的全球下载量已超千万。工业协议方面,由于传统工业厂家的市场格局和商业利益,大多数工业协议都是封闭化设计,较少开源。在物联软件方面,从组件到整个平台软件都有典型开源项目,包括消息队列Kafka、Pulsar,规则引擎Node-RED、EMQ X IoT Rule Engine,开源物联网平台ThingsBoard、IOT DC3、Kaa等。此外,为了物联网边缘计算构建通用开放框架,2017年6月,Linux基金会主持成立开源边缘计算框架EdgeX Foundry,提供开源微服务的集合,用于统一工业互联网边缘计算解决方案的生态系统。在时序数据库方面,近几年一直处于高速发展阶段,开源项目更是层出不穷,权威排名DB-Engines TimeSeries热度前五中,包括第一名InfluxDB在内的4个都是开源项目,国内的开源时序数据库TDengine、Apache IoT DB排名也比较靠前。
#### 2. 开源生态极大推动了云资源管理领域主流技术的更新迭代与快速应用
#### 开源生态极大推动了云资源管理领域主流技术的更新迭代与快速应用
以微服务、容器化为代表的云原生技术架构被认为是工业互联网云资源管理的最佳选择。相较于传统的虚拟化技术,基于容器和Kubernetes的云原生解决方案在简化应用部署、重组微服务能力、建立云边一体化资源调度等方面具有敏捷、灵活、高效率的技术优势。
......@@ -297,19 +282,19 @@ GPT(Generative Pre-trainedTransformer))技术在多个车企内部的SOA中均
全球云计算厂商都在积极布局云原生开源项目,国内也涌现出大量的优质开源项目,包括腾讯开源的微服务框架TARS、阿里开源的容器镜像仓库项目Harbor 已经从 CNCF毕业。可以看出,开源社区是云原生技术的创新根据地,是加速云原生与行业融合、推动各行业创新的助推器。
#### 3. 工业应用开发环境逐渐转向低代码模式,开源项目正在兴起
#### 工业应用开发环境逐渐转向低代码模式,开源项目正在兴起
工业互联网的价值在于重构工业知识创造、扩散、复用新体系。工业知识往往掌握在专业技术人员手中,低代码、零代码的工业应用开发环境为这些技术人员提供一个标准化、易用的编程环境,通过统一的编程语言,实现流程、逻辑、经验、算法、规律等工业知识的快速封装,已经成为填补技术人员的开发技能的有效工具。
目前,国内低代码、零代码创业型公司和产品众多,开源项目较少,正处于兴起阶段。百度开源了amis前端框架,阿里巴巴开源低代码引擎LowCodeEngine。浪潮开源低代码内核UBML,并发布了具有完整企业级应用能力的海岳低代码平台inBuilder社区版。虽然国内低代码平台目前取得了很多不错的成果,在低代码平台开发类型上对OT类应用仍支撑不足,期待开源社区带动在这方面的持续深化发展。
#### 4. 工业数据管理领域以开源为主导,多种技术和架构并存
#### 工业数据管理领域以开源为主导,多种技术和架构并存
工业数据管理与服务通过大数据技术提供面向海量工业数据提供数据治理、数据共享、数据可视化等服务,是工业互联网发挥工业大数据价值的重要一环。大数据技术与开源之间有着密不可分的关系,目前市场上应用最广泛的大数据技术栈还是以开源大数据框架Hadoop与开源通用内存并行计算框架Spark为核心的生态系统。
近年来,以Hadoop为核心的开源大数据体系,逐渐向多元化技术并行发展。一方面,原有Hadoop体系的产品迭代趋于稳定,一些常见的开源组合,比如 Flink+Kafka、Spark+HDFS 等,经过开源生态市场的检验,已经成为相对固定的标准化选择。另一方面,大数据技术生态也在向流处理、数据可视化、交互式分析等方面探索,例如,近几年流行的开源大数据可视化工具 Apache Superse。随着云原生的发展,与云原生结合更紧密的 Airbyte、Flink CDC、 SeaTunnel、 InLong 等项目也得到了飞速发展。《2022开源大数据热力报告》显示,云原生数据集成在 2018 年超越了传统数据集成。
#### 5. 工业数字化工具成熟开源项目少,主要集中在欧美发达国家
#### 工业数字化工具成熟开源项目少,主要集中在欧美发达国家
工业数字化工具融合数字建模、数字仿真、数字孪生等技术,提供产品、设备、工艺和系统的三维设计、仿真、展现、优化等,是工业自主可控的关键,是工业互联网的重要工具,其中,几何内核、约束求解器、3D引擎是工业数字化工具核心技术,属于高技术含量、高研发投入、高应用门槛产业,成熟技术高度集中在欧美发达国家。
......@@ -319,89 +304,89 @@ GPT(Generative Pre-trainedTransformer))技术在多个车企内部的SOA中均
在3D引擎方面,国内开源项目处于空缺状态,目前主流的引擎包括商业引擎Unity Technologies公司的Unity,和开源引擎Epic Games公司的UE、Analytical Graphics公司的Cesium、Mr.doob个人开发的Three.js等,其中,UE以逼真的渲染效果著称,在游戏开发中应用较多,工业领域也有一些项目在应用UE;Unity、Cesium、Three.js在工业领域应用较广泛。
#### 6. 国内积极探索工业模型开源开放,促进工业知识的沉淀、复用和迭代创新
#### 国内积极探索工业模型开源开放,促进工业知识的沉淀、复用和迭代创新
工业互联网的核心资源是工业模型,即工业知识的模型化、标准化表达。工业模型的跨系统流转、交付、应用,极大的促进了工业知识的共享与发展。统一建模语言具有领域无关的通用模型描述能力,基于统一建模语言的方法能够实现复杂系统的不同领域子系统模型间的无缝集成。欧洲仿真协会EUROSIM于1996年推出多领域统一建模语言Modelica,经过多年发展,目前Modelica标准库已经包括了不同物理领域的1600多个模型组件,基于Modelica发展出来的商业软件、开源软件也非常多,Modelica模型可以在这些软件中自由流转。除了Modelica外,工业界大部分成熟的建模工具都建有自己的模型库,例如Simulink 建模工具在产业界、学术界被广泛应用,自带对象模型库、算法库、控制系统、环境模型、基础元器件模型库等,但这些模型并不是免费开放的。国内工业互联网发展始终提倡加速工业知识的沉淀、复用和迭代创新,其中,同元软控通过打造工业知识模型互联平台MoHub,构建了一个覆盖函数库、模型库、APP库服务的模型社区,开发者以开源方式分享到社区的模型库,支持海量用户参与到工业知识模型的开发、分享、创新应用过程。
#### 7. 工业APP基于应用商店模式加快开源开放步伐
#### 工业APP基于应用商店模式加快开源开放步伐
工业APP是基于工业互联网,承载工业知识和经验,满足特定需求的工业应用软件,本质是企业知识和技术诀窍的模型化、模块化、标准化和软件化。开发者社区是开发工业APP的主要推动力,平台和微服务框架降低了工业APP开发的难度和门槛,大量的开发者都可以参与开发工业APP。面向特定工业应用场景,激发全社会资源形成生态,推动工业技术、经验、知识和最佳实践的模型化、软件化和封装,形成海量工业APP。
应用商店是向企业用户提供的工业APP分发渠道,是促进工业APP应用生态繁荣发展的有力支撑。在应用商店模式下,来自不同制造商的工业APP可以跨平台运行,相互交互,具有一致的语义,按照共同的标准工作,并且对所有社区开发者开放。目前开发工业APP的核心技术主要由国外公司把控,国内整体开源产品较弱。开源可成为颠覆传统工业APP的重要武器,国内企业开始布局探索,开源意识逐渐增强,传统优势企业和创新性企业加快开源布局。在应用商店模式下形成开放的应用程序生态系统后,工业APP领域会向传统PC软件市场一样取得蓬勃发展。
#### 8. 开源工业软件成果丰富,国内积极探索破局之路
#### 开源工业软件成果丰富,国内积极探索破局之路
工业软件是工业互联网的核心力量,近年来均涌现了大量开源工业软件。在研发设计类软件方面,有开源免费的用于3D建模的FreeCAD、2D建模QCAD社区版以及基于QCAD的一个开源分支发布的LibreCAD等开源软件。目前开源CAD软件供个人使用表现的比较出色,但仍然无法在大型企业直接代替AutoCAD 的直接模拟。在工业设备中常见的生产控制类软件可编程逻辑控制器(PLC)方面,OpenPLC、Beremiz、Apache PLC4X等都是非常优秀的开源PLC软件。开源的ERP、CRM类业务管理软件数量也已形成规模化生态,如Odoo。我国工业软件在国家的大力扶持以及各类企业的不懈努力之下,发展步伐明显加快,但仍存在高端工业软件缺位、本土工业软件应用困难等问题。工业软件的破局之路艰难,开源不失为一种新的思路。2022年7月,开放原子全球开源峰会成立OpenAtom openCAX工作委员会,在开源领域布局了一批共性关键技术,联合构建OpenDACS开源EDA平台,聚集国内优势力量,共同探索工业软件发展新路径。
#### 9. 工业互联网开源社区整体发展良好,与实际产业联系仍需加强
#### 工业互联网开源社区整体发展良好,与实际产业联系仍需加强
目前工业互联网领域应用比较广泛的开源项目,其社区发展也比较活跃,如Eclipse IoT、Linux Foundation、OPC Foundation、FreeRTOS、Zephyr等。其中,Eclipse IoT提供了基于Eclipse的开源工具,包括开发工具、测试工具、运维工具等,这些工具都能够支持工业领域的物联网应用开发和测试。Eclipse IoT的社区正在快速成长,145+的创新组织都致力于加速采用由 Eclipse IoT 社区开发的商业级、生产就绪的开源技术。OPC Foundation推动了OPC UA协议的发展和普及,积极参与了各种工业物联网协议的制定,提高了标准的普适性和实用性。仅2019-2022年,OPC Foundation基金会成员就增加了150多名。截至目前,全球已有超过 920 家 OPC 基金会成员和数千个符合 OPC 标准的产品。
但是,许多其他工业互联网领域的开源项目,由于没有形成实际的产业应用,发展相对滞后,仍需要进一步改进与完善。如EdgeX Foundry项目,由于其与实际工业应用场景不够贴合,该项目会员数发展至今仍低于100,且在GitHub上仅三十多人贡献了代码仓库。
### 二、工业互联网开源发展的问题与挑战
### 4.3.2 工业互联网开源发展的问题与挑战
工业互联网开源要得到长足发展,必然面临开源领域普遍会遇到的供应链风险、代码安全风险、知识产权风险、自主创新风险,同时,还要解决自身领域存在的开源发展问题与挑战。
#### 1. 平台层工具软件开源运营成本高、传统商业模式获利难
#### 平台层工具软件开源运营成本高、传统商业模式获利难
工业互联网平台发展迅速,国内头部厂商纷纷搭建了双跨平台,我们仔细研究这些平台,就会发现重要部件几乎都用到了开源软件。但平台型软件商业巨头,往往体量大,在市场竞争中处于优势地位,通过采用开源软件、工具搭建商业工业互联网解决方案,实现快速推广并获利,而这些开源软件、工具的创新型厂商由于体量小、整合能力有限,没有提前布局商业,再加之开源运营成本高、难以获利,往往给别人做了嫁衣,自身发展后劲不足,长此以往不利于工业互联网基础软件开源生态发展。
#### 2. 工业互联网技术门槛高,跨大量开源组件构建平台往往导致深度整合和优化不够
#### 工业互联网技术门槛高,跨大量开源组件构建平台往往导致深度整合和优化不够
工业互联网融合OT、IT、CT等多个领域技术,实现深度整合和优化是一件非常复杂且困难的事情,开源项目在这方面存在非常多的市场机会,开源软件、工具可以免费获取源代码,对于有一定IT能力的企业来说,具有较好的经济效益。例如大部分软件厂商、工业企业往往会选择Kubernetes、Istio、Docker等快速搭建工业互联网平台。开源软件虽然使用简单、经济,但往往也面临着“免费即最贵”的尴尬局面,开源技术的大规模商用需要充分的评估与实践,需要技术团队同时掌握很多不同领域的开源组件,并且能融会贯通、知道如何将这些组件更好地组合到一起。但大部分中小软件厂商或传统企业没有足够的专业人才,缺少融合多个开源软件系统的一整套解决方案,往往面临因软件版本不统一的兼容问题、因参数配置不合适的性能问题、因缺少技术支持的运维优化困境,导致深度整合和优化不够。
#### 3. 工业互联网各子技术领域开源发展不均,缺乏核心工具的开源
#### 工业互联网各子技术领域开源发展不均,缺乏核心工具的开源
工业互联网边缘层、PaaS层、应用层,由于各层功能与技术差异,其开源发展不均,国内更是少见核心工具的开源。边缘层主要提供协议解析、工业数据接入及预处理等能力,国内外开源项目较多,如设备网关接入方面有NEURON、MQTT、ThingsBoard、EMQX等开源项目,但受制于工业协议的多样性,多数开源项目都无法做到协议适配的通用性。PaaS层主要提供工业数字化工具、工业数据管理服务、工业模型管理服务等工具及通用能力,因商业用途及专业工具的技术门槛高,厂商往往选择封闭发展,构建技术壁垒,核心开源项目较少,尤其三维设计、仿真优化。不过,近几年随着Open CASCADE等开源数字化工具的出现,逐渐打破了AutoCAD等主流封闭软件的垄断局面。应用层方面,传统研发设计类软件、生产控制类软件、业务管理类软件和工业数据软件中,均涌现出了大量开源软件,如开源ERP Odoo、Apache基金会旗下的Apache OFBiz项目,已经有了较大的应用生态。但从整体发展来看,工业设计类软件、工具仍需加强布局。
#### 4. 边缘侧工控系统、协议相对封闭,影响设备的互联互通
#### 边缘侧工控系统、协议相对封闭,影响设备的互联互通
边缘侧工控设备(PLC、DCS等)以及工控协议经过20年间的发展,一方面激烈的市场竞争刺激了西门子、施耐德、欧姆龙等国际厂商产品快速迭代升级,另一方面也构筑了设备互联互通的壁垒,各家厂商所采用的PLC编程和通讯交互方式不尽相同,衍生出不同类型的通信协议,虽然极大的增强了自身向上层的数据传输能力,但这些协议大部分是采用封闭设计,彼此不兼容,用户无法扩展或自定义系统、协议以满足其特定需求。
目前边缘侧工控系统、协议的开源程度虽然不是很高,但还是有一些有影响力的开源项目,例如,OpenPLC是一个开源的可编程逻辑控制器,Open Industrial Linux是一个基于Linux的开源工业操作系统,还提供PLC、HMI工业自动化应用程序。
### 三、工业互联网开源发展前景与趋势
### 4.3.3 工业互联网开源发展前景与趋势
当前,开源已成为工业互联网领域的重要开发模式,工业互联网各技术领域越来越多的采用开源代码,自身的开源化趋势也越来越明显。工业互联网开源正在向垂直行业解决方案、海量工业APP、工业技术为主的OT层渗透。
#### 1. 工业互联网依托开源社区与生态发展垂直行业解决方案
#### 工业互联网依托开源社区与生态发展垂直行业解决方案
我国石化、钢铁、电子信息、家电、机械、汽车、装备、航空航天等垂直行业广泛应用了工业互联网技术能力。各垂直行业的工业互联网实施业务场景相对独立、应用领域不尽相同,应用深度参差不齐,实施路径也存在差异,如何打造更多的垂直行业解决方案,将单独部署的工业互联网项目拓展和融合达到行业规模化,是工业互联网高速发展必须解决的问题。
开源社区可以使跨地区、跨领域的专业人才之间通过开放式的创新生态实现深度交互与智慧共享,让更多的人参与到垂直行业解决方案构建中,从而提高项目的数量和质量。面向垂直行业的工业模型、插件类开源项目将逐渐增多。
#### 2. 工业APP需求繁杂,低代码工具开源能够加速创新效率
#### 工业APP需求繁杂,低代码工具开源能够加速创新效率
工业APP涉及研发设计、生产制造、运维服务和经营管理等不同领域与环节,个性化强,对象众多,关系非常复杂,体系庞大且需求繁杂。低代码开发工具沉淀过去十几年策划、开发、应用工业APP的经验,参考工业产品制造模式形成一些典型模型和架构模式,提供低门槛应对复杂需求的开发方案。
低代码开发工具通过生态联盟,由多家企业专注其擅长的部分,彼此协同发展,可以不断积累工业APP模式,构建领先的产业集群。开源是建立这个生态联盟的有效方式,通过开放源代码,聚集各个行业工业APP的领先厂商,彼此打通、串联,共同推动沉淀工业软件、智慧城市、智能制造等领域的低代码模型,应对繁杂的工业APP需求,提供低门槛开发方案,加速工业互联网领域创新效率。
#### 3. 工业互联网技术开源由IT层迈向OT层
#### 工业互联网技术开源由IT层迈向OT层
IT层主要涉及计算机、互联网、应用软件等,其软件系统相互连接,通常运行在iOS和Windows等流行的操作系统上,缺乏自主性,软件开发规范、使用标准解决方案以及流行的通信协议,应用场景广泛,因此开源项目较多。相比之下,OT层主要涉及机械、工控网络、工控系统以及跨工业协议的通信,系统一般是自治的、隔离的、自包含的,运行在专有软件上,与传统计算机编程不同,应用场景也涉及更多专业知识和技能,因此OT层开源项目一直发展缓慢。
随着IT与OT融合越来越深,OT层也开始寻求标准化的发展道路,IT与OT之间的界限正在被引入连接设备的OT系统和物联网的兴起所模糊,OT层的开源项目也会逐渐增多。
#### 4.工业互联网通过开源社区培养专业人才
#### 工业互联网通过开源社区培养专业人才
工业互联网领域开源项目蓬勃发展,开源软件的易获取性让众多高校学生、企业人才可以低成本的接受并使用开源软件,同时开源社区中汇聚了众多有着开源精神和探索精神的开源贡献者,开发者可以在社区中获取到软件源代码、与更多的业内优秀从业者进行协作、扩充个人技术图谱和技术栈等,因此开源社区也成为了工业互联网领域人才培养的重要基地。
高校是人才培养的重要来源,高校学生也可以通过开源社区开拓技术视野,锻炼协作能力。通过一系列的开源校园行活动可以有效推进开源文化、开源实践在高校的普及,促进高校开源人才培养、加强高校人才参与到企业开源实践,为工业互联网行业提供源源不断的人才供给。
### 四、工业互联网开源发展建议
### 4.3.4 工业互联网开源发展建议
#### 1. 鼓励龙头厂商积极参与工业互联网开源发展,布局重点领域的开源项目
#### 鼓励龙头厂商积极参与工业互联网开源发展,布局重点领域的开源项目
工业互联网龙头厂商是产业技术创新的主要推动者,是产业高质量发展的重要依托。工业互联网龙头厂商应积极发挥产业创新过程中的融通引领作用,参与开放原子开源基金会组织的重点开源活动、开源项目,共同营造良好的工业开源文化氛围,开展产业开源顶层设计与总体规划布局,打造中国工业互联网顶级开源社区,组织引导产业链上下游企业围绕核心技术领域孵化CAX、PLC等优质工业互联网开源项目,加快形成我国工业互联网发展新优势。
#### 2. 开源社区倡导开源文化,激发工业领域的开源氛围
#### 开源社区倡导开源文化,激发工业领域的开源氛围
T层和OT层的开源空间都很广阔,但是由于两者的应用场景和技术需求不同,开源社区的重心和方向也有所不同。在IT层,由于其应用范围广泛,开源也更加活跃。比如,开放原子开源基金会、Linux、Docker、Kubernetes等受众广的基金会,以及Apache 基金会下的Apache Hadoop、Apache Spark项目等大型开源项目。而在OT层,出于优先保护商业利益,以及应用场景和技术需求相对专业等原因,导致整个领域的对开源的认识和开源氛围不足。
未来,工业互联网各方力量应积极利用开源社区的资源和平台,重点推动工业互联网领域OT层开源活动的普及和推广,为工业企业提供更好的开源解决方案和技术支持。其次,注重高校活动实践,开展校园行、组织开源软件开发比赛、提供技术讲座等活动,提高对开源文化的认知和参与度,进而推动整个领域的开源氛围。
## 开源在风洞等场景的应用
## 4.4 开源在风洞等场景的应用
> 作者:李光杰,红山开源平台技术组负责人
......@@ -409,7 +394,7 @@ T层和OT层的开源空间都很广阔,但是由于两者的应用场景和
而目前,在CFD仿真软件的商业化和开源应用方面,我国头部研发力量薄弱,对外依附性较强。为提升本土工业应用软件的精确度、稳定性和计算效率,国产CFD软件选择拥抱开源,通过高效的在线协同机制,汇聚广大使用者和开发者群体,利用信息化创作环境和大规模在线协同开发工具实现技术协同攻关,共同打造国产自主CFD软件生态。 
### (一)风雷软件
### 4.4.1 风雷软件
风雷开源项目即风雷软件是中国空气动力研究与发展中心(CARDC)研发的面向流体工程的开源混合CFD平台。平台的建立遵循面向对象的设计理念,采用C++语言编程。风雷软件为了适应结构网格、非结构网格、混合网格、重叠网格等不同网格的计算,设计了具有良好通用性、可扩展性的体系结构和数据结构,实现了在同一个软件平台上,同时兼容结构求解器和非结构求解器。两种求解器可独立运行,也能耦合计算,即在流场中同时含有结构网格和非结构网格的情况下,在结构网格上调用结构求解器,在非结构网格上调用非结构求解器。风雷软件作为目前全球唯一同时兼容结构/非结构的开源平台,其计算范围覆盖低速、亚跨声速和高超声速。开发过程中,以现代软件工程方法为指导,结合CFD行业特点,设计了面向下一代的软件体系结构。目前,软件具备的主要功能点如下图所示。同时,风雷软件也提供常用前、后置软件接口,如Gridgen、Pointwise、ICEM-CFD、FieldView、Tecplot等。
......@@ -418,6 +403,7 @@ T层和OT层的开源空间都很广阔,但是由于两者的应用场景和
风雷软件作为CFD领域国产开源生态建设的排头兵,积极参与技术交流与产学研合作。2021年10月,风雷软件在第九届“英特尔”杯全国并行应用挑战赛中,凭借《百亿级网格飞行器流动模式》作品夺得总决赛应用组冠军,团队通过采用MPI并行编程和OpenMP并行编程,首次突破了百亿级网格,以及英特尔30万核的规模限制,为快速飞行器设计奠定了基础。2022年6月,风雷软件承担江苏省科技厅重点研发计划《民用装备数值模拟求解框架研发与样本数据库构建关键技术研发》项目,为国产民用工业装备设计与研发流程优化贡献属于CFD领域的力量。南京航空航天大学韩省思课题组基于风雷软件发展了自适应RANS/LES湍流模拟方法,构造了适用于全尺度的大涡模式,为工程问题的湍流模拟应用提供了新思路。北京航空航天大学徐晶磊课题组发展了仅依赖湍动能输运方程的KDO (Kinetic Dependent Only)湍流模型相对于传统湍流模式更适用于高超声速高温非平衡流动,测试发现计算精度高于湍流传统模式。该模型可鲁棒计算一体化计算转捩/湍流、热化学反应流动,可进行大规模并行计算。中石化安全研究院基于风雷软件建立模拟污染物气体泄漏扩散的数值方法,对多种单组分、多组分混合气体扩散过程进行数值模拟研究。最终,形成一套研究污染物气体泄漏、扩散过程数值模拟和风险评估方法,对厂房、厂区等环境条件下气体泄漏、扩散过程的应急处置以及防护方案提供依据。中山大学国家超级计算广州中心张曦课题组基于风雷软件发展了MPI-CUDA异构并行框架,使得风雷GPU程序可以跨节点运行在多GPU上,为风雷程序在通用GPU上的大规模异构计算提供了贡献了一种解决方案。
![](RANS_LES自适应湍流模拟.gif)
RANS/LES自适应湍流模拟
![](https://img-blog.csdnimg.cn/1628b09393da4c0bba066dbe4f7cdf01.png#pic_center)
......@@ -433,7 +419,7 @@ GPU并行计算
3. 加强开源创新模式,充分激发社区活力,提升协作者自主创新源动力;
4. 探索开源软件可持续发展路线,增加项目发展后劲。
### (二)IDRLNet
### 4.4.2 IDRLNet
物理场的快速仿真与精确反演是飞行器设计和运行监测中面临的两个重要课题。在设计过程中,可以通过计算流体力学(CFD)实现物理场数值仿真。但是,CFD数值仿真往往需要消耗大量时间,在计算成本和准确性方面仍然面临许多挑战。在飞行器运行过程中,性能监测涉及物理场反演,为满足实时性需求,数据驱动方法被引入其中。然而受限于传感器数量和精度,单纯数据驱动的方式并不能满足物理场的重建需求。面对这些困难,内嵌物理知识神经网络 (Physics-Informed Neural Network,PINN)作为一种新兴深度学习技术,逐渐被应用到CFD领域中。PINN保持了神经网络对数据高效利用特性的同时,在神经网络中内嵌物理知识,从而实现数据与物理知识混合驱动。为解决飞行器设计优化过程中物理场快速仿真问题和运行监测阶段物理场精确反演问题,国防科技创新研究院智能设计与鲁棒学习团队推出了基于PINN的微分方程智能求解框架IDRLnet。
IDRLnet是一款以飞行器设计优化任务为应用背景、基于PyTorch开发的开源框架。IDRLnet主要包括几何生成、数据处理、神经网络构建和偏微分方程求解四大模块。该框架提供了二维与三维的基本几何对象,并支持几何对象之间的集合运算。PINN方法的基本思路是对采样配点上的数据和方程残差进行拟合,因此,面向该领域学术研究需求,几何生成模块提供了内部采样方法及其对应符号距离场(SDF)、边界采样方法及其对应法向量。数据源包括采样得到的数据节点和外部数据节点,可用于代理模型构建与逆问题求解。该框架内置了多种神经网络架构与常见微分方程,便于多种方法比较研究。处理复杂物理场时可能涉及较多对象,物理方程与采样点数据之间的耦合较为复杂。为了应对潜在的复杂关联问题,该框架在架构设计上解耦了数据源、物理方程、神经网络之间的依赖,各个计算对象如微分方程和神经网络相关的计算节点可以进行单独定义。最后,基于给定数据源,自动获取需要的依赖结点;构建计算图,利用拓扑排序构造计算流水线;整合多个流水线,得到最终损失函数,进而利用反向传播结合梯度优化方法完成训练。考虑到PINN本身仍没有发展成熟,更多高效算法亟待开发。因此,该框架提供了回调机制支持用户自定义算法,使得PINN新方法也容易集成到框架中。
......@@ -442,7 +428,7 @@ IDRLnet包含了大量典型测试案例。首先,面向飞行器设计参数
目前PINN求解效率还有待提高,其网络架构也存在一定局限性。IDRLnet计划提升CPU/GPU并行化的高性能计算能力,使其适应并行算法;支持更多新型神经网络架构与物理机器学习模型;融合传统数值求解器;引入自适应的超参数选择方法,提高模型收敛性;结合设计优化,支持多种优化器。同时,进一步整合更多科学工程领域的算例,为工程应用奠定基础。随着内嵌物理知识神经网络相关研究不断深入,团队也在开源后对IDRLnet的功能和性能进行了不断完善和改进,预计于2023年中发布IDRLnet0.2.0版本。
### (三)OpenMatrix
### 4.4.3 OpenMatrix
MATLAB是美国MathWorks公司出品的商业矩阵计算软件,软件具有编程语言简洁易懂、计算功能强大、丰富的领域工具箱等优势,已成为快速实现算法验证和生成原型软件的有效编程工具,广泛用于科学计算、可视化以及交互式程序设计等设计建模和数值分析领域。自2020年起,我国多家单位被列入美国政府的进出口管制名单,禁止使用MATLAB服务。为实现大型矩阵计算软件自主可控,解决大量基于MATLAB编程语言的软件原型遗产代码问题,同时缓解国产软件性能不足问题,迫切需要研发一款面向数值计算的高性能矩阵计算软件。
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册