星环科技—打造出自主可控的性能卓越数据库查询 打开国内生产制造的更新新的篇章

  

  星环科技自创立至今,一直专注于国内生产制造的数据库查询的自主研发,打造出了自主可控的性能卓越分布式系统剖析型数据库查询ArgoDB和分布式系统买卖型数据库查询KunDB。买卖型数据库查询KunDB具有极强的SQL兼容模式,与此同时具有高可用性、分布式系统、线上扩缩容、数据信息强一致性等工作能力,适用实际操作型业务、分布式系统业务流程等情景。多实体模型数据库查询ArgoDB具有完全的SQL兼容模式,与此同时拥有高拓展、高靠谱、多实体模型、存算解耦等工作能力,一站式达到数据库管理、即时数据库管理、数据集市、OLAP、联邦政府测算等情景。

  根据持续的研磨和对业务场景持续的落地式实践活动,ArgoDB和KunDB已成為具备彻底独立IP的成熟期的国产数据库,可以为越来越多的顾客给予性能卓越、高靠谱、完善的数据库查询产品与服务,协助客户解决智能化数据时代大量数据的分析与探寻。

  近日,星环科技宣布推送了ArgoDB5.0和KunDB3.0,并将其融合打造出了一体化即时AETP技术性(剖析加强型买卖库),在一个数据库管理里与此同时支撑点买卖与剖析混合业务场景,助推数据库查询国内生产制造的更新。

  ArgoDB5.0:存算模块双升级,打造出性能卓越湖仓集一体化多实体模型数据库查询

  Transwarp ArgoDB 是星环科技自主研发的面对数据统计分析型业务场景的国内生产制造的分布式系统多模光纤数据库查询,可以一站式取代Hadoop MPP混和构架,给予多模光纤剖析、即时数据处理方法、存算解耦、混和负荷、数据信息联邦政府、异构体网络服务器混和布署等现代化技术性工作能力,一站式达到数据库管理、即时数据库管理、数据集市、OLAP、联邦政府测算等多种要求。2019年8月,ArgoDB变成全世界第四个根据TPC-DS标准检测并通过TPC官方网财务审计的数据库查询商品。

  ArgoDB5.0打造出了新一代向量化分析测算模块和多实体模型储存模块,总体剖析特性大幅提高。ArgoDB5.0进一步加强了多实体模型数据信息的适用水平和解决工作能力,根据一个数据库查询就可以达到大量数据库系统解决和不一样模态分析数据信息关系。与此同时,ArgoDB5.0引进DP-SQL工作能力,完成对信息的个人隐私保护,达到数据信息公布、商品流通、脱敏、查看、买卖等场面下的网络信息安全规定。在数据资产安全防范措施上,5.0版本号切实加强了数据信息容灾备份工作能力,根据粗粒度、分布式系统、效率高的容灾备份工作能力

  ,进一步提升网络信息安全确保工作能力。除此之外,ArgoDB 5.0进一步加强数据湖和数据库管理/数据集市等业务流程面的技术创新,提高湖仓集结合工作能力,根据统一浏览插口、统一储存、统一元数据管理等工作能力,真真正正实际意义上为消费者给予湖仓集一体化的情景解决方法

  新一代向量化分析测算模块和多模光纤储存模块,剖析特性是类似数据库查询商品的2~10倍

  ArgoDB 5.0在原高效率的测算模块以上,将测算算法全向量化分析native改变,促使分布式系统繁杂剖析在百ms内意见反馈結果,将优化器中引进数据信息的动态性取样,全方位适用多种多样join的重新写过。与此同时融合业务场景,提升场景化工作能力,关键在湖仓一体的SQL管理方法上开展了提升,而且新增加个人隐私计算水平和数据信息动态性脱敏工作能力,提高数据信息联邦政府情景中SQL句子算法下推工作能力等。

  在储存模块层面,ArgoDB 5.0再次深耕细作分布式系统架构与列式储存模块的提升,在减少业务流程資源耗费的另外提高多实体模型工作能力和业务流程特性。相对性于上一代大批量扫描仪性能增加了10倍以上,与此同时减少业务流程SQL資源(IO等)的应用,提高系统软件可靠性和业务流程高效率。针对实时数仓情景,数据信息延迟时间操纵在ms级,而且适用分布式系统剖析。在大群集情景下,适用上百万等级的表和上百万档次的元信息化管理,可靠性进一步提升。

  根据存算双涡轮的更新,ArgoDB 5.0在特性上面有大幅的提高,尤其是OLAP剖析情景下的性能增加,不论是单表查看或是多表关系情景,ArgoDB都拥有有显著的特性优点,总体上是类似数据库查询商品的2-10倍,协助客户更快、更平稳地解决错综复杂的服务要求。

  多模光纤数据预处理剖析,更有效地达到”一库常用“情景

  伴随着业务流程信息量持续上升的与此同时,算法设计也显得愈来愈形式多样,数据信息不会再限于整齐的非结构化数据,半结构型、关系型数据库在数据信息域解决中的比例逐渐升高,因而对不一样模态分析的信息开展智能化系统数据处理方法的需求量更加急切。

  多实体模型数据库查询ArgoDB继3.2版本号新增加适用大目标基本数据类型Blob和Clob,用于储存、查看和处理照片、文档、声频、短视频关系型数据库后,ArgoDB 5.0新增加对半结构型的JSON/JSONB/XML基本数据类型的适用,达到了大量数据库系统解决情景和大量繁杂业务流程要求。

  与此同时,ArgoDB 5.0进一步加强了对多模态数据信息的解决工作能力,在优化器上进一步深耕细作,对不一样模态分析数据信息根据成本/标准等全自动分辨挑选有效高效率实体模型,分拆、派发测算每日任务,让数据处理方法更为便捷和高效率。

  在构架上,ArgoDB根据存算解耦,完成了多模光纤数据库查询的“四个统一”:

  • 统一的SQL编译程序模块,适用SQL 99/2003 规范英语的语法,兼容TD,Oracle,DB2等各种家乡话,对不一样方式的数据信息给予统一插口,将好几个实际操作浏览通道变成一个通道,将多种多样数据库语言变成一种语言表达,减少开发设计和转移成本费,简单化客户实际操作

  • 统一的测算模块,将好几套测算模块变成一套模块,将好几份存储资源变成一份資源,给予性能卓越的剖析测算和运行高效率,达到跨实体模型数据信息繁杂相关性分析情景。

  • 统一的存储系统系统软件,与此同时适用剖析型队伍混和储存、适用具备检索作用的文字储存等多模光纤异构体储存,并确保数据的强一致性,数据信息只需一次进库,就可以根据异构体储存的浏览工作能力支撑点多元化繁杂剖析情景,减少运维管理成本费,将分散化存储系统变成统一存储系统,巨大简单系统架构图,降低开发设计运维管理成本费。

  • 统一的星环云原生电脑操作系统,适用 ARM X86的混和构架,客户可以利旧硬件配置,大幅度控制成本。

  ArgoDB5.0根据统一的元数据管理、统一的事务处理和完备的多模光纤优化器支撑点了对不一样模态分析数据信息的统一载入生产调度,完成多模态结合,达到大量“一库常用“情景。

  技术创新数据信息差分隐私,加强网络信息安全

  数据处理方法与网络信息安全是密不可分的,怎样对个人数据的高效维护是在数据处理方法、数据信息公布、数据信息公布中不能避开的一个话题讨论。个人隐私保护是根据差分隐私的密码算法方式,在统计分析数据库时,致力于确保数据统计的与此同时,较大程度上降低鉴别个人数据信息的机遇。

  ArgoDB 5.0版本号融合数据信息隐私保护安全性的业务流程需求,引进DP-SQL工作能力,完成对信息的个人隐私保护,达到数据信息公布、商品流通、脱敏、查看、买卖等场面下的网络信息安全规定。在互动式情景下,数据信息管理人员可以按需对查看要求数据信息结合加上必需的影响(即:噪音)后意见反馈给客户;在非互动式情景下,数据信息管理人员可以按需对于各种有可能的查看,在达到一定情况下一次性公布有关查看数据信息(即加上噪音后的“净化处理版”数据信息)。

  ArgoDB5.0将个人隐私测算与数据库查询技术相结合,适用繁杂剖析SQL全自动提升,便于开发者应用。与此同时将加密方式融合SQL开发技术,相比于python等级完成实行高效率更优质,适用更高信息量的个人隐私测算。

  摆脱信息堡垒,提高湖仓集结合

  伴随着数据信息与业务流程的并行处理发展趋势,对信息的结合剖析解决渐渐变成数据库系统发展趋向。当数据库管理与数据湖数据集市协作解决时,产生的是数据孤岛的摆脱,及其数据信息测算界限的扩宽。

  ArgoDB 5.0版本号进一步加强数据湖和数据库管理/数据集市等业务流程面的技术创新。在同一服务平台中,防止数据信息挪动,将原有的、生产加工清理的、实体模型化的数据信息,一同储存于一体化的“湖仓集”中,既能面对业务流程完成分布式系统精确化、性能卓越的历史记录、实时数据的网络查询,又能承重剖析表格、批处理命令、大数据挖掘等剖析型数据集市业务流程,真真正正实际意义上为消费者给予湖仓集一体化的情景解决方法

  根据ArgoDB打造出的湖仓集一体化计划方案,客户可以根据统一浏览插口较大水平上减少数据湖、数据库管理、数据集市业务流程全过程中业务流程插口的调节,减少客户项目成本,提升数据处理方法高效率。统一的元数据管理可以在准确的ACL操纵下,完成按需展现湖仓集内的有关数据库的统一查看,提升数据库管理高效率。统一存储系统,对使用人屏蔽掉不一样数据库的数据储存,减少业务流程数据库管理难度系数。除此之外,根据ArgoDB打造出的湖仓集一体化计划方案可以无缝衔接AI技术性,协助业务流程发掘大量数据价值。

  KunDB3.0:相对高度兼容Oracle英语的语法和PL/SQL, 完成OLTP数据库查询国内生产制造的更新

  Transwarp KunDB是星环科技根据分布式技术自主研发的产业化的买卖型数据库查询,给予详细的关系数据库的工作能力,相对高度兼容SQL,确保事务管理ACID。KunDB具备业界先进的事务管理特性,SQL兼容模式及其全新的分布式查询开发技术,适用繁杂查看且特性是MySQL的10倍以上,充足达到分布式系统、大信息量的买卖型业务场景,可以完成MySQL,Oracle等传统式流行数据库查询的国产化替代。与众不同的混和布署服务支持流行国内生产制造的CPU等自主可控的硬件系统和OS布署,达到国内生产制造的布署要求。除此之外,KunDB给予全链路高可用性、一致性备份恢复等容灾工作能力,及其完备的安全工作、资源优化配置工作能力,可以为不一样业务场景服务保障。

  KunDB3.0相对高度兼容Oracle目标与英语的语法,根据自主创新的全过程语言表达编译程序技术性,详细适用Oracle PL/SQL英语的语法,大幅度降低公司国内生产制造的转移成本费。根据丰富多彩查看提升标准和算法进一步增强查看优化器,并融合最新的向量化分析实行模块促使剖析特性在TPCH标准测验中较MySQL最大提升80倍。在事务管理工作能力层面,相比于KunDB2.0选用的全局性事务管理管理工具GTM计划方案,KunDB3.0选用根据TSO的全新升级分布式系统强一致事务管理架构,进一步提升分布式事务解决工作能力,事务管理限制达300万TPS,较GTM计划方案提高5倍以上。与此同时KunDB3.0也对储存层特性和分布式框架干了不断提升,单机版TPCC提高了1倍,分布式系统TPCC提高了60%。在容灾工作能力层面,KunDB3.0提升了跨计算机房容灾构架,适用全链路高可用性、一致性备份恢复等工作能力,常见故障时可修复以往随意时间点,充足确保网络信息安全。除此之外,KunDB3.0选用了根据剖析模块提高分布式事务解决引擎技术(ATEP),大幅度提高了KunDB的大数据分析工作能力,根据一个系统软件就可以与此同时给予性能卓越AP和TP服务能力,达到买卖与剖析混合业务场景。

  相对高度兼容Oracle目标与英语的语法,详细适用Oracle PL/SQL

  KunDB3.0 对Oracle英语的语法各个领域相对高度兼容,变成业界先进的具有支撑点Oracle业务流程转移工作能力的国产数据库。KunDB3.0相对高度兼容Oracle英语的语法与PL/SQL,适用VARCHAR2、NVARCHAR2等所有种类,在PL/SQL英语的语法上,适用操纵句子、结合、动态性SQL、程序段、预订义包、处理错误等所有PL/SQL英语的语法,解决了Oracle业务流程转移到国内生产制造的数据库查询的关键困扰,为其他兼容模式健全给予了基本。在Oracle数据库查询目标、DML、函数公式、系统软件主视图、内嵌包、推动等层面,保证了常用功能的兼容,达到绝大多数业务流程的转移要求,巨大减少了公司业务流程转移成本费。

  KunDB3.0选用革新的全过程语言表达编译程序技术性及正中间提升语言表达TIR,详细适用Oracle PL/SQL英语的语法,并在4类技术性情景完成自主创新和性能增加。

  • 为了更好地适用好几个数据库查询家乡话,传统式编译器方法造成反复劳动量会非常大。KunDB3.0根据统一的正中间提升语言表达TIR,表述随意的全过程式词义及SQL语义,适用multi pass编译程序与LLVM IR组成,低偶合、成本低的拓展不一样数据库查询PL/SQL英语的语法管理体系

  • 传统式技术性将PL/SQL译成函数公式实行方法,沒有控制流代码设计室内空间。KunDB3.0根据转译LLVM,将PL/SQL变为最底层英语的语法,可以与llvm的 multi pass提升融合,提升代码设计标准,进而提升存储过程的实行

  • 传统式译成函数公式实行的方法,没法进一步完成编译程序实行。KunDB3.0引进统一关系式解决引擎技术,SQL与PL/SQL可重复使用编译程序提升,完成方法上比Oracle更为简约,与此同时减少了项目成本

  传统式的错误处理没法完成零花销。KunDB3.0参照LLVM的landing pad技术性,完成零花销的错误处理系统软件。

  全新升级的查看优化器和向量化分析实行模块,繁杂剖析性能增加10倍

  KunDB从2.0到3.0的更新中,为了更好地更为和谐的适用跨分块的繁杂查看剖析,提高AP工作能力,KunDB根据活火山实体模型再次设计了查看优化器,面对分布式系统丰富多彩了查看提升的标准,包含了分块下推、子查询去关系化等十多种查看提升标准,相对应的扩大和提升了block hash join、Index Lookup Join等二十多个算法,TPCH 子查询特性对比于KunDB2.0均有大幅提高,最大提高了近20倍。

  KunDB3.0应用了全新升级的向量化分析实行模块,在存储空间中应用列储存的形式对数据资料开展变换储存后再开展测算,对比于运行内存行式数据库管理,在运行内存資源占有、剖析函数公式完成、表达式求值特性、缩小适用上面更为具备优点。另一方面,实行模块根据多协同程序技术性,选用了根据生产流水线的并行计算架构,适用并行处理的信息扫描仪、算法间数据传输、算法测算、結果集回到等全链路全过程,针对数据信息可拆分实行的情景,特性有大幅提高。一样的信息经营规模下为TPCH检测为参照,KunDB剖析特性较MysQL有大幅提高,22个Query最大性能增加可做到MySQL的近80倍。

  根据TSO的全新升级分布式系统强一致事务管理,群集事务管理技能提升1倍

  在分布式事务解决上,KunDB3.0应用根据全局性时间格式的事务管理架构来替代2.0的全局性事务管理管理工具GTM计划方案。分布式系统层引进了TSO网络服务器分派时间格式,选用XA协议书和时间格式提升2PC确保分布式系统原子性写,分布式事务花销减少50%。根据事务管理递交时间格式可保证团本全局性一致性读,完成确保事务管理的读写分离。储存层可根据当前时间戳和数据信息时间格式做全局性一致性读分辨,不依靠全局性快照更新,特性更高一些,缓解去中心化风险性。

  KunDB3.0群集的事务管理限制提高了6倍,做到300万TPS,彻底达到头顶部互联网技术业务场景的性能测试方案。

  除此之外,KunDB3.0也对储存层特性和分布式框架干了不断提升。储存层使用了面对运行内存的数据储存与管理方法、无锁运行内存数据库索引技术性、消极与开朗融合的高并发控制系统、并行处理查看技术性,完成了储存层特性贴近1倍的提高。融合分布式系统层在通讯链接提升为根据MySQL协议书的通讯,放弃了高费用的grpc通讯;元数据储存的升级改造为高吞吐的关联型储存,及其降低部件、管理方法部件简化为一个全局性服务项目,提升了分布式系统层的花销。在4分块的拓扑结构下,TPCC特性较2.0提高了60%。

  跨计算机房容灾构架,随意时间点全局性一致性修复

  在容灾层面,KunDB提升了跨计算机房容灾构架,适用全链路高可用性和全局性一致性修复。测算模块彻底无状态,拓展方便快捷,可完成多节点布署;储存模块适用主备/Paxos拷贝,适用常见故障时主备转换;元数据平台也是根据多数派协议书适用常见故障时全自动选主,具体布署时预防了单连接点布署的风险性。根据跨计算机房的团本数据信息强同歩,确保了计算机房级常见故障时,修复点总体目标RPO=0。

  根据团本可读技术性,利润最大化运用每一个人物角色提高系统软件吞吐,而且适用根据业务流程负荷和部件身心健康模式的路由器转变,提高系统软件可靠性。

  KunDB3.0适用物理学备份数据与即时binlog备份数据,常见故障时可修复以往随意时间点。新增加的一致性备份恢复工作能力,根据时间格式信息内容确保数据库备份到近期的一致性点,防止了分布式数据库修复后必须人为因素参加事务管理点两端对齐的难点。各分块单独高并发备份数据,每分进行数GB备份数据,在分布式系统关键操作系统中,可以有效的减少备份数据对项目的危害。

  确保全局性事务管理的一体化即时AETP,与此同时给予性能卓越买卖与剖析服务能力

  中国信通院2021年数据信息发展趋势调查报告中强调,公司通常维护保养不一样数据库查询来适用联网事务管理(OLTP)与联网剖析解决(OLAP)每日任务,管理方法和维系成本相对高。根据自主创新的测算储存架构的HTAP 数据库查询,可以根据同一套模块与此同时支撑点业务管理系统运作和剖析管理决策情景,防止在传统的构架中,线上与线下数据库查询中间很多的信息互动,变成将来数据库查询发展趋势的趋势之一。

  KunDB3.0选用了根据剖析模块提高分布式事务解决引擎技术(ATEP),大幅度提高了KunDB的大数据分析工作能力,根据一个系统软件就可以与此同时给予性能卓越AP和TP服务能力。

  对外开放给予统一的SQL模块做为统一通道,简单化客户实际操作,数据信息在库位就可以自动同步、变换,不用繁杂的ETL部件和ETL全过程,数据信息不用出入库就可以进行测算。与此同时给予统一基本数据类型和家乡话适用,将多种多样数据库语言变成一种语言表达,大幅度降低开发设计和转移成本费。

  对于不一样水平的剖析负荷,根据全局性优化器自动检索SQL,运用不一样的模块开展解决,TP模块和AP引擎依据工作中负荷做全自动路由器和全自动查看提升,如对于繁杂生产加工逻辑性,则应用AP模块分布式存储工作能力立即载入KunDB上的信息开展繁杂测算;对于分布式系统清单查找,则应用TP模块给予服务项目。

  应用队伍混和储存计划方案,列存给予给AP模块适用性能卓越剖析,与此同时列存做为TP库的审阅团本,即时从行存同歩事务管理全新数据库查询,延迟时间小于10s,确保了大数据分析的及时性和全局性一致性读。

  针对早已布署了ArgoDB或KunDB的客户,可以同时提升到AETP数据库查询,不用更新改造业务流程和数据库系统的交互技术,完成迅速光滑更新。

  根据持续的研磨和对业务场景持续的落地式实践活动,星环科技关系数据库ArgoDB和KunDB早已在金融业、政务中心、电力能源、诊疗、交通出行等好几个应用领域,取得成功取代Oracle、MySQL等传统的业务流程数据库查询。将来,星环科技将再次深耕细作数据库查询行业,根据持续的创新技术和运用自主创新,为客户带来更完备作用,更性能卓越、更平稳靠谱的国内生产制造的数据库查询商品。

相关阅读:

本文经41sky股票入门网自动排版过滤系统处理!


本文地址:http://www.41sky.com/rdzx/2022-04-27/91032.html
免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考;文章版权归原作者所有!本站作为信息内容发布平台,页面展示内容的目的在于传播更多信息;本站不提供金融投资服务,阁下应知本站所提供的内容不能做为操作依据。投资者应谨!市场有风险,投资需谨慎!如本文内容影响到您的合法权益(含文章中内容、图片等),请及时联系本站,我们会及时删除处理。


相关推荐