唯一小编 发布时间:2020-07-30
近日,广东唯一网络科技有限公司(南兴股份全资子公司,以下简称“唯一网络”)受邀出席第二届“产业互联网”华南峰会暨2019-2020年创新业务合作伙伴答谢沙龙,并荣获中国联合网络通信有限公司湖南省分公司(以下简称“湖南联通”)颁发的“2019年度IDC优秀合作伙伴”荣誉。 湖南省联通政企事业部副总经理赵生龙(右一) 为唯一网络副总裁易志强(左一)颁奖 会上,唯一网络副总裁易志强先生感谢湖南联通对唯一网络运营能力和合作成果的认可与肯定,并表示湖南联通是唯一网络IDC业务板块布局的战略要点,也是最重要的合作伙伴之一,双方将继续通过各自资源优势和业务融合创新能力开展更深度的合作,易志强先生也呼吁参会的同行拥护湖南联通的业务政策,大家携手把湖南联通创新业务做稳做大做强。 在通信信息产业和数字经济发生变化的当下,携手共进才能合作共赢。唯一网络专业提供云数据中心、网络安全、云专线、公有云、混合云等服务,已在全球构建80多个数据中心节点,全网接入带宽超过24T,网络防护能力超过8T,凭借领先的行业数字化解决方案以及积极创新实践,得到行业及客户的认可与信赖。湖南联通具有丰富的通信资源、全面的软硬件集成能力,以及云网一体的运营优势,是新型数字化服务的龙头企业。双方具备天然的合作优势和巨大的合作空间,可共同助力客户实现效益提升,加速企业数字化转型。 凡是过往,皆为序章。未来,唯一网络将与湖南联通持续开展深度合作,聚焦IDC、云平台建设、数字化解决方案等领域,积极探索各自优势板块业务的融合与应用,为更多行业生态赋能,更好地服务客户。
唯一小编 发布时间:2020-07-17
7月17日,广东唯一网络科技有限公司(以下简称“唯一网络”,南兴股份全资子公司)与中国联通玉溪分公司(以下简称“玉溪联通”)在广东东莞签署战略合作协议。唯一网络副总裁易志强与玉溪联通政企业务部主任周翔代表双方签署了战略合作协议,玉溪联通总经理刘文忠、玉溪联通创新中心主任矣亚兵、玉溪联通综合支撑中心主任陈冠杰、湖南云巢玉溪总经理卞涛、唯一网络董事长王宇杰、唯一网络副总裁李玉何、唯一网络董事长特助王毓敏等出席并见证了签约仪式。 双方将从信息化基础通信建设、云产业赋能、资源共享等领域开展深入合作,积极响应国家新基建政策,共同研究探索基于5G的业务应用场景,充分发挥各自优势,加强合作,实现业务升级,共同拓展两地市场,深化长期稳定合作。 签约前,双方进行了交流座谈。玉溪联通总经理刘文忠在听取完唯一网络企业情况、业务板块、发展规划的介绍后,肯定了唯一网络将客户、资源、产品生态、精细运营、团队作为核心竞争力的理念,对公司的企业文化和发展情况给予了高度赞赏。他指出,目前玉溪市正处于数字化快速发展阶段,强调玉溪联通作为当地通信运营主导企业,在振兴玉溪通信产业,推动数字发展中扮演着重要角色,将以此次和唯一网络战略合作为契机,充分利用混改红利,发挥体质机制活力,利用各自领域的品牌、渠道、资源、业务优势,在信息化基础通信建设、云应用和行业云平台等方面积极探索合作,携手共赢发展。 唯一网络董事长王宇杰对玉溪联通给予唯一网络的信任和肯定表示感谢,指出唯一网络将与玉溪联通进一步加强在互联网基础设施及带宽,资源,机柜等网络产品的合作。并依托玉溪联通的优势及客户能力和唯一网络多年的网络安全研发与拓展经验,发力网络安全产业。同时,积极布局云计算、边缘计算等领域,将和玉溪联通形成合作不断推进的新局面。他表示,唯一网络将成为玉溪联通信赖的合作伙伴,我们会全力以赴,共同努力拓展行业市场空间,推进双方发展迈上新台阶。 玉溪联通总经理刘文忠一行还重点参观了唯一网络监控中心,包括数据中心运维管理平台、全网实时攻击展示平台、自研防火墙设备等,实时了解唯一网络在IDC、网络安全、云服务等领域的创新成果,探讨双方多方位合作的落地点。 未来,唯一网络与玉溪联通将持续增加合作深度广度,通过产业和资本合力促进数据流通、跨区域合作和数据互联,打造产业生态,为更多行业赋能赋智,合作共赢,取得丰硕成果。
唯一小编 发布时间:2020-07-15
近日,唯一网络(南兴股份全资子公司)携旗下云生态公司睿长网络参加阿里云华南生态FY21财年Q2启动会,凭借优异的云服务能力及业务增长,获得阿里云产品事业部颁发网络产品、存储产品、数据库产品三大杰出贡献奖。 数据库产品线获奖↓ 存储产品线获奖↓ 网络产品线获奖↓ 大会现场↓ 此次获得的阿里云荣誉奖项激励了携手共同创造出显著价值的合作伙伴,充分证明唯一网络的综合云服务能力与领先优势,体现阿里云对双方长期生态合作的高度认可,在此感谢合作客户的支持及阿里云对唯一网络的肯定。 阿里云是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。同样,在选择合作伙伴上具有高标准,既要是业内具有影响力能与阿里云形成更好的市场协同,也要是在阿里云赋能的基础上自身拥有项目交付能力的企业。作为阿里云精英级合作伙伴、福建最大代理商及心选云市场区域合作伙伴,唯一网络与阿里云在中小企业上云(云计算、云存储、数据库等),企业市场软件开发应用(APP监测、智能建站、财务云、协同办公、多端小程序等)、解决方案(边缘计算、IOT、钉钉、工业云、教育云、政务云等)、大数据及中台等一系列创新型高科技产品和服务上均有紧密合作。 唯一网络基于十余年的行业精耕和对市场的精准把握,依托自身优势和阿里云等第三方云生态资源,构建云-网-边-安全一体化的互联网综合生态平台,建设适用于5G等新一代网络通信技术及数字化时代的信息化解决方案平台。目前已为众多企业用户提供解决方案和服务,覆盖多个细分领域,协助企业数字化转型,持续推动“云”与各行各业的深度融合,为企业达到降本增效的目标。 未来,唯一网络将继续秉承合作共赢的积极态度,与以阿里云为代表的行业顶尖合作伙伴携手,遵循“客户第一”的理念,在优势共享、充分信任的合作机制下,在技术、项目、渠道、市场等层面开展全面合作,释放价值,助力各大行业企业数字化转型,提供优质服务。
唯一小编 发布时间:2020-07-13
7月13日下午,中国通信服务福建公司集客部总经理杨志枚带领旗下子公司邮电工程公司、邮电规划设计院、中邮科通信技术股份有限公司等主要领导莅临唯一网络(南兴股份全资子公司)开展考察交流活动,唯一网络董事长王宇杰携各职能部门负责人热情接待了杨总一行。 会前,中国通信服务福建公司集客部总经理杨志枚一行详细了解了唯一网络的业务板块、发展历程、合作客户等情况,并到监控中心进行了重点参观,包括数据中心运维管理平台、全网实时攻击展示平台、自研防火墙设备等。 交流会上,唯一网络董事长王宇杰首先对杨总一行的来访表示了热烈欢迎。王董表示唯一网络作为一家云服务综合解决方案提供商,一直与各大运营商有着深度合作,并指出公司从业务拓展、服务提升、资本布局等方面正持续创新发展,打造了以资本哺育生态,以生态丰富企业,以产业增强资本的闭环生态链。 杨总介绍,中国通信服务公司是千亿级央企上市集团,中国通信服务福建公司是省通信信息化龙头企业,拥有端到端的智慧服务核心能力,希望凭借顶层规划和研发能力、信息化领域顶级资源、丰富的智慧社会产品集、多专业一体化服务、省市县乡村全覆盖落地能力等优势,成为唯一网络可信赖的顾问和伙伴。同时,旗下子公司福建省邮电工程公司、福建省邮电规划设计院、中邮科通信技术股份有限公司分别展现了在通信设计咨询及信息系统集成领域、通信工程勘察设计领域、通信业务软件领域等强大的资质实力和智慧产品解决方案能力。 双方领导就今后优势资源互补、强强联合,共同拓展网络安全业务、行业解决方案整合赋能、资质认定合作等方面交换了意见,表示唯一网络与中国通信服务福建公司有着良好的合作基础,唯一网络一直坚持以创新驱动发展,践行“客户第一、高效执行、勇于担当、追求卓越”的价值观,得到行业及客户的认可与信赖。中国通信服务福建公司是省通信信息化龙头企业,在工程设计、通信技术开发、技术服务、技术咨询等方面具备丰富经验,实力强劲,在新基建和5G的背景下,双方合作前景广阔。 通过此次的考察与交流,唯一网络与中国通信服务福建公司加深了互信了解,未来将建立常态化沟通合作机制,为以后的深入合作奠定基础。
唯一小编 发布时间:2020-07-03
为深入贯彻全国网络人士统战工作会议精神,进一步推动我市网络人士统战工作创新发展,近日,广东省委统战部副部长李阳春带队,到南城街道开展调研,莅临广东唯一网络科技有限公司(南兴股份全资子公司,以下简称“唯一网络”)参观,东莞市委统战部一级调研员马凤彪,南城街道党委副书记徐建文,街道领导张小燕、张见荣等陪同调研。 唯一网络董事长特助王毓敏带领李阳春一行参观了公司办公环境,详细介绍了唯一网络在互联网领域平台建设、发展运营及业务开展情况,并向来访领导重点展示了唯一网络的监控中心,包括数据中心运维管理平台和全网实时攻击展示平台等。 参观过程中,李阳春仔细询问了公司的运营模式以及如何为客户提供网络安全产品和服务等情况,王毓敏从公司积极推进云数据中心基础设施建设,加强网络人才队伍建设,在安全领域细分市场打造竞争优势,多渠道资源赋能投资等方面进行了详尽汇报。在听取介绍后,李阳春对于公司的发展给予了高度肯定,鼓励唯一网络再接再厉,继续在网络空间发挥正能量。 唯一网络作为云服务综合解决方案提供商,未来将继续以党建为引领,坚持正确的政治方向、舆论导向、价值取向,立足行业,充分发挥自身优势,搭建平台整合资源,不断进行新的探索,继续提供优质可靠的产品和服务,履行网络人应尽的社会责任和义务,为互联网经济贡献力量。
唯一小编 发布时间:2020-07-01
6月30日,2020工业互联网创新峰会于线上盛大开幕,本届大会以“破而后立,智造新生”为主题,政商学界精英齐聚共话工业互联网热点,围绕工业互联网技术创新、制造业数字化转型、工业互联网产业平台搭建等议题,探索工业互联网产业链新模式,构建工业互联网新生态的同时,大会也为2019-2020年度中最能代表互联网行业发展的优秀企业献上荣誉。唯一网络(南兴股份全资子公司)凭借在行业的持续创新和稳健表现,荣获“2019-2020年度互联网产业最具影响力企业”奖项。 如今,随着互联网、云计算、大数据等与现代制造业的结合,正在推进工业产业加速进入下一个时代,5G、工业互联网等更是成为实现新旧动能转换的重要引擎,数字经济加速向传统产业渗透,新经济模式和新业态将持续涌现。 作为云服务综合解决方案提供商,唯一网络深耕行业,持续自主创新,以产品和服务为各行业客户赋能,推动互联网产业的快速发展,并实现了自身规模效益的稳步增长。近年来面对互联网产业变革新浪潮,唯一网络紧抓机遇,积极探索传统工业拥抱互联网的新路径,将组建智能制造及工业互联网云平台研发团队,以客户需求为基础,实施设备在线项目的研发、智能制造及工业互联网云平台、标识解析体系建设,带动和提升传统产业,使新旧动能融合发展,更好支撑传统行业客户的转型升级与创新。 唯一网络此次荣获“2019-2020年度互联网产业最具影响力企业”奖项,代表着行业对唯一网络综合实力和行业地位的又一次肯定,也是唯一网络成长性和影响力的充分体现。未来,唯一网络将依托十余年的业务实践和技术积淀,秉承“客户第一”的服务理念,为互联网行业健康持续发展贡献力量,为企业数字化赋能创造新价值。
唯一小编 发布时间:2020-06-24
2020年6月2日—6月15日,广东唯一网络科技有限公司(南兴股份全资子公司,以下简称“唯一网络”)参加了由CCSA SNAI推委会(TC610)SDN集成与互通测试组发起的“SD-WAN Ready”测试项目,并已顺利通过该项测试。唯一网络通过此次测试,标志着唯一网络SD-WAN产品的技术规范性和专业性得到了充分肯定。截止目前,已有中国联通、电信国际、移动国际、华为、思科、奇安信、香港电讯等多家企业通过“SD-WAN Ready”项目测试。 项目测试组专家组基于《SD-WAN整体解决方案基准测试》方案,对唯一网络SD-WAN整体解决方案进行了全面且严格的评测,验证了唯一网络SD-WAN 整体解决方案智能、高效和灵活的软件定义广域网能力,可满足各行业广域互联的典型场景和共性需求。测试内容包括:自动化部署、overlay 拓扑变更、应用识别、链路双活、链路质量检测、负载均衡、策略匹配、运维管理、安全策略、URL 过滤、隧道安全、隧道隔离、边缘设备可靠性、链路可靠性等功能。 唯一网络SD-WAN Ready 证书 在大数据的推动下,基于SD-WAN的智能广域网架构,在企业数字化转型的过程中优势明显,成为支持企业与云计算大数据深度融合的动脉,在物联网、5G、智慧园区等新兴业务的分支互联、业务上云等多元化部署场景中的作用日益凸显。 作为云服务综合云服务综合解决方案提供商,唯一网络运用自身资源储备和云计算、大数据、工业互联网等多个领域的技术优势,为客户提供高品质的综合云服务,不断创新产业形态,打造云-网-边-安全一体化的互联网综合生态平台。唯一网络聚焦SD-WAN市场,推出SD-WAN整体解决方案,从性能、成本、管理等多维度帮助企业客户的广域网建设,实现快速、低成本、简便构建企业网络,极大程度上满足应用即时性和实时性的要求,实现“一点接入,云网互联”。 唯一网络SD-WAN网络POP节点在全国分布范围广泛,覆盖华中、华南、华北、华东区域,全球开通90+可部署业务POP节点,拥有多节点备份,保证线路畅通无阻。目前与现有主流公有云互联所构建的网络资源池,向企业端、IDC端、云端、移动端等多端数据组网互通、高速上云、混合云组网等提供高稳定、高质量的网络连接服务,并且近40个核心节点设有属地化技术工程师,可提供一站式运维支撑服务。 唯一网络SD-WAN整体解决方案的主体功能丰富: 自主安全组网:实现全自动组建加密虚拟专用网的能力,管理员只需关心业务访问策略如何配置,由此降低运维人员的配置复杂度。 零配置快部署:安全网关支持自动向管控平台注册及从管控平台获取初始化网络配置和安全策略配置,实现分钟级上线。 广域出口整合:支持多路广域网出口的统一整合。当其中一个广域网出口出现故障时,可以切换到其他正常的广域网出口。 智能路径优选:通过管控平台监测整个企业广域网的端到端服务质量,多维度的智能选路,实现基于应用的路径优选和质量保证。 增强型安全隔离:为客户按需组建虚拟网络, 在中心节点到分支机构之间建立基于业务隔离的安全连接,可支持国际算法以及国密算法的加密数据传送。 全面支持虚拟化:支持企业自建虚拟化环境部署,支持混合云组网场景,可保证系统部署安装的便捷性和适应性,方便支持网络功能的弹性扩展。 未来,唯一网络会不遗余力的推动SD-WAN产业生态的全面发展,以支撑企业用户实现高效且精细化的业务管控与敏捷力的提升,助力企业降本增效,实现云时代的快速IT数字化转型。
唯一小编 发布时间:2020-04-28
4月28日,南城街道2020年推动经济高质量发展暨科技创新工作会议隆重召开,对2019年度推动产业发展工作表现突出的广东唯一网络科技有限公司(南兴股份全资子公司)、东莞市天安数码城有限公司等112家企业、单位给予奖励资助。南城街道党委副书记、办事处主任苏东等党政班子成员,以及倍增企业、高新技术企业、科技代表负责人等100余人出席了大会。 大会现场图 南城坚持以科技创新为引领,深入实施创新驱动发展战略,推动产业经济高质量发展,政府对企业的激励政策,不仅是对企业发展的肯定,更具有导向作用,将助力企业在新常态下开拓新局面。 作为南城区“倍增企业”的代表之一,唯一网络以创新驱动发展,已连续三年实现效益与规模的倍增,无论是产品、技术、服务还是创新能力等,都得到了各级政府部门的肯定,先后获得国家高新技术企业、广东省创新发展示范企业等荣誉认定,目前唯一网络及旗下子公司共拥有软件著作权达90多项,申请发明专利7项,并已通过信息系统安全等级保护备案证明、ISO9001质量管理体系认证、ISO27001信息安全管理体系认证、ITSS运维能力成熟度认证,两化融合管理体系认证,专业提供云数据中心、网络安全、云专线、公有云、混合云等服务。 其中“唯云公有云服务平台”和“唯一网络安全防护技术服务”产品被认定为2019年广东省高新技术产品,科技创新实力不断增强。 面对新常态下的挑战和机遇,提升企业核心竞争力,唯一网络将依托利好政策,整合创新资源,不断加大科研投入,用好奖励资金,培养专业技术人才队伍,构建科技创新体系,为更多企业赋能,为推动南城经济高质量发展尽一份力。
唯一小编 发布时间:2020-03-05
3月已至,全国各地的学生陆续开学了。不同于以往,为保障防疫工作顺利推进,响应停课不停学的号召,这次老师们化身“主播”,师生相聚“云端”,利用“互联网+”教育模式,开展线上教学。 据最新数据显示,2020年开学仅第一周,教育行业App中日均用户规模就达到了1.27亿人。无论是垂直领域机构、线上直播平台还是短视频平台,线上人数的访问量、用户量、使用量都在激增,对于底层云计算设施的需求呈现大幅增长。在这样的刚需背景下,要保障各大平台平稳运行,良好的教学效果得以呈现,云服务商的作用至关重要。 图片来源于网络 作为云服务综合解决方案提供商,为更好地助力“云课堂”的顺利进行,唯一网络勇担责任,充分发挥云服务商优势,迅速组建专业团队并配置资源投入到这场“信息化战役”,紧急启动了多项网络保障工作:为多家平台进行紧急扩容,为超大带宽需求提供保障。特为教育企业客户提供专享通道,技术运维团队7X24小时密切监测数据运行情况,并出台多项有效应对多种防范风险的预案措施,确保网络运行稳定,杜绝因高负载、高并发等出现的故障和宕机等情况。制定安全防御策略,加强网络安全防护,提供多元化的互联网服务,让企业客户把更多精力关注在核心业务需求上。 战“疫”尚未结束,决胜贵在坚持。唯一网络将依托资源、技术、产品、服务等优势,践行“客户第一”的理念,持续为各大平台企业提供基础支撑服务,全力保障客户业务平稳运行,贡献自己的“云力量”。 (如有业务咨询,欢迎直接拨打电话:谢小姐 18902615067(微信同号),更多详情请点击客服咨询)
唯一小编 发布时间:2020-02-25
为更好地帮助医护人员及市民应对疫情,坚决打赢疫情防控阻击战。2020年2月25日,唯一网络党支部向南城医院捐赠爱心防“疫”物资,捐赠仪式在南城社会工作和慈善事业促进中心举行。南城街道党委委员张小燕、南城街道社会事务局相关领导、唯一网络副总裁及党支部书记李玉何等出席了捐赠仪式。 捐赠仪式现场 本次捐赠仪式上,唯一网络党支部一次性定向捐赠南城医院10000个KN95颗粒物防护口罩,齐心协力,为疫情防控作出贡献。 唯一网络在积极做好企业自身防疫的同时,勇于承担社会责任,以实际行动回馈社会,践行着为社会贡献正能量的企业使命。唯一网络党支部在疫情当前积极行动,充分发挥了党支部的“红色引擎”作用,也为共同抗击疫情做出了党员、党支部先锋模范的表率,展示了凝心聚力、共同战“疫”的强大力量。
阿里云RDS分库分表扩容兑现平滑数据迁移 2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 2021-03-01 阿里云服务器
腾讯云Terraform初始化 改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 2021-03-01 腾讯云服务器
阿里云无服务器高弹性的架构 在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 2021-03-01 阿里云服务器
云专线和普通专线区别 云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 2021-02-19 专线