唯一小编 发布时间:2020-02-21
为贯彻落实国家科技创新制度,凝聚城市创新力量,树立先进创新典范,根据东莞市政府打造“创新东莞”的工作部署,东莞市高新技术产业协会组织开展“百优创新典型”评选活动。2月20日,2019年“百优创新典型”名单正式公布,唯一网络荣获“2019年百优创新服务”奖项,这是对唯一网络技术创新能力和完善服务体系的高度肯定。 作为云服务综合解决方案提供商,唯一网络凭借深厚的行业积累,专业提供云数据中心、网络安全、云专线、公有云、混合云等服务,并专注产品创新、服务创新、模式创新,为助力客户充分释放云上生产力而积极探索。同时,通过打造差异化的竞争优势,始终践行“客户第一”的服务理念,获得客户和社会各界的一致认可和好评。 唯一网络此次入选“百优创新典型”评选,将把荣誉激励转化成内生动力,充分发挥云计算的技术优势,持续探索创新业务模式,不断进行技术创新和服务升级,为更多企业赋能,助力创新发展,为推进城市创新建设贡献力量。
唯一小编 发布时间:2020-01-19
近日,唯一网络受邀出席中国电信广东分公司年度会议,并荣获“2019年度IDC优秀合作伙伴”称号。此次殊荣是广东电信对唯一网络高水准服务体系标准和专业运营能力的认可与肯定。截至目前,唯一网络已经连续5年蝉联“广东电信年度IDC优秀合作伙伴”殊荣。 颁奖合照——右一为唯一网络副总裁李玉何先生 作为云服务综合解决方案提供商,唯一网络围绕互联网基础设施领域,专业提供云数据中心、网络安全、云专线、公有云、混合云等服务。目前,唯一网络数据中心资源节点基本覆盖全国,可为客户提供单线、双线、三线、CN2、BGP等多种线路接入。全网接入带宽超过20T,网络防护能力超过8T,是目前行业内经营牌照相对齐全的企业之一。同时,唯一网络发展稳步提升,连续多年实现业绩倍增目标。 优质的产品和优质的渠道必定互惠共赢。长期以来,唯一网络与广东电信保持着稳定良好的合作关系。在大数据、云计算产业日新月异的当下,唯一网络与作为产业信息化转型重要“推手”的广东电信强强联合,在IDC资源、云平台建设等多个“互联网+”领域达成合作,聚焦客户需求,实现效益提升,为各行业创新发展提供新动力。 活动现场 回顾过去的一年,我们辛勤耕耘,获得合作伙伴的高度认可。未来,唯一网络将继续携手广东电信,深耕业务,持续加大研发投入,坚持不断创新,服务至上的理念,依托资源、技术、产品、服务等优势,持续打造差异化和有竞争力的产品与解决方案,创造价值,合作共赢。
唯一小编 发布时间:2020-01-19
2020年1月17日,联通(广东)产业互联网有限公司合作伙伴答谢会暨2020年战略及多云平台发布会,在广州正式起航,唯一网络受邀出席盛会,并获颁分量十足的“2019年度优秀合作伙伴”奖项,为未来双方的进一步合作奠定了坚实的基础。 颁奖合照-左五为唯一网络副总裁李玉何先生 此次大会,联通(广东)回顾了2019年所取得的骄人成绩,同时,也表示基于联通自身稳定的网络能力、行业领先的平台能力以及生态聚合能力,将和各位优秀的生态合作伙伴一起,在5G助力、云网融合、大数据和平台赋能等方面,携手共进,助力发展。 活动现场 唯一网络积极打造以云数据中心、网络安全、云专线、公有云、混合云为一体的互联网生态链,凭借领先的行业数字化解决方案以及积极创新实践,得到行业及客户的认可与信赖。联通(广东)是新型数字化服务的领军企业,具备通信开放平台、软硬件集成、全云化运营及大数据应用能力,实力强劲。双方合作前景广阔,此次奖项的获得,除了是肯定和激励,更是双方良好合作的证明。 未来,唯一网络将与联通(广东)共建产业平台,通过持续的技术迭代、模式创新与行业实践,丰富内生资源,积极探索推进5G、大数据、人工智能等新兴技术融合应用和创新发展,聚焦工业互联网、物联网等领域,促进数据流通、跨区域合作和数据互联,打造产业生态,为更多行业赋能赋智,实现5G时代的合作共赢。
唯一小编 发布时间:2019-12-12
12月12日,2019全国百万企业上云年会暨Cloud500云生态峰会在北京召开,来自工业和信息化部、地方工信厅、经信局主管领导,云计算专家、上云典型行业用户、优秀云服务商、新闻媒体等近千人出席大会,《2019中国云计算生态竞争力报告》、云原生图谱和2019Cloud 500(中国云计算500强)榜单在会上重磅发布。唯一网络凭借强劲实力入围榜单中的“云安全服务商”版块,并荣获“百万企业上云——地区优秀服务商”表彰。 据悉,2019 Cloud500榜单囊括了国内云生态中的各类企业,由极具实力的500家云计算公司组成,是国内云计算生态系统现状骨干力量的完整呈现。唯一网络此次成功入选榜单,和华为、阿里、百度安全、奇安信等优秀企业并列其中,表明在云计算领域得到了业界权威评选机构的高度认可及肯定。 实力认证 唯一网络入选优秀服务商奖项 企业上云,是企业顺应数字经济发展潮流,加快数字化、网络化、智能化转型,提高创新能力、业务实力和发展水平的重要路径,全国新增上云企业100万家,众多企业都期望能借助云计算,转型成为敏捷的数字化组织,并且随着5G的落地、人工智能等新生业务的崛起,云计算格局也正在筑建新赛道。 基于十余年的行业精耕和对市场的精准把握,唯一网络从云数据中心、网络安全、云专线、公有云、混合云等方面,为企业客户提供一站式专业云服务,专注技术创新,紧跟时代步伐,完善技术储备,加速发展大数据、边缘计算等领域。截止目前,唯一网络已为超过3000家的企业用户提供解决方案和服务,覆盖多个细分领域,协助企业数字化转型,持续推动“云”与各行各业的深度融合,为企业达到降本增效的目标。 亮点纷呈 唯一网络云生态峰会之行 此次大会亮点纷呈,创新性与丰富性兼具,现场开设了展区,汇集了华为、京东云、联通等国内知名云生态企业,包括基础架构提供商、软件提供商、服务运营商、服务部署商、应用开发商五大类。 唯一网络展区前,工作人员在现场和用户进行深层次的交流互动,详细介绍了企业的产品体系、竞争优势及发展规划等,展示并分享企业在各个领域打造的成功案例。 作为云服务综合解决方案提供商,唯一网络将继续践行“客户第一”的价值观,深耕云计算领域,专注产品创新、服务创新、模式创新,为用户提供一站式互联网云服务,赋能数字化转型,实现云端合力共赢。
唯一小编 发布时间:2019-11-15
11月14日,由公安部网络安全保卫局主办的全国互联网企业网络安全管理优秀团队及个人表彰大会在上饶举行。会议主要对2019年在国家重大网络安保管理工作和网安支持工作方面做出卓越成绩的互联网企业网络安全管理团队和个人进行表彰,并对2020年度互联网安全综合治理工作提出了要求。 唯一网络受邀出席并被公安部网络安全保卫局评为“2019年网络安全管理优秀团队”,获得此项荣誉,意味着唯一网络在网络安全领域得到了国家相关管理部门的高度认可与肯定。 据悉,此次表彰会议,一共有包括华为、阿里巴巴、京东、360、网易、斗鱼等100家知名互联网企业入选履职尽责优秀互联网企业安全管理团队。 此次会议指出,互联网企业和联网单位认真贯彻落实《网络安全法》等法律法规要求,夯实主体责任,加强安全管理,在防控网络安全风险、治理网上治安乱象等方面取得了积极成效,并提出要努力营建和谐健康、安全有序的互联网发展环境。 唯一网络专注网络安全产业链,目前全网防护能力超过8T,同时极为重视网络安全相关工作,建立了科学、有效、反应迅速的网络与信息安全事件应急工作机制,不断提高处置网络与信息安全事件的能力,严格落实IDC接入服务及备案管理,保障网络安全。 未来,唯一网络将以政策为指引,以云化平台为基础,让网络与信息安全融合,不断提升和完善网络信息安全等方面的管理,全力以赴配合网络安全相关管理部门的执法和监管工作,共同构建清朗的网络空间,成为客户信任、社会尊重的IDC、云服务及网络安全领军企业。
唯一小编 发布时间:2019-10-24
10月23日,在东莞市科学技术协会、东莞市塘厦镇人民政府的支持指导下,由东莞市塘厦镇人民政府创新驱动办公室和东莞市塘厦镇科学技术协会主办的“5G引领新一代智能创新发展论坛”在东莞市塘厦镇成功举办。塘厦镇副镇长赵宁发、镇经信局局长刘碧峰、镇创新办等领导出席本次论坛,本次活动还吸引了粤港澳大湾区发展规划知名权威专家、企事业、协会和各行业代表、新闻媒体代表以及东莞市民参加,现场气氛热烈。 副镇长赵宁发在开幕辞中表示,为贯彻重要讲话精神,提高全民科学素质,在以5G为引领的新一代数据技术变革下,塘厦镇不断加速5G技术的布局与落地应用,并牢牢抓住5G新时代科普发展的重要机遇期,举办“5G引领新一代智能创新发展论坛”,配合5G发展趋势,推动大数据、人工智能和实体经济深度融合,形成新动能,全面加快全镇科技创新步伐,打造“创新强镇”。并且借本次论坛活动与多方机构优势互补、深化合作,不断提升塘厦科技创新竞争力。 唯一网络副总裁易志强受邀担任主讲嘉宾,围绕5G时代下的网络安全趋势及应对策略等多个方面进行分享。他指出,5G时代下的网络安全是挑战和机遇并存,移动互联进入万物互联,都会带来新的网络安全隐患。同时,5G时代的网络安全产业迎来新一轮发展契机,网络信息安全市场规模呈持续扩大趋势。唯一网络将通过资源融合、数据融合、业务融合等展开应对,并推出了“伙伴赋能计划”和“中小企业保障计划”,以期解决未来网络安全问题之道”。 百舸争流,奋楫者先。唯一网络在政策支持、技术优势和市场需求驱动下,发力网络安全产业链,目前全网防护能力超过8T。唯一网络将以云化平台为基础,让网络与信息安全融合,并根据不同行业的客户对于网络安全的不同诉求,定制行业个性化方案,解决用户需求痛点,在网络安全方面发挥重要、积极的防御作用。 此次论坛,获得了与会嘉宾和现场观众的一致好评。面对5G发展的大风口,唯一网络将与产业链上各方共同探索新的技术和商业模式,发挥自身平台优势,构建合作共赢的产业生态,为网络安全产业建设贡献力量。
唯一小编 发布时间:2019-09-30
2019年9月29日,广东唯一网络科技有限公司(以下称“唯一网络”)与中国联合网络通信集团有限公司东莞分公司(以下称“东莞联通”)在新时空联通大厦签署了战略合作框架协议。东莞联通党委书记、总经理胡卫红、东莞联通副总经理林颖、东莞联通政企客户事业部副总经理钟荣威、广东联通产业互联网公司东莞办事处主任林文彬、唯一网络董事长王宇杰、唯一网络副总裁蔡湛、唯一网络副总裁马凤军、唯一网络副总裁易志强等相关领导出席了签约仪式。 签约仪式前,唯一网络王宇杰董事长一行人在东莞联通副总经理林颖的带领下,到东莞联通“互联网+”展厅进行了参观,认真听取东莞联通在云计算、大数据、物联网和相关行业信息平台建设应用情况讲解,并亲身体验了5G技术应用场景。 签约仪式上,东莞联通党委书记、总经理胡卫红表示,近年来东莞联通与唯一网络的合作愈加密切,业务增长迅速,往来形势稳中向好,表达了对唯一网络的高度肯定,并分别从大市场、大数据、大应用、创新、服务等不同的维度介绍了东莞联通目前的主营业务,强调希望与唯一网络拓宽多领域合作,基于客户深层需求,联合打造标杆样板,真诚期待能与唯一网络精诚合作,结出硕果。 唯一网络董事长王宇杰指出,本次合作,唯一网络将与东莞联通进一步深化互联网基础设施建设及网络产品合作,包括合作共建IDC数据中心,共同布局IDC/CDN大带宽业务。同时,依托东莞联通的云联网产品,开拓国际云联网业务,并借助东莞联通的资源及客户能力和唯一网络多年的网络安全研发与拓展经验,共同搭建网络安全平台,积极探索在边缘云计算业务和工业互联网项目合作的新模式,共同实现战略发展新跨越。 唯一网络与东莞联通有着良好的合作基础,双方的合作自2014年开始,2018年进入快车道,随着战略合作协议的签署,2019年将达到一个新的高度。作为国内知名的云服务综合解决方案提供商,唯一网络一直坚持以创新驱动发展,践行“客户第一、高效执行、勇于担当、追求卓越”的价值观,凭借领先的行业数字化解决方案以及积极创新实践,得到行业及客户的认可与信赖。东莞联通是东莞通信行业的龙头企业,拥有先进的信息通信技术、强大的通信网络以及IDC核心机房资源,实力强劲。双方成为5G时代的价值合作伙伴,前景广阔。 以“立足长远、互惠双赢、协同创新、共谋发展”为原则,未来,唯一网络与东莞联通将在互联网多个领域建立长期稳定的合作关系,充分利用各自的技术、优势资源和经验,共筑“互联网+”生态圈,共同为客户提供更为稳定、可靠的综合业务服务,实现共赢发展。
唯一小编 发布时间:2019-09-18
推进网络强国,保障数据安全,建设数字中国。9月18日,福建互联网大会在福州盛大举行。此次大会汇聚了国内互联网领军企业代表,唯一网络受邀出席,与华为、中兴、电信、移动、联通等优秀企业代表共同聚焦5G、工业互联网、人工智能、网络安全等领域,探讨互联网赋能新发展。 本次大会由福建省通信管理局、福建省互联网信息办公室、福建省发展和改革委员会、福建省工业和信息化厅、福建省数字福建建设领导小组办公室指导,福建省互联网协会主办,并得到了福州市人民政府的大力支持。 工业和信息化部网络安全管理局副局长张新;福建省委宣传部副部长、省委网信办主任许守尧;福建省通信管理局党组书记、局长张丽娟;福建省发展和改革委员会党组成员、省数字福建领导小组办公室主任陈荣辉;福建省工信厅副巡视员陈居雷;福州市政府副秘书长林强;中国互联网协会副秘书长宋茂恩分别致辞,在致辞中表达了对大会圆满举行的祝贺。 工业和信息化部网络安全管理局副局长张新在致辞中表示,要贯彻学习中央重要讲话精神,深刻把握信息化发展大势,积极应对网络安全挑战,提升广大人民群众在网络空间的获得感、幸福感、安全感,推动数字经济成为经济增长的新引擎。 唯一网络副总裁、网络运营部总经理郑可君受邀担任演讲嘉宾,围绕网络安全趋势、应对策略及企业赋能计划等多个方面进行分享。他提出,网络安全形势日益严峻,国家对于网络安全的要求越来越高,唯一网络将通过资源融合、数据融合、业务融合,展开应对策略,以期解决未来安全问题之道,并推出了“伙伴赋能计划”和“中小企业保障计划”,免费、无偿为业界合作伙伴提供安全防护产品组件及云安全服务,保障客户的业务安全。 日前,正处于国家网络安全宣传周,网络信息安全成为关注焦点,更与我们的生活息息相关,构建安全、和谐、清朗的网络环境,维护网络安全是不可忽视的责任。 唯一网络紧跟政策,构建云安全防护体系,为网络安全打造六个层面安全防护,集中管理基础安全设施,目前全网防护能力8T+。唯一网络坚持以平台优势鼓励和驱动创新,积极助力互联网安全生态圏,致力于为政府、互联网、教育、金融、医疗等行业,提供网络安全解决方案,提供全面网络安全防护。 此次大会,不仅提供了非常好的学习机会,更促进了互联网企业的技术交流与发展。未来,唯一网络将不断加强网络安全系统的自主研发与建设,积极为用户提供更便捷、更高效的互联网安全服务,为客户业务的稳定运行保驾护航。
唯一小编 发布时间:2019-08-30
昨日,南城街道召开2019年科技创新大会暨促进中小企业发展工作会议,对2018年度科技工作突出的企业、单位进行表彰以及奖励资助,合计1932万元,并公布了45家“倍增计划”试点企业名单。 唯一网络荣登榜单,从2017年到2019年三度获得南城街道“倍增计划”试点企业殊荣,并成为2018年度南城街道科技创新专项资金奖励配套资助单位。唯一网络在实现倍增发展道路上取得的鼓励,将成为更好更快发展的动力。 (唯一网络代表上台领奖) (唯一网络所获荣誉证书) 重磅政策出台 南城致力科技创新 南城街道召开2019年科技创新大会暨促进中小企业发展工作会议,传达省、市科技创新大会以及促进中小企业发展工作会议的精神。会上出台了《2018年度“倍增计划”政策项目资助情况的通报》《2018年南城街道产业发展专项资金资助情况的通报》及《2019南城街道“倍增计划”试点企业遴选工作方案》等政策。 大会对符合2018年度南城街道产业发展专项资金资助条件的企事业单位和“倍增计划”政策资助条件的项目进行资金资助,合计1932万元,创下南城实施科技创新奖励政策以来的新高。 此次会议的多项政策和措施将全方位惠及企业发展,支持深化科技创新发展,促进企业人才聚集发展,推动南城重点企业实现规模和效益的倍增,进一步推进南城实现实体经济高质量发展。 以激励促发展 企业开拓新局面 以创新驱动发展,是实现产业转型升级的重要抓手,更是推动企业实现长效高速发展的关键。政府对企业的激励政策,是对企业发展的肯定,具有导向作用,更将助力企业开拓新局面。 唯一网络作为“2018年度南城街道产业发展专项资金奖励配套资助单位”,始终坚持以平台优势鼓励和驱动创新,在东莞松山湖打造广东首家互联网信息安全产业孵化基地,积极助力互联网安全生态圏,拥有软件著作权近40项,专业提供云数据中心、网络安全、云专线、公有云、混合云等服务。 未来,公司将不遗余力地加大科技创新力度,加大科技板块投入,用活用好奖励资金,实现企业规模与效益倍增,为推动南城经济高质量发展贡献应有的力量。
唯一小编 发布时间:2019-08-06
以内地为发展根基、以大湾区为战略支点、以海外为拓展方向,唯一网络深入实施国际化战略,加快全球化步伐,在国际布局上又迈出重要一步。 8月5日,唯一网络与环球全域电讯(以下简称“环电”)在广东东莞签署合作协议。双方将重点加强在数据中心、网络安全防护和互联网带宽等业务上的合作,加快客户与国际市场接轨。 唯一网络高级副总裁许渊培与环电国际数据业务副总裁郑德康作为双方代表签署了合作协议。 南兴装备创始人林旺南、南兴装备董事长詹谏醒、南兴装备总经理詹任宁、唯一网络董事长王宇杰、环电中国区副总裁贾英菊、环电国际数据业务助理副总裁许绍逊、环电华南区助理副总裁谢朕等领导出席并见证了签约仪式。 1 1+1>2 携手助推区域数字化发展 在国家大数据战略的政策号召下,数字化浪潮正日益成为趋势。在以云计算及大数据为标志的新时代,互联网企业的深度合作将触发新业务、新场景、新变革,为业务开拓更多增量。 环电是领先的香港及国际电讯固网服务运营商,在香港及国际市场拥有广阔的网络覆盖及基础设施,除了提供电讯网络基础设施给其他运营商外,也是企业及家庭用户的服务供应商。环电为本地、海外、企业及大众市场提供全面的电讯服务、数据中心服务、信息科技方案及宽带服务。环电拥有并运营覆盖广泛的光纤网络,与内地一级电信运营商开通了五条跨境分流路由,更与过百家世界级的国际电讯网络运营商互连。 作为国内知名的云服务综合解决方案提供商,唯一网络积极打造以云数据中心、网络安全、云专线、公有云、混合云为一体的互联网生态链。奋力抢滩时代的“风口”,唯一网络专注技术创新,自主研发实力强劲,依托自身在数据中心、云计算、网络安全等方面的优势资源,积极发展大数据、边缘计算等技术领域。目前唯一网络已为数千家的企业用户提供服务,覆盖云服务领域细分市场,综合实力排名行业前列。 此次双方合作以共同推动区域数字化、智能化水平提升,共同打造互联网产业生态圈为目标,双方将致力于为客户提供一站式综合业务服务,携手实现共赢。 2 珠联璧合 发挥优势互惠共赢 签约仪式前,环电领导一行参观了唯一网络总部以及南兴装备总部展厅。通过参观与交流,进一步增进了对彼此企业历史、文化和价值观的了解,领略“互联网+”和“工业4.0‘智’造”的强大力量。 签约仪式上,环电、唯一网络、南兴装备与会三方进行了务实、深入的交流,详细介绍企业情况,增进互信,共述发展。 环电中国区副总裁贾英菊表示,环电致力于与合作伙伴建立更紧密的关系,共同满足客户对质量、价值和可靠性的要求,与时俱进,更好地为在市场中快速增长的客户提供一站式国际业务方案。 唯一网络副总裁蔡湛指出,优质的产品和优质的渠道必定互惠共赢,唯一网络与环电的合作有着良好的基础,希望双方能发挥各自领域的资源和经验优势,实现共同合作目标。在具体合作过程中,将以互联网迭代思维为导向,紧跟趋势,形成合作不断推进的局面。 3 持续发力 打造更优质的资源合作平台 随着唯一网络和环电合作协议的有效落地,双方将一起携手并进,创新成长,依托强大的产品、服务、运营和集成能力,在国际市场持续发力,为客户创造更优质的资源和合作平台。
阿里云RDS分库分表扩容兑现平滑数据迁移 2020年,笔者负责的一个高德打车弹外订单系统进行了一次扩分库分表和数据库迁移。该订单系统全局部署在阿里云上,服务应用阿里云ECS部署,数据库采纳阿里云RDS,配置中心基于阿里云ACM自研,数据同步基于阿里云DTS自研以及自研分库分表组件、分布式ID组件等等。 此次进行扩分库分表的背景是,原4实例4库、各个库64张表一共256张表,部分单表已超千万量级,按目前每日单量量级,一年内单表会达到上亿条记载,单表数据量过大会带来数据库性能问题。 4实例(16C/64G/3TSSD),4库(各个实例一个库),每库64张表,共256张表。 经过RDS后台一键诊断功能,来计算表空间应用情形(这里拿测试情境数据库举例)。 数据库的瓶颈主要表现在:磁盘、CPU、内存、互联网、联结数,而联结数主要是受CPU和内存作用。CPU和内存可以经过动态升配来提高,可是SSD磁盘容量最大支持到6T(32C以下最大3T、32C及以上最大6T)。 可是现阶段兼顾成本,可先将实例扩容一倍,采纳8个实例(16C/64G/3TSSD),各个实例建4个库(database)、各个库128张表(这里实质上是一个成本取舍的流程,理论上应该采取”多库少表”的准则,单库128张表其实太多了,单库建议32或64张表为宜)。 接下来如果实例压力提高可进行实例配置改进(16C/128G、32C/128G、32C/256G等);将来如出现单实例升配无法解决,在考虑扩容实例,只需求将database迁移至新实例,迁移成本较小。 按单表最多1000w条数据评估,4096张表可支持日5000w单3年(10.1压测标准)、日2000w单5年的架构。(因业务表比较多,此处忽略掉单条数据大小的计算流程) 32个库,各个库128张表。将来可最大扩容到32个实例,无需rehash,只需求迁移数据。 阿里云RDS规格和价钱一览 因扩分库分表涉及到rehash流程(256表变4096表),而阿里云DTS只支持同构库数据迁移,所以我们基于DTS的binlog转kafka实力自研了数据同步中间件。 整体数据迁移工作包含:前期预备、数据同步环节(历史数据全量同步、增量数据实时同步、rehash)、数据校验环节(全量校验、实时校验、校验规章配置)、数据修复工具等。 在进行数据同步前,需求先整理一切表的惟一业务ID,只有确定了惟一业务ID才学兑现数据的同步操作。 需求重视的是: 一旦表中没有惟一索引,就会在数据同步流程中造成数据重复的危险,所以我们先将没有惟一索引的表依据业务场景增加惟一索引(有也许是联合惟一索引)。 在这里顺便提一下,阿里云DTS做同构数据迁移,应用的是数据库自增ID做为惟一ID应用的,这种情形如果做双向同步,会造成数据覆盖的问题。解决案例也有,之前我们的做法是,新旧实物采纳自增ID单双号解决,担保新旧实例的自增ID不会出现冲突就行。由于这次我们应用的自研双向同步组件,这个难题这里不细聊。 分表规章不同决定着rehash和数据校验的不同。需逐个表整理是用户ID纬度分表还是非用户ID纬度分表、是否只分库不分表、是否不分库不分表等等。 数据同步全局案例见下图,数据同步基于binlog,独立的中间服务做同步,对业务代码无侵入。 后续对每一个环节进行介绍。 单独一个服务,应用游标的方法从旧库分批select数据,通过rehash后批量插入(batchinsert)到新库,此处需求配置jdbc联结串参数rewriteBatchedStatements=true才学使批处理操作生效。 另外特殊需求重视的是,历史数据也会存在不断的更新,如果先开启历史数据全量同步,则刚同步达成的数据有也许不是最新的。所以这里的做法是,先开启增量数据单向同步(从旧库到新库),此时只是开启积压kafka消息并不会真正消费;然后在开始历史数据全量同步,当历史全量数据同步达成后,在开启消费kafka消息进行增量数据同步(提升全量同步效率变少积压也是核心的一环),这样来担保迁移数据流程中的数据一致。 增量数据同步考虑到灰度切流稳定性、容灾和可回滚实力,采纳实时双向同步案例,切流流程中一旦新库出现稳定性问题或者新库出现数据一致问题,可迅速回滚切回旧库,担保数据库的稳定和数据稳妥。 增量数据实时同步采纳基于阿里云DTS的数据订阅自研数据同步组件data-sync兑现,主要案例是DTS数据订阅实力会自动将被订阅的数据库binlog转为kafka,data-sync组件订阅kafka消息、将消息进行过滤、合并、分组、rehash、拆表、批量insert/update,最后再上交offset等一系列操作,最终达成数据同步工作。 整体流程中有几个问题需求重视: 问题1:怎样预防因异步消息无顺序而致使的数据一致问题? 第一kafka异步消息是存在顺序问题的,可是要知道的是binlog是顺序的,所以dts在对具体进行kafka消息投递时也是顺序的,此处要做的就是一个库担保只有一个顾客就能保障数据的顺序问题、不会出现数据状态覆盖,从而解决数据一致问题。 问题2:是否会有丢消息问题,假如顾客服务重启等情形下? 这里没有采纳自动上交offset,而是每次消费数据最终入库达成后,将offset异步存到一个mysql表中,如果顾客服务重启宕机等,重启后从mysql拿到最新的offset开始消费。这样惟一的一个问题也许会出现瞬间部分消息重复消费,可是由于上面介绍的binlog是顺序的,所以能担保数据的最终一致。 问题3:update转insert会不会丢字段? binlog是全字段发送,不会存在丢字段情形。 问题4:循环消息问题。 后面进行单独介绍。 前文有提到,由于是256表变4096表,所以数据每一条都需求通过一次rehash重新做分库分表的计算。 要说rehash,就必须先介绍下目前订单数据的分库分表策略,订单ID中冗余了用户ID的后四位,经过用户ID后四位做hash计算确定库号和表号。 数据同步流程中,从旧库到新库,需求拿到订单ID中的用户ID后四位模4096,确定数据在新库中的库表位置;从新库到旧库,则需求用用户ID后四位模256,确定数据在旧库中的库表位置。 想象一下,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,将该记载写入到新实例,于是在新实例也诞生了一条binlog;此时data-sync中间件又接到了该binlog……不断循环,消息愈来愈多,数据顺序也被打乱。 怎样解决该问题呢?我们采纳数据染色案例,只要能够标识写入到数据库中的数据使data-sync中间件写入而非业务写入,当下次接收到该binlog数据的时候就不必进行再次消息流转。 所以data-sync中间件需求,各个数据库实例创建一个事务表,该事务表tb_transaction只有id、tablename、status、create_time、update_time几个字段,status默认为0。 再回到上面的问题,业务写一条数据到旧实例的一张表,于是诞生了一条binlog;data-sync中间件接到binlog后,如下操作: 此时data-sync中间件将上面这些语句打包全体上交到新实例,新实例更新数据后也会生产对应上面语句的binlog;当data-sync中间件再次接收到binlog时,只要推断碰到tb_transaction表status=1的数据开始,后面的数据都直接舍弃不要,直到碰到status=0时,再陆续接收数据,以此来担保data-sync中间件只会流转业务诞生的消息。 数据校验模块由数据校验服务data-check模块来兑现,主要是基于数据库层面的数据对照,逐条核对每一个数据字段是否一致,不一致的话会通过配置的校验规章来进行重试或者报警。 通过数据校验,一旦发觉数据不一致,则需求对数据进行修复操作。 数据修复有两种案例,一种是适用于大范围的数据不一致,采纳重置kafkaoffset的方法,重新消费数据消息,将有问题的数据进行覆盖。 全局灰度案例:SP+用户纬度来兑现,SP纬度:凭仗灰度情境切量来做,用户纬度:依靠用户ID后四位百分比切流。 灰度切量的流程肯定要配合停写(秒级),为什么要停写,由于数据同步存在肯定拖延(正常毫秒级),而一切业务操作肯定要保障都在一个实例上,否则在旧库中业务刚刚调整了一条数据,此时切换到新库如果数据还没有同步过来就是旧数据会有数据一致问题。所以流程应该是: 虽然在切流之前,在测试情境进过了大量的测试,可是测试情境毕竟和生产情境不相同,生产情境数据库一旦出问题就也许是灭顶之灾,虽然上面介绍了数据校验和数据修复步骤,可是把问题拦截在发生之前是做服务稳定性最重大的工作。 因此我们提出了ABC验证的概念,灰度情境ABC验证预备: 详细灰度案例和数据源切换步骤: 整体数据迁移流程还是比较复杂的,时光也不是非常充裕(流程中还穿插着十一全链路压测改变),在有限的时光内集大家之力重复探讨发掘也许存在的问题,然后论证解决案例,不放过任何一个也许出现问题的环节,还是那句话,把问题拦截在发生之前是做服务稳定性最重大的工作。 流程中的细节还是非常多的,从数据迁移的预备工作到数据同步测试,从灰度步骤确定到正式生产切换,尤其是融合业务和数据的特色,有非常多需求考虑的细节,文中没有一一列出。 最终通过近两个月的紧张工作,无业务代码侵入、零事故、平稳地达成了扩分库分表和数据迁移的工作。
唯一小编 2021-03-01 阿里云服务器
腾讯云Terraform初始化 改进terraform到v0.13后,初始化terraform也许会出现以下问题 因素是terraform自v0.13后就交给provider自己维持了。解决案例: 1.应用命令查看自己版本 示例得到 +provider.tencentcloudv1.53.0 2.粘贴以下代码至terraform配置中,version采纳自己的tencentcloudterraform版本
唯一小编 2021-03-01 腾讯云服务器
阿里云无服务器高弹性的架构 在网络相关的业务中,高弹性是往往被提及的一个架构设计目的,前两个我就碰到一个用户需求我们帮助设计一个高弹性的架构以承载他们周期性暴增的业务压力,用户90%以上的业务压力都集合在业务高峰期,因此在设计这个架构之初,我和用户就在纠结,到底是采纳更了解的“堆”服务器的想法呢,还是采取更具弹性的容器化的案例呢?其实作为一个技术人员,在问这个难题的时候就已经有确定的答案了,最终我们设计出了这样的一个架构: 容器平台选择阿里云的ACK(阿里云容器服务Kubernetes版)。其中ACK分成专有版和托管版,区分是专有版的管控节点需求用户自行预备,而托管版应用阿里云的资源进行资源管控,在托管版中又分成标准版和Pro版,其中Pro版有确定的SLA保障,生产系统建议选择Pro版。同时为了保障worker节点的内容安全,建议为充当worker节点的ECS配置云安全中心服务进行主机安全防护。 除了ACK,阿里云还提供无服务器架构的ASK,区分是ACK有ECS服务器充当worker节点,创建POD所需的资源经过ECS进行安排,而ASK没有worker节点,ASK直接在阿里云的分享资源池中经过ECI(弹性容器节点)来安排资源创建POD。 在这个项目中为了担保永远有肯定量的稳定资源供给,我们决定应用ACK再融合阿里云的ECI来兑现资源的弹性供给。ECI资源的申请和释放可经过ACK的ack-virtual-node插件出自动达成,动态增加的POD将自动运行在ECI之上。 考虑到业务高峰期和平常存在庞大的应用量落差,选择应用按流量的方法购入手互联网带宽资源,并经过购入手分享流量包将一切的互联网流量进行集合抵扣。这个项目所用到的互联网流量主要有如下三个: 鉴于ECI节点上服务的启动需求肯定的时光,而业务流量也许瞬间到达峰值,因此经过MQ来缓冲瞬时的业务压力,为运行在ECI弹性资源上的服务争取启动时光。 阿里云MQ服务依据访问协议的不同分成RocketMQ、AMQP、Kafka三个系列,对于海量的业务交易场景建议选择通过双十一检验的RocketMQ系列,在RocketMQ系列中又分成一般版和公司铂金版两个版本,公司铂金版采纳独享硬件资源,能够更充分的保障峰值吞吐实力,对于瞬时业务峰值高的业务,建议尽也许选择铂金版。 数据库采纳云原生数据库PolarDB,PolarDB可以从2个节点扩容到16个节点,单节点可改进至88核710G规格,集群采纳分布式分享存储架构,单个集群可存储100TB的数据,有赖于其采纳分布式分享存储的架构,PolarDB集群增加节点时无需进行大量的数据拷贝,因此可以在分钟级达成集群的横向扩容。 我觉得这个架构对于大部分“腰部”级其他网络行业用户都是适用的,因此共享出来,盼望对大家有所协助。
唯一小编 2021-03-01 阿里云服务器
云专线和普通专线区别 云专线和普通专线区别,首先我们说一下云专线在定义和应用方 面的区别。 普通物理专线,是端口带宽资源被用户独占的物理专线,此种类型的物理专线由用户单独使用该物理线路,专线用户可以创建多个虚拟接口。 云专线(Direct Connect)用于搭建用户本地数据中心与云上VPC之间高速、低时延、稳定安全的专属连接通道。 传统专线主要应用于用户的局域网互联或快速浏览互联网。用户可以根据需要选择64Kbps- 2Mbps不等的速率。通过互联专线实现数据、语音、图像等业余的安全传输:实现各公司、部门间的资源交换和共享;通过拥有固定、独享的IP地址,视需要建立自己的Mail-Server. Web- Server等服务器,并可通过Internet组建公司内部的VNP业务。 云专线是连接客户局域网与行业云的专线网络,全程独立通道,能够不经互联网连接云主机,同时能保证高网速,对于银行、金融机构等高保密性要求的客户具有重要意义。 下面,我们在分别从开通时间、费用、弹性伸缩、稳定性等维度对他们之间的区别进行说明: 对比一下可以发现 , VPN是开通便捷,费用上比云专线要低很多,但是在公网的质量保障上不如专线,时延高,安全性不如云专线强。相对来说云专线低时延、服务质量稳定,但是在费用上就较高一些。而且在开通时间上,因为受限于物理专线的部署、运营商的线路资源的情况,所以部署时间要比VPN长。在这个情况下,一个量级, VPN如果双方都有internet资源的话,基本上是即开即用,双方配置好,协商起来就可以通信。但是云专线一般是将数据中心和公有云VPC对接,这个时候受限于物理链路,要运营商去核查资源,要去做物理线路的对接。这些正常情况下,就运营商的承诺。有诺的时间一般都是至少需要20个工作日。云专线线上的配置开通,现在一般也是天级,在拿到这种线路配置信息,且物理专线对接完以后,在一天内就可以完成这个线路配置打通的。 唯一网络是中国市场专业的云托管服务商( Cloud MSP ),在数据中心和云计算领域有近十年的专业交付和管理经验,目前正服务于2000多家企业级客户并与全球多家超大规模公有云服务商建立了战略合作关系。在云计算驱动产业变革的今天,安畅以客户需求为驱动,积极投资于核心技术研发和团队组织的云原生技能,致力于成为IT新生态和产业互联网的新-代连接器。 为客户提供”云+大数据+AI”的咨询、集成和管理服务,以及数字化解决方案,帮助客户利用新技术进行业务创新,实现数字化变革。
唯一小编 2021-02-19 专线