HIVE架构
UI: 用于提交查询的客户端,hive自带有CLI(command line),现在推荐使用beelineDRIVER: 1.用于接收客户端提交的SQL,并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能COMPILER: 编译器,负责解析SQL,并从METASTORE那里获取元数据生...
2024-01-10项目架构
对于一个新的项目,你准备怎么设计它?或者,对于一个新的需求,你准备怎么设计它?代码的组织结构,本身也是一种架构,比如MVC。在实际工作中,我们都喜欢对代码进行分层,比如,将代码分成了如下几个部分,controller面向具体业务提供服务;service也提供功能的实现,但不针对业务;mapper主要...
2024-01-10永辉彩食鲜架构概述
背景满足整个永辉彩食鲜大B业务从线上到供应链的全线业务系统的研发和维护,保证整个系统的稳定性和性能。架构思考大B业务不同于小B业务,它没有常见的业务高并发的场景,所以更多是对业务数据的一致性(业务数据基本都跟财务相关),系统的稳定性和常规故障自动恢复能力有更高期盼和要...
2024-01-10HDFS架构
HDFS架构(Master-Slave)几个进程的角色nameNode(master):用于保存、管理、持久化文件的元数据(文件名、文件副本数、文件块大小、文件块列表),同时还要接收客户端的文件读写请求。secondaryNameNode:用于实时同步文件元数据,给nameNode服务做副本,担当高可用备份,nameNode处于正常状态时secondaryN...
2024-01-10MySQL架构
执行流程简介主要分为server层和存储引擎层。server层主要分为:连接器、解析器、优化器、执行器、查询缓存连接器:主要作用就是用户认证、给用户创建连接并使用连接池维护连接。查询缓存:建立连接之后,就可以进行SQL操作了,如果该SQL语句在查询缓存中可以匹配到,则不需要找后面的模...
2024-01-10架构基本概念和架构本质
CSDN看到一篇介绍架构设计的博客,内容提纲挈领,内容丰富。依据原文整理,加上自己的理解和总结。 推荐给大家。点击原文可以查看出处。原文链接:https://blog.csdn.net/hguisu/article/details/78258430什么是架构和架构本质在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。此君说...
2024-01-10REST架构指导方案
REST架构指导方案[TOC]何为REST在2014年之后,社区中关于RESTFUL风格的文章开始渐渐多起,大多数RESTFUL的文章都是在阐述一种HTTP URL路径的写法风格。简单总结来说,这些文章归纳的点主要是:URL路径应该是名词而非动词。通过HTTP几个动词:GET,POST,PUT,DELETE来对“资源”进行CURD操作。但是为何要是名...
2024-01-10前端架构认知
没有一种架构是可以满足所有迭代的需求的前言架构并不是只限于技术选型是架构设计作为软件生命周期的一部分,并不是说开始的时候 设计完成后就会一成不变,软件的生命周期包含了迭代、维护、重构等过程,架构设计亦是如此,所以说架构是需要变化的,目的就是适应当前情况的开发场景...
2024-01-10大咖们如何评判优秀架构师?
成为一名优秀的架构师是很多开发者的梦想,但对很多人来说却欠缺一条可供参考的实现路径。「云+社区沙龙online」邀请到腾讯云云服务器副总经理李力、贝壳金服小微企业生态CTO&腾讯云最具价值专家(TVP)史海峰、奈学教育科技创始人&CEO&腾讯云最具价值专家(TVP)孙玄三位大咖,针对架构技术,...
2024-01-10架构师之路(五)之InnoDB架构
MySQL简要架构是怎么样的?MySQL整体分为三层:(1)客户端,是各种编程语言的connector;(2)MySQL服务,内部包含各种组件,实现各种功能;(3)文件系统,数据存储与日志; 其中,MySQL服务内,可以以插件的形式,实现各种存储引擎。 在InnoDB,MyISAM,Memory…等各种存储引擎中,InnoDB是使...
2024-01-10干货分享:架构师的内功心法
除此之外,我也回顾了自己走过的路、使用或尝试过的技术,以及我从那些五花八门的工作中学到的东西。image软件架构师是什么?在进行深层次的探讨之前,我们先来看两个定义:软件架构师是指那些制定高级设计决策,并确定技术标准(包括软件编程标准、工具和平台)的软件专家。这之中的首席...
2024-01-10硬核干货:一位菜鸟码农的架构师“封神”之路!
几年前有人问我:你是怎么成为一名软件架构师的?我们就此探讨了必备技能、经验,以及储备相关知识所需的时间和精力。除此之外,我也回顾了自己走过的路、使用或尝试过的技术,以及我从那些五花八门的工作中学到的东西。软件架构师是什么?在进行深层次的探讨之前,我们先来看两个定义:...
2024-01-10资深架构师(总监级别)
职位描述:岗位职责:1.负责组织对网级客户服务平台、云平台等业务进行大数据分析和价值挖掘工作;2.负责组织对互联网、科技金融等延伸产业提供数据服务;3.进行营销前沿技术研究,利用数据挖掘技术、人工智能、区块链技术开发数据分析服务,并开发相关信息化产品;4.开展能源领域数字...
2024-01-10架构师之路(九)之Hystrix介绍
Hystrix是什么在分布式环境中,许多服务依赖项中的一些必然会失败。Hystrix是一个库,通过添加延迟容忍和容错逻辑,帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点、停止级联失败和提供回退选项来实现这一点,所有这些都可以提高系统的整体弹性。Hystrix为了什么Hystrix...
2024-01-10成为架构师的7个关键思考、习惯和经验
本文作者秦迪,微博平台及大数据技术专家,13 年加入微博,负责微博平台通讯系统的设计和研发、微博平台基础工具的开发和维护,并负责微博平台的架构改进工作,在工作中擅长排查复杂系统的各类疑难杂症。原文来自微信公众号:聊聊架构(ID: archtime)工作了挺久,发现有个挺有意思的现象,...
2024-01-10【赵强老师】MySQL高可用架构:MHA
MHA(Master HA)是一款开源的 MySQL 的高可用程序,它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时,会提升其中拥有最新数据的 slave 节点成为新的master 节点,在此期间,MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线...
2024-01-10架构师之路(七)之JAVA正则简介
正则表达式可以用来搜索、编辑或处理文本。正则表达式并不仅限于某一种语言,但是在每种语言中有细微的差别。正则表达式实例一个字符串其实就是一个简单的正则表达式,例如 Hello World 正则表达式匹配 "Hello World" 字符串。.(点号)也是一个正则表达式,它匹配任何一个字符如:"a" 或 "1"。...
2024-01-10T24银行核心业务系统:软件架构T24系统演进总结
前言T24产品简介T24 core bank system是瑞士TEMENOS公司银行核心系统产品,可为银行提供各种业务服务。包括核心和业务两大内容,核心系统用于支持账户、会计、清算、总账、客户等银行基础服务;业务系统包含货币市场、贸易融资、金融市场、银团贷款、转帐汇款、保函/保理、信用证等功能。软件架...
2024-01-10【架构师成长】理清技术、业务和架构的关系
某天和朋友吃饭正好聊到这个话题。作为架构师或者做技术的人,在开发软件时,我们基本上就是在扮演上帝的角色:我们不但要创建出一个个的程序,还要让这些程序能够脱离我们在硬件上独立运行,以便为这个程序所服务的群体提供服务。当这个程序出现问题甚至bug的时候,我们还得扮演牧师的角...
2024-01-10互联网架构
由于技术的不断变化以及所提供服务的性质,Internet的架构在不断变化。Internet的异构性和广泛性使得难以描述其体系结构的各个方面。整体架构可以分为三个层次-骨干ISP(Internet服务提供商)区域性ISP客户群下图显示了三个级别-骨干ISP(Internet服务提供商)-骨干ISP是大型的国际骨干网络。它们配备有...
2024-01-10浅谈Web网站架构演变过程
前言我们以javaweb为例,来搭建一个简单的电商系统,看看这个系统可以如何一步步演变。该系统具备的功能:用户模块:用户注册和管理商品模块:商品展示和管理交易模块:创建交易和管理阶段一、单机构建网站网站的初期,我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个...
2024-01-10两种视频直播网站开发的架构
1.普通的直播架构相比其他的直播架构,这一架构可以说是非常简单的一种了。利用已有的CDN,然后再搭建一个信令服务器,就可以将服务层搭建完毕了。之后用户可以先向信令服务器发送指令,然后通过相机或摄像头采集音视频数据,经编码后通过RTMP协议将音视频流推送到CDN。接收端服务器发送指...
2024-01-10以太坊网络架构解析
作者:0x7F@知道创宇404区块链安全研究团队时间:2018年7月12日0x00 前言区块链的火热程度一直以直线上升,其中以区块链 2.0 —— 以太坊为代表,不断的为传统行业带来革新,同时也推动区块链技术发展。区块链是一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式...
2024-01-10【JS】从云网络时延看应用部署架构
首页专栏javascript文章详情0从云网络时延看应用部署架构阿里云云栖号发布于 今天 03:15 在引出云网络时延这看起来比较专业的话题前,先看几个比较有意思的问题。人的最快反应速度是多少毫秒?机器人最快反应速度是多少毫秒?这样能在介绍云网络时延时让大家有一个时间量级上的感知。...
2024-01-10MySQL的基本架构示意图
MySQL 的基本架构示意图MySQL 可以分为 Server 层和存储引擎层两部分。serverServer 层包括连接器、查询缓存、分析器、优化器、执行器等,涵盖 MySQL 的大多数核 心服务功能,以及所有的内置函数(如日期、时间、数学和加密函数等),所有跨存储引 擎的功能都在这一层实现,比如存储过程、触发器、视图...
2024-01-10