HIVE架构
UI： 用于提交查询的客户端，hive自带有CLI(command line)，现在推荐使用beelineDRIVER： 1.用于接收客户端提交的SQL，并实现了session控制 2.并提供了jdbc/odbc的fetch和execute功能COMPILER： 编译器，负责解析SQL，并从METASTORE那里获取元数据生...
2024-01-10
永辉彩食鲜架构概述
背景满足整个永辉彩食鲜大B业务从线上到供应链的全线业务系统的研发和维护,保证整个系统的稳定性和性能。架构思考大B业务不同于小B业务，它没有常见的业务高并发的场景，所以更多是对业务数据的一致性（业务数据基本都跟财务相关），系统的稳定性和常规故障自动恢复能力有更高期盼和要...
2024-01-10
透视不同的架构思维，赏析架构之美
什么是系统架构(Architecture)系统架构（System Architecture），软件架构（Soft Architecture）是 IT 领域常见的名词，架构设计是软件系统构建过程中极其关键的一部分。系统架构为什么重要？常见的架构模式都有哪些？跟着 【码哥字节】了解不同的架构设计所运用的不同设计哲学。一起来看下常见的架构模式...
2024-01-10
运维基础
学习笔记 目录前言 运维人员的核心职责：... 1第一章服务器硬件与组成原理... 1服务器... 11．服务器的分类：... 12．服务器的组成：... 21）电源：... 22）cpu. 23）内存... 24）磁盘... 35）RAID卡（阵列卡）.. 36）远程管理卡：.. 3第二章 LINUX系统介绍与环境搭建... 41．LINUX的起源与发展... 42．下...
2024-01-10
千篇访谈｜何翰橙：智能运维正当其时
随着互联网的发展，新技术新领域层出不穷。中国IT行业已经进入高速发展的阶段，互联网越来越深入地影响着人们生活的各个方面，万物互联的时代已悄然来临。在此背景下，IT技术服务市场需求空缺会越来越大，岗位技术要求也会越来越精细，因此对IT行业人才的需求也是不断加大的，尤其是未来...
2024-01-10
saltstack高效运维
salt介绍saltstack是由thomas Hatch于2011年创建的一个开源项目，设计初衷是为了实现一个快速的远程执行系统。salt强大吗系统管理员日常会进行大量的重复性操作，例如安装软件，修改配置文件，创建用户，批量执行命令等等。如果主机数量庞大，单靠人工维护实在让人难以忍受。 早期运维人员会...
2024-01-10
项目架构
对于一个新的项目，你准备怎么设计它？或者，对于一个新的需求，你准备怎么设计它？代码的组织结构，本身也是一种架构，比如MVC。在实际工作中，我们都喜欢对代码进行分层，比如，将代码分成了如下几个部分，controller面向具体业务提供服务；service也提供功能的实现，但不针对业务；mapper主要...
2024-01-10
MySQL架构
执行流程简介主要分为server层和存储引擎层。server层主要分为：连接器、解析器、优化器、执行器、查询缓存连接器：主要作用就是用户认证、给用户创建连接并使用连接池维护连接。查询缓存：建立连接之后，就可以进行SQL操作了，如果该SQL语句在查询缓存中可以匹配到，则不需要找后面的模...
2024-01-10
HDFS架构
HDFS架构（Master-Slave）几个进程的角色nameNode（master）：用于保存、管理、持久化文件的元数据（文件名、文件副本数、文件块大小、文件块列表），同时还要接收客户端的文件读写请求。secondaryNameNode：用于实时同步文件元数据，给nameNode服务做副本，担当高可用备份，nameNode处于正常状态时secondaryN...
2024-01-10
REST架构指导方案
REST架构指导方案[TOC]何为REST在2014年之后，社区中关于RESTFUL风格的文章开始渐渐多起，大多数RESTFUL的文章都是在阐述一种HTTP URL路径的写法风格。简单总结来说，这些文章归纳的点主要是：URL路径应该是名词而非动词。通过HTTP几个动词：GET,POST,PUT,DELETE来对“资源”进行CURD操作。但是为何要是名...
2024-01-10
前端架构认知
没有一种架构是可以满足所有迭代的需求的前言架构并不是只限于技术选型是架构设计作为软件生命周期的一部分，并不是说开始的时候 设计完成后就会一成不变，软件的生命周期包含了迭代、维护、重构等过程，架构设计亦是如此，所以说架构是需要变化的，目的就是适应当前情况的开发场景...
2024-01-10
架构基本概念和架构本质
CSDN看到一篇介绍架构设计的博客，内容提纲挈领，内容丰富。依据原文整理，加上自己的理解和总结。 推荐给大家。点击原文可以查看出处。原文链接：https://blog.csdn.net/hguisu/article/details/78258430什么是架构和架构本质在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。此君说...
2024-01-10
大咖们如何评判优秀架构师？
成为一名优秀的架构师是很多开发者的梦想，但对很多人来说却欠缺一条可供参考的实现路径。「云+社区沙龙online」邀请到腾讯云云服务器副总经理李力、贝壳金服小微企业生态CTO&腾讯云最具价值专家（TVP）史海峰、奈学教育科技创始人&CEO&腾讯云最具价值专家（TVP）孙玄三位大咖，针对架构技术，...
2024-01-10
架构师之路(五)之InnoDB架构
MySQL简要架构是怎么样的？MySQL整体分为三层：（1）客户端，是各种编程语言的connector；（2）MySQL服务，内部包含各种组件，实现各种功能；（3）文件系统，数据存储与日志； 其中，MySQL服务内，可以以插件的形式，实现各种存储引擎。 在InnoDB，MyISAM，Memory…等各种存储引擎中，InnoDB是使...
2024-01-10
干货分享：架构师的内功心法
除此之外，我也回顾了自己走过的路、使用或尝试过的技术，以及我从那些五花八门的工作中学到的东西。image软件架构师是什么?在进行深层次的探讨之前，我们先来看两个定义：软件架构师是指那些制定高级设计决策，并确定技术标准(包括软件编程标准、工具和平台)的软件专家。这之中的首席...
2024-01-10
硬核干货：一位菜鸟码农的架构师“封神”之路!
几年前有人问我：你是怎么成为一名软件架构师的?我们就此探讨了必备技能、经验，以及储备相关知识所需的时间和精力。除此之外，我也回顾了自己走过的路、使用或尝试过的技术，以及我从那些五花八门的工作中学到的东西。软件架构师是什么?在进行深层次的探讨之前，我们先来看两个定义：...
2024-01-10
资深架构师（总监级别）
职位描述：岗位职责：1.负责组织对网级客户服务平台、云平台等业务进行大数据分析和价值挖掘工作；2.负责组织对互联网、科技金融等延伸产业提供数据服务；3.进行营销前沿技术研究，利用数据挖掘技术、人工智能、区块链技术开发数据分析服务，并开发相关信息化产品；4.开展能源领域数字...
2024-01-10
架构师之路(九)之Hystrix介绍
Hystrix是什么在分布式环境中，许多服务依赖项中的一些必然会失败。Hystrix是一个库，通过添加延迟容忍和容错逻辑，帮助你控制这些分布式服务之间的交互。Hystrix通过隔离服务之间的访问点、停止级联失败和提供回退选项来实现这一点，所有这些都可以提高系统的整体弹性。Hystrix为了什么Hystrix...
2024-01-10
成为架构师的7个关键思考、习惯和经验
本文作者秦迪，微博平台及大数据技术专家，13 年加入微博，负责微博平台通讯系统的设计和研发、微博平台基础工具的开发和维护，并负责微博平台的架构改进工作，在工作中擅长排查复杂系统的各类疑难杂症。原文来自微信公众号：聊聊架构（ID： archtime）工作了挺久，发现有个挺有意思的现象，...
2024-01-10
【赵强老师】MySQL高可用架构：MHA
MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线...
2024-01-10
架构师之路(七)之JAVA正则简介
正则表达式可以用来搜索、编辑或处理文本。正则表达式并不仅限于某一种语言，但是在每种语言中有细微的差别。正则表达式实例一个字符串其实就是一个简单的正则表达式，例如 Hello World 正则表达式匹配 "Hello World" 字符串。.（点号）也是一个正则表达式，它匹配任何一个字符如："a" 或 "1"。...
2024-01-10
API开发/运维经验1
对于维护API的经验，推荐《软件框架设计的艺术》这本书，无论是webService还是Rest还是其他什么，都很有帮助。不过这书在概念上还是离平时工作太远，知识很精华，但和我的实际工作并不接轨，所以逐渐萌生“把我自己开发/运维API的一些经验整理出来，写一篇大的博文”这样的想法不过最近又忙...
2024-01-10
这款牛逼的开源安全工具让我这个运维也变成“安全专家”
本文来自用户水妖投稿背景我是一家互联网公司的 DevOps 工程师，平常负责公司服务的上线发布流程。我和墨菲安全的这款开源的漏洞检测工具结缘，主要是因为前段时间log4j2 的漏洞，最近我们公司的研发频繁的上线基本上都是修复 log4j2 的漏洞，我被他们整烦了。就找他们研发的负责人讨论是不是能...
2024-01-10
安全运维之文件系统保护
在Linux系统中，如果一个进程以root权限运行或者一个用户以root用户身份登录，那么它的权限就不再有任何限制，因此如果一旦root权限被黑客掌握，对于系统来说将会是一场灾难，在这种情况下，文件系统保护将会成为系统的最后一道防线，合理的设置文件系统保护可以最大限度的降低攻击对系统造成...
2024-01-10
安全运维之账户安全与服务
账户安全是系统安全的第一道防线，通过删除不必要的用户以及对登录进行加密与限制，可以避免因权限泄露与中间人攻击导致的安全隐患。删除不必要的用户在linux系统安装过程中，系统会建立一些不必要的用户与用户组，这些用户与用户组会成为黑客攻击的目标，删除它们可以有利于系统的安全...
2024-01-10
安全运维之远程访问
为了方便使用，一般服务器都会通过配置远程访问来保证随时配置服务器，但是不正确的远程访问配置会对系统产生安全隐患，产生被入侵的风险。使用安全的登录认证方式现代服务器环境往往需要用户远程登录，而远程登录本身就具有一定的安全风险————中间人攻击。在早期，telnet是一种常用...
2024-01-10
