Hadoop入门之hdfs
大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之...
2024-01-10
Hadoop组成
Hadoop的组成，Hadoop的组成主要分为三个部分，分别为最著名的分布式文件系统（HDFS）、MapReduce框架、储存系统（HBase）等组件。HDFS：数据切割、制作副本、分散储存MapReduce:拆解任务、分散处理、汇整结果HBase:分布式储存系统 Hadoop是一个分布...
2024-01-10
hadoop完全分布式部署
一.实验环境准备 需要准备四台Linux操作系统的服务器，配置参数最好一样，由于我的虚拟机是之前伪分布式部署而来的，因此我的环境都一致，并且每天虚拟机默认都是Hadoop伪分布式哟！1>.NameNode服务器（172.20.20.228）2>.DataNode服务器（172.20.20.226-220） 二.修改Hadoop的配置文件 修改的配置文件...
2024-01-10
Hadoop入门MapRedu使用
上一篇文章我们大致了解了什么是 MapReduce，这一节我们将使用代码编程的方式实现 WordCount 案例，体验一下 MapReduce 到底是怎么回事。本章的完整代码分享在：https://github.com/renfei/demo/blob/master/hadoop/hadoop_api/src/main/java/net/renfei/hadoop/WordCountMapReduce.javaMapper类先新建一个 Mapper 类，我这里叫 WordCountMapper，代...
2024-01-10
Hadoop入门HDFS数据读写流程
上一篇我们已经可以通过编程的方式操作 HDFS 了，但这一切背后在Hadoop集群里发生了什么呢，本篇文章简单介绍一下 HDFS 的读写流程。数据写入流程客户端向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。NameNode 返回是否可以上传。客户端请求第一个 Block 上传到哪几个 ...
2024-01-10
Hadoop入门HDFS 分布式文件系统
HDFS是指 Hadoop Distributed File System，Hadoop分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS的特点任何事物都有优缺点，世界上没有完美的东西，大数据使用 Hadoop 并不是说它很完美，而是暂时没有找到比它...
2024-01-10
Php使用RabbitMQ入门小demo
1.首先需要安装PHP使用的RabbitMQ 包：php-amqplibcomposer require php-amqplib/php-amqplib php必须安装拓展：php_sockets，不然会报错：The requested PHP extension ext-sockets * is missing from your system. Install or enable PHP"s sockets extension.2.建立服务端和客户端：server.php<?php// +-------...
2024-01-10
hadoop3自学入门笔记(3)java操作hdfs
1.core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.3.61:9820</value> </property><property> <name>hadoop.tmp.dir</name> <value>/opt/hadoopdata</value> </property></configuration>2.pom...
2024-01-10
hadoop3自学入门笔记(2)——HDFS分布式搭建
一些介绍Hadoop 2和Hadoop 3的端口区别Hadoop 3 HDFS集群架构我的集群规划nameiprole61192.168.3.61namenode,datanode62192.168.3.62datanode63192.168.3.63secondnamenode64192.168.3.64datanode1.安装JDK利用FileZilla sftp功能进行上传到指定文件夹下/root/software,下图是配置sftp.解压使用命令tar -xvzf jdk-8u241-linux-x...
2024-01-10
hadoop3自学入门笔记(1)——虚拟机安装和网络配置
前言年过30惶惶不安，又逢疫情，还是不断学习，强化自己的能力。hadoop的视频和书籍在15年的时候就看过，但是一直没动手实践过，要知道技术不经过实战，一点提升也没有。因此下定决心边学边做，希望能有所收获。软件版本介绍virtualbox 6.1centos7 hadoop-3.2.1jdk-8u241-linux-x64xshellxftp虚拟机配置规...
2024-01-10
MongoDB 入门
本文并不是网上流传的多少天学会 MongoDB 那种全面的教程，而意在总结这几天使用 MongoDB 的心得，给出一个完整的在 Node + Express + MongoDB 搭配的项目中 MongoDB 操作实战教程。写博客的目的，一来是为了方便自己日后查阅某些语法，二来是本着学习和共享的精神，与大家探讨技术。MongoDB 简介Mongo DB 是目...
2024-01-10
Vue入门之HelloWorld
npm init -y安装Vuenpm install vueHelloWorld创建index.html<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title></head><body> <div > <h1>Hell...
2024-01-10
一文读懂Hadoop正确认识和理解
一.什么是hadoop？1.Hadoop是Apache旗下的一套开源软件平台，是用来分析和处理大数据的软件平台。2.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑， 对海量数据进行分布式处理。3.Hadoop的核心组件：由底层往上分别是 HDFS、Yarn、MapReduce。4.广义上来说，Hadoop通常指的是指一个更广泛的概...
2024-01-10
Java 信号量 Semaphore 入门介绍
一、简介二、概念 2.1、Semaphore信号量模型 2.2、Semaphore分为单值和多值两种，前者只能被一个线程获得，后者可以被若干个线程获得 2.3、公平/非公平模式 2.4、主要的方法三、Semaphore应用场景 示例-1：Semaphore可以做到一个deadlock recovery的示例 示例2-Semaphore限流一、简介 ...
2024-01-10
MongoDB语句入门(4)
创建数据库语法：use database_name;注意：如果该数据库不存在，则创建，如果该数据库存在，则是切换，如果创建了数据库，没有任何操作，则会自动删除该数据库。可以使用db命令查看当前所处的数据库查看数据库语法：show dbs;创建集合语法：db.集合名.insert({})该语法意思是向集合里面添加文...
2024-01-10
Hadoop谈谈你对Hadoop的正确认识和理解
一.什么是hadoop？1.Hadoop是Apache旗下的一套开源软件平台，是用来分析和处理大数据的软件平台。2.Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑， 对海量数据进行分布式处理。3.Hadoop的核心组件：由底层往上分别是 HDFS、Yarn、MapReduce。4.广义上来说，Hadoop通常指的是指一个更广泛的概...
2024-01-10
oauth2快速入门教程
一 快速启动1 在项目中加入相关的依赖需要 导入 易水公共组件 和 spring-security-oauth2-autoconfigure两个依赖<dependency> <groupId>org.springframework.security.oauth.boot</groupId> <artifactId>spring-security-oauth2-autoconfigure</artifactId> <version>2.2.0.RELEASE</version></depen...
2024-01-10
ipad照片功能(浏览/操作)入门教程
锐利震撼的屏幕，iPad可以让你以非凡的方式浏览照片。用手指可对照片进行缩小放大或幻灯片观看等操作。iPad在充电时还可当作一个数码相框来使用。iPad可以和电脑同步下载，也可下载邮件上的图片或者和相机连接直接下载图片。第一步：进入照片 图1 (查看原图)在主菜单中找到照片图标，用手指轻触图标便可以轻松浏览iPad当中的照片。第二步：浏览照片 图2 (查看原图)在首次进入iPad照片功...
2024-01-18
pgpoolII入门教程
欢迎阅读 pgpool-II 入门教程。从本教程中，你将学会如何安装，设置 pgpool-II 以及使用 pgpool-II 运行并行查询和复制。我们假设你已经知道PostgreSQL的基础操作，所以如果有必要，请先参考 PostgreSQL 的文档。 欢迎阅读 pgpool-II 入门教程。从本教程中...
2024-01-10
ipad备忘录入门教程(让它与你随身同行)
利用备忘录摘要记下任何事项和每项琐事，然后不论你到哪里去，它们都随身同行。 iPad 是如此轻巧纤薄，你可以把它带到会议中、讲座内甚至杂货店。 iPad 显示屏有足够宽敞的空间，让你记下各式备忘和工作清单。第一步：进入备忘录 图1 (查看原图)在主菜单中找到备忘录图标，用手指轻触图标便可以轻松进入备忘录功能。二步：查看备忘录和新建备忘录 图2 (查看原图)备忘录按上一次修改日期的顺序列...
2024-01-31
Sketchbook快速入门教程
老实说。当我们考虑自由绘图图像程序时，有两件事情会引起注意：这些免费的选项太基础，不太有用，专业级别的工具太贵了，太复杂，无法实现日常的使用（I我在看你，Photoshop和GIMP）。So，什么样的软件将是最适合你，如果你想自由绘制没有太多的复杂程度？One选项是一块免费软件，称为Sketchboo...
2024-01-10
hadoop源码_hdfs启动流程_3_心跳机制
hadoop在启动namenode和datanode之后，两者之间是如何联动了？datanode如何向namenode注册？如何汇报数据？namenode又如何向datanode发送命令？心跳机制基础概念 心跳就是HDFS中从节点DataNode周期性的向名字节点DataNode做汇报，汇报自己的健康情况、负载状况等，并从NameNode处领取命令在本节点执行，保证NameNod...
2024-01-10
NodeJS测试框架mocha入门教程
NodeJS里最常用的测试框架估计就是mocha了。它支持多种node的assert libs， 同时支持异步和同步的测试，同时支持多种方式导出结果，也支持直接在browser上跑Javascript代码测试。本文示例大多源于官网示例，部分示例结合需要或自己的感想有所改动。更多介绍请看 官方网址：Mocha on GithubInstallation：当你成...
2024-01-10
hadoop源码_hdfs启动流程_1_NameNode
执行start-dfs.sh脚本后，集群是如何启动的？本文阅读并注释了start-dfs脚本，以及namenode和datanode的启动主要流程流程源码。阅读源码前准备源码获取拉取Apache Hadoop官方源码https://github.com/apache/hadoop用idea打开...切换到想看的版本...这里用的最新版本3.3.1阅读目标 本篇的阅读目标是搞明白hado...
2024-01-10
pythonOpenCV入门教程
虽然python 很强大，而且也有自己的图像处理库PIL，但是相对于OpenCV 来讲，OpenCV更加强大， 可以做更多更复杂的应用，比如人脸识别等。跟很多开源软件一样OpenCV 也提供了完善的python 接口，非常便于调用,它包含了超过2500 个算法和函数，几乎任何一个能想到的成熟算法都可以通过调用OpenCV 的函数来实...
2024-01-10
