Spark内存管理
1、spark的一大特性就是基于内存计算，Driver只保存任务的宏观性的元数据，数据量较小，且在执行过程中基本不变，不做重点分析，而真正的计算任务Task分布在各个Executor中，其中的内存数据量大，且会随着计算的进行会发生实时变化，所以Executor的内存管理才分析的重点。2、在执行Spark应用程序时...
2024-01-10
初识Spark入门
1. Spark简介2009年，Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目，代码量非常少，属于轻量级的框架。2010年，伯克利大学正式开源了Spark项目。2013年6月，Spark成为了Apache基金会下的项目，进入高速发展期。第三方开发者贡献了大量的代码，活跃度非常高2014年2月，Spark以飞快...
2024-01-10
Spark调优指南
Spark相关问题Spark比MR快的原因？1) Spark的计算结果可以放入内存，支持基于内存的迭代，MR不支持。2) Spark有DAG有向无环图，可以实现pipeline的计算模式。3) 资源调度模式：Spark粗粒度资源调度，MR是细粒度资源调度。资源复用：Spark中的task可以复用同一批Executor的资源。MR里面每一个map task对应一...
2024-01-10
Spark组件间通信
1、Spark组件之间使用RPC机制进行通信。RPC的客户端在本地编写并调用业务接口，接口在本地通过RPC框架的动态代理机制生成一个对应的实现类，在这个实现类中完成soket通信、远程调用等功能的逻辑包装，而在RPC的服务端既编写业务接口也编写了具体的业务实现类，通过RPC框架以接口的方式暴露出来，...
2024-01-10
Spark单机环境配置
概要Spark 单机环境配置JDK 环境配置Spark 环境配置python 环境配置Spark 使用示例示例代码 (order_stat.py)测试用的 csv 文件内容 (orders.csv)运行结果概要大数据和人工智能已经宣传了好多年, Hadoop 和 Spark 也已经发布了很长时间, 一直想试试, 但是工作也遇不到使用的场景, 就一直拖着. 这次在极客时...
2024-01-10
Spark基础和RDD
spark1. Spark的四大特性速度快spark比mapreduce快的两个原因基于内存1. mapreduce任务后期在计算的是时候，每一个job的输出结果都会落地到磁盘，后续有其他的job要依赖于前面job的输出结果，这个时候就需要进行大量的磁盘io操作，性能较低2. spark任务后期在进行计算的时候，job的结果是可以保存在...
2024-01-10
Spark基本架构概念
基本组成Spark是一个分布式系统，也是集多个功能模块于一身的统一平台。它基于一个内核模块衍生出机器学习，实时流计算，OLAP，和图数据处理等模块，如图1-1-1所示。本书主要介绍Spark内核模块的实现原理。图1-1-1 spark功能模块从图1-1-1中可以看出Spark内核模块是基础层，它是所有上层功能...
2024-01-10
Spark的安装及其配置
1.Spark下载 https://archive.apache.org/dist/spark/ 2.上传解压，配置环境变量 配置bin目录解压：tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /usr/local/soft/改名：mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5配置环境变量：vim /etc/profile添加环境变量：export SPARK_HOME=/usr/local/soft/spark-2.4.5expor...
2024-01-10Spark调度架构原理详解
1.启动spark集群，就是执行sbin/start-all.sh,启动master和多个worker节点，master主要作为集群的管理和监控，worker节点主要担任运行各个application的任务。master节点需要让worker节点汇报自身状况，比如CPU,内存多大，这个过程都是通过心跳机制来完成的2.master收到worker的汇报信息之后，会给予worker信息3.driver提...
2024-01-10
一条Sql的Spark之旅
背景 SQL作为一门标准的、通用的、简单的DSL，在大数据分析中有着越来越重要的地位;Spark在批处理引擎领域当前也是处于绝对的地位，而Spark2.0中的SparkSQL也支持ANSI-SQL 2003标准。因此SparkSQL在大数据分析中的地位不言而喻。本文将通过分析一条SQL在Spark中的解析执行过程来梳理SparkSQL执行的一个流程...
2024-01-10
Spark-Java-算子
package scala.spark.Day3;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.api.java.function.VoidFunction;...
2024-01-10基于Spark实现随机森林代码
本文实例为大家分享了基于Spark实现随机森林的具体代码，供大家参考，具体内容如下public class RandomForestClassficationTest extends TestCase implements Serializable{ /** * */ private static final long serialVersionUID = 7802523720751354318L; class PredictResult implements Serializable{ ...
2024-01-10Spark随机森林实现票房预测
前言最近一段时间都在处理电影领域的数据, 而电影票房预测是电影领域数据建模中的一个重要模块, 所以我们针对电影数据做了票房预测建模.前期工作一开始的做法是将这个问题看待成回归的问题, 采用GBDT回归树去做. 训练了不同残差的回归树, 然后做集成学习. 考虑的影响因子分别有电影的类型, ...
2024-01-10Spark未使用所有已配置的内存
使用Spark-2.1.0-SNAPSHOT在10个节点群集上以独立客户端模式启动spark。 9个节点是工人，10个是主人和司机。每个256GB的内存。 我很难完全利用我的群集。Spark未使用所有已配置的内存我用下面的参数，为执行人内存限制和驱动程序设置多达200GB火花外壳：spark-shell --executor-memory 200g --driver-memory 200g --conf spar...
2024-01-10Spark Row转换为JSON
我想从Spark v.1.6（使用scala）数据帧创建JSON。我知道这样做很简单df.toJSON。但是，我的问题看起来有些不同。例如，考虑具有以下列的数据框：| A | B | C1 | C2 | C3 |-------------------------------------------| 1 | test | ab | 22 | TRUE || 2 | mytest | gh | 17 | FALSE |我想...
2024-01-10
Spark性能优化指南——初级篇
原文来我的公众号：Spark性能优化指南——初级篇一. Spark作业原理我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。该进程是向集群管理器（Yarn,K8s）申请运行Spark作业需要使用的资源，这里的资源指的就是Executor进程。YARN集群管理器会根据我们为Spark作业设置的资源...
2024-01-10如何设置Spark执行器的数量？
如何从Java（或Scala）代码中配置具有SparkConfig和的执行器数量SparkContext？我经常看到2个执行者。看起来像是spark.default.parallelism行不通的，并且是与众不同的。我只需要将执行程序的数量设置为等于集群大小，但是总是只有2个。我知道我的集群大小。如果这很重要，我会在YARN上运行。回答：好的，我...
2024-01-10
Spark SQL配置及使用教程
目录SparkSQL版本： SparkSQL DSL语法 SparkSQL和Hive的集成Spark应用依赖第三方jar包文件解决方案 SparkSQL的ThriftServer服务SparkSQL的ThriftServer服务测试Spark中beeline的使用通过jdbc来访问spark的ThriftServer接口SparkSQL案例案例一：SparkSQL读取HDFS上Json格式的文件案例二：DataFrame和Dataset和RDD之间的互相转换SparkSQL...
2024-01-10无法在Spark中配置ORC属性
我正在使用Spark 1.6（Cloudera 5.8.2），并尝试了以下方法来配置ORC属性。但这不会影响输出。以下是我尝试过的代码段。 DataFrame dataframe = hiveContext.createDataFrame(rowData, schema);dataframe.write().format("orc").options(new HashMap(){ { put("orc.compress","S...
2024-01-10Spark SQL中按日期分组聚合
我有一个包含时间戳名为RDD 长整型：root |-- id: string (nullable = true) |-- value1: string (nullable = true) |-- value2: string (nullable = true) |-- time: long (nullable = true) |-- type: string (nullable = true)我正在尝试按值1，值2和时间分组为YYYY-MM-DD。我尝试按演员分组（时间为日期），但随后出现以下错误：Exc...
2024-01-10在Spark Scala中处理微秒
我使用Scala将PostgreSQL表导入到spark作为数据框。数据框看起来像user_id | log_dt --------| ------- 96 | 2004-10-19 10:23:54.0 1020 | 2017-01-12 12:12:14.931652我正在将此数据帧转换为log_dt的数据格式为yyyy-MM-ddhh:mm:ss.SSSSSS。为此，我使用了以下代码，使用unix_timestamp函数将log_dt转换为时间戳格式。 val tabl...
2024-01-10
Spark-Sql入门程序示例详解
SparkSQL运行架构Spark SQL对SQL语句的处理，首先会将SQL语句进行解析（Parse），然后形成一个Tree，在后续的如绑定、优化等处理过程都是对Tree的操作，而操作的方法是采用Rule，通过模式匹配，对不同类型的节点采用不同的操作。spark-sql是用来处理结构化数据的模块，是入门spark的首要模块。技术的学习...
2024-01-10
Spark 跑 java 示例代码
一、下载示例代码：git clone https://github.com/melphi/spark-examples.git从示例代码中可以看到 pox中引入了 Spark开发所需要的依赖。二、把代码导入 IDEIDE应该会识别这是 Maven项目，在IDE中打包：打包后，在项目根目录中，target文件夹内会生成文件 first-example-1.0-SNAPSHOT.jar运行该程序命令为：bin/spark-submit --c...
2024-01-10
Spark优化之小文件是否需要合并?
我们知道，大部分Spark计算都是在内存中完成的，所以Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。Spark的性能，想要它快，就得充分利用好系统资源，尤其是内存和CPU。有时候我们也需要做一些优化调整来减少内存占用，例如将小文件进行合并的操作。一、问题...
2024-01-10Spark自定义累加器的使用实例详解
累加器（accumulator）是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。累加器简单使用Spark内置的提供了Long和Double类型的累加器。下面是一个简单的使用示例，在这个例子中我们...
2024-01-10
