文章目录 1. 缓存和checkpoint机制1.1 缓存使用1.2 checkpoint1.3 缓存和checkpoint的区别 2. 数据共享2.1 广播变量2.2 累加器 3. RDD依赖关系4.shuffle过程4.1 shuffle介绍4.2 spark计算要尽量避免shuffle 5. 并行度 1. 缓存和checkpoint机制 缓存和checkpoint也叫作rdd的持…

文章目录 现在部署的CentOS7服务器默认的地址都不通了，替换为阿里云的镜像源，记录一下一件替换和安装 Linux 工具 阿里镜像官方地址http://mirrors.aliyun.com/ # 备份文件 cd /etc/yum.repos.d/ && mkdir backup mv CentOS-* backup/# 下载源…

python: import numpy as np import cv2 import serial import time# 将128*64的二值化图像转换为OLED数组格式 def img2array(frame):array np.zeros((8, 129), dtypeuint8)for j in range(64):for i in range(128):if frame[j][i] > 0:array[j // 8][i] (array[j // 8]…

Git 的多分支管理是指在同一个仓库中创建和管理多个分支，每个分支可以独立开发，互不干扰。分支是 Git 中的一种强大功能，允许开发人员同时在多个不同的功能、修复或实验上工作，而不会影响主分支或其他分支。通过多分支管理&#x…

17.对象 1、对象：⽤来存储多个数据的 是由多个键值对/key value对组成的 ⽤来描述⼀个事物的 相当于多个变量的集合 2、格式 ：{key:value,key:value} 键/值对 属性名：属性值 3、对象的属性值是不限制数据类型的，甚至还可以是对…

个人简介：我是哪吒 全栈架构师Java | 微服务集群方向 一个人可能走得更快，但一群人一定会走得更远 队列 PriorityBlockingQueue不会阻塞数据⽣产者（因为队列是⽆界的），⽽只会在没 有可消费的数据时，阻塞数据…

文章目录 一、在命令行使用二、修改配置文件 pip.ini 一、在命令行使用 1、普通安装 pip install package pip install opencv-python2、使用清华源进行安装（暂时） pip install -i https://pypi.tuna.tsinghua.edu.cn/simple package pip install -i …

实时计算Flink应用场景 Flink是一个开源的流处理和批处理框架，具有低延迟、高吞吐、容错性强等特点，适用于大规模的实时数据处理和分析。它能够处理包括事件流、日志、传感器数据等各种类型的数据，因此在多个行业和领域有着广泛的应用。以下…