Spark3 - ListenerBus 消息总线源码解读
介绍 Spark 中消息总线的实现,包括 ListenerBus、Listener 以及 LiveListenerBus 是如何串联消息投递的整个过程。
Spark Broadcast 的实现,c,,
本篇文章介绍了 Spark 广播变量的相关源码,包括 BroadcastManager 的创建,Driver 端广播变量的创建以及对广播变量值的访问。
SparkSql 重写 FileCommitter 解决多任务并发写同目录问题
关于多个 SparkSql 作业写同个目录的问题
Posted on Mon, Nov 29, 2021
Spark
Yarn Lable 实践
关于 Yarn Label 的一次调研
Lambda 表达式引用外部变量的限制
Lambda 表达式引用外部变量的限制及原因
Posted on Sat, Nov 27, 2021
Java
Spark3 - RDD 源码解读
解读 Spark 3.0.3 的 RDD 源码
DirectMemory 的回收与 PhantomReference
DirectMemory 的回收及利用 PhantonReference 实现回收的方式
Posted on Sun, Aug 15, 2021
Java
记一次SparkStreaming作业由于Kerberos过期导致卡死
记一次 cdh 版本的 Spark + Kerberos 的坑。
ClickHouse 编译
ClickHouse的相关编译步骤。
NUMA 架构
个人对 NUMA 架构的一些理解。
Posted on Sun, Feb 21, 2021
Linux
CPU 中的伪共享
大略讲解了 CPU 中的伪共享,及在 Java 中的解决方案。
Posted on Sat, Sep 26, 2020
Java
Idea+Maven+Git搭建Spark源码阅读环境
本篇文章记录了 Idea 如何编译并阅读 Spark 源码的过程。