Rianico‘s Blog

日拱一卒,不期速成

Spark3 - ListenerBus 消息总线源码解读

介绍 Spark 中消息总线的实现,包括 ListenerBus、Listener 以及 LiveListenerBus 是如何串联消息投递的整个过程。

Posted on Thu, Dec 30, 2021 Spark 源码 Scala

Spark Broadcast 的实现,c,,

本篇文章介绍了 Spark 广播变量的相关源码,包括 BroadcastManager 的创建,Driver 端广播变量的创建以及对广播变量值的访问。

Posted on Sun, Dec 26, 2021 Spark 源码 Scala

SparkSql 重写 FileCommitter 解决多任务并发写同目录问题

关于多个 SparkSql 作业写同个目录的问题

Posted on Mon, Nov 29, 2021 Spark

Yarn Lable 实践

关于 Yarn Label 的一次调研

Posted on Sun, Nov 28, 2021 Hadoop Yarn

Lambda 表达式引用外部变量的限制

Lambda 表达式引用外部变量的限制及原因

Posted on Sat, Nov 27, 2021 Java

Spark3 - RDD 源码解读

解读 Spark 3.0.3 的 RDD 源码

Posted on Sat, Aug 21, 2021 Spark3.0.3 源码 Scala

DirectMemory 的回收与 PhantomReference

DirectMemory 的回收及利用 PhantonReference 实现回收的方式

Posted on Sun, Aug 15, 2021 Java

记一次SparkStreaming作业由于Kerberos过期导致卡死

记一次 cdh 版本的 Spark + Kerberos 的坑。

Posted on Tue, Jun 1, 2021 Spark Kerberos

ClickHouse 编译

ClickHouse的相关编译步骤。

Posted on Thu, May 13, 2021 Linux ClickHouse

NUMA 架构

个人对 NUMA 架构的一些理解。

Posted on Sun, Feb 21, 2021 Linux

CPU 中的伪共享

大略讲解了 CPU 中的伪共享,及在 Java 中的解决方案。

Posted on Sat, Sep 26, 2020 Java

Idea+Maven+Git搭建Spark源码阅读环境

本篇文章记录了 Idea 如何编译并阅读 Spark 源码的过程。

Posted on Wed, Sep 11, 2019 Spark Idea Maven