Rianico‘s Blog

介绍 Spark 中消息总线的实现，包括 ListenerBus、Listener 以及 LiveListenerBus 是如何串联消息投递的整个过程。

Posted on Thu, Dec 30, 2021 Spark 源码 Scala

本篇文章介绍了 Spark 广播变量的相关源码，包括 BroadcastManager 的创建，Driver 端广播变量的创建以及对广播变量值的访问。

Posted on Sun, Dec 26, 2021 Spark 源码 Scala

关于多个 SparkSql 作业写同个目录的问题

Posted on Mon, Nov 29, 2021 Spark

关于 Yarn Label 的一次调研

Posted on Sun, Nov 28, 2021 Hadoop Yarn

Lambda 表达式引用外部变量的限制及原因

Posted on Sat, Nov 27, 2021 Java

解读 Spark 3.0.3 的 RDD 源码

Posted on Sat, Aug 21, 2021 Spark3.0.3 源码 Scala

DirectMemory 的回收及利用 PhantonReference 实现回收的方式

Posted on Sun, Aug 15, 2021 Java

记一次 cdh 版本的 Spark + Kerberos 的坑。

Posted on Tue, Jun 1, 2021 Spark Kerberos

ClickHouse的相关编译步骤。

Posted on Thu, May 13, 2021 Linux ClickHouse

个人对 NUMA 架构的一些理解。

Posted on Sun, Feb 21, 2021 Linux

大略讲解了 CPU 中的伪共享，及在 Java 中的解决方案。

Posted on Sat, Sep 26, 2020 Java

本篇文章记录了 Idea 如何编译并阅读 Spark 源码的过程。

Posted on Wed, Sep 11, 2019 Spark Idea Maven