executor pod 残留 问题描述 使用 Client 模式启动 Spark 任务，删除 Driver Pod 后，Executor Pods 并没有被删除，而是进入 Error 状态残留在集群中 问题原因 Driver 收到 Delete 指令后，偶现 Executor 与 Driver 通信提前断连，Executor 无人回收。 解决方案 配置 spark.kubernetes.d

剖析源码版本为 v0.5.3，commit d0b973be cmd/tf-operator.v1/main.go:62 func main() { s := options.NewServerOption() s.AddFlags(flag.CommandLine) flag.Parse() if s.JSONLogFormat { // Output log

剖析源码版本为 v0.5.0，commit 010ef715 cmd/kube-batch/main.go:54 if err := app.Run(s); err != nil { fmt.Fprintf(os.Stderr, "%v\n", err) os.Exit(1) } cmd/kube-batch/app/server.go:133 leaderelect

pkg/scheduler/plugins/gang/gang.go:47 Session 初始化时，Gang Plugin 将注册 validJobFn。validJobFn 会对每一轮调度的 Job 进行过滤 func (gp *gangPlugin) OnSessionOpen(ssn *framework.Session) { validJobFn := func(obj in

pkg/scheduler/cache/cache.go:318podgroup informer 设置相应的 list-watch 回调处理函数 kbinformer := kbinfo.NewSharedInformerFactory(sc.kbclient, 0) // create informer for PodGroup(v1alpha1) information sc.podGrou

* 终于要搬家啦 传送门：https://kongkongk.github.io/ * What从大学开始，逐渐深入接触计算机相关知识，当时也有产出一些总结（无论是纸质化或本地markdown），俗称个人笔记。后来接触到 CSDN，才有想法将这些沉淀的知识总结迁移到 Blog 中。原因也很简单，不能走哪都抱着一厚沓纸，实时查阅的功能更是没有，所以最终决定将本地文档迁移至CSDN Blog。 Why

* 我的征途是星辰大海！ * 传送门： 蘑菇街11.11：私有云平台的Docker应用实践 蘑菇街基于 OpenStack 和 Docker 的私有云实践

* 随着提前批又一次提前到来。。。秋招大幕徐徐拉开。。。本篇就来记录我的秋招经历吧。。。→_→ * 秋招结束！终于可以歇一阵了~ CVTE结果：收到书面offer 时间：2017.08.08内容：CVTE提前批一面结果：GG面经： 介绍项目 （介绍项目的时候，面试管其实也在看简历。。。） 项目中遇到的最大困难是什么？ 虚函数表中有没有名字？ （我的回答是没有，然后用了非常长的时间去解释

2019.12.20 本周五在组内做了一次技术分享，内容关于kube-batch，也在其中阐述了些自我思考。本文记录下分享的主要内容，PPT就不贴上来了。 kube-batch 主要概念 调度器实际上解决的是最优解问题，在 kube-batch 中这个问题就是每一个 Action，原生支持 allocate（分配） backfill（回填） reclaim（回收） preempt（抢占）

kubernetes 身份认证与授权OpenID Connect Toke dex 身份认证使用 kubernetes storage，LDAP connector，loginapp static client