关于

陈金鑫-后端研发工程师

基础信息

个人能力

  • 编程语言: Go、Python、Scala、Kotlin、Java、SQL、C/C++、C#、JS、Shell、Lua。
  • 常用数据结构与算法、设计模式。
  • 后端开发框架: Gin、AKKA、Vert.x、FastAPI、Flask、Django、Spring Boot。
  • 前端开发框架: Vue、Ant Design、Echarts。
  • 大数据生态: Hadoop、YARN、MapReduce、HBase、Hive、Flume、Sqoop、Kettle、Oozie、Azkaban、Spark、SparkSQL、SparkStreaming、Storm、Flink等。
  • 数据库: MySQL、Redis、MongoDB、PostgreSQL、MSSQL。
  • 中间件：Kafka、RabbitMQ、ElasticSearch。
  • 云原生: Docker、Kubernetes（K8s）、KubeFATE、Prometheus、Grafana、APISIX、OpenVPN、Jenkins、ECK等。
  • 团队协作: Git、GitHub、GitLab、CI/CD。
  • 能够独立从0到1搭建企业大数据平台及云原生平台。

工作经历

工作经历（5）

  • 工作公司: 上海科之锐人才咨询有限公司
  • 工作时间: 2023年7月至今
  • 部门岗位: 质量与流程IT部-IT平台服务部-软件开发工程师（华为-数据底座）
  • 岗位职责: 负责云平台的搭建、开发、维护；数据库设计，后端开发、网关开发、项目CI\CD。

负责项目一

  • 项目名称：数据库管家
  • 项目描述：采用微服务架构，利用Kubernetes容器编排及Docker容器技术，为业务前台(智慧大屏、移动端应用、web端应用)敏捷地部署、训练及提供各种AI引擎服务(ASR, TTS, Bot, OCR等)。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。
  • 开发技术：开发语言：Java。开发框架：SpringBoot、SpringCloud。版本管理工具：Maven。华为服务：大数据：MRS、DWS、CSS；CodeHub、EKS、ADS。其它技术：服务发现：Nacos、eureka；

负责项目二

  • 项目名称：资源高效
  • 项目描述：采用微服务架构，利用Kubernetes容器编排及Docker容器技术，为业务前台(智慧大屏、移动端应用、web端应用)敏捷地部署、训练及提供各种AI引擎服务(ASR, TTS, Bot, OCR等)。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。
  • 开发技术：开发语言：Java。开发框架：Flink、Spark。版本管理工具：Maven。华为服务：大数据：MRS、DWS、CSS；CodeHub、EKS、ADS。其它技术：服务发现：Nacos、eureka；

负责项目二-子项目一

  • 项目名称：资源监控
  • 项目描述：采用微服务架构，利用Kubernetes容器编排及Docker容器技术，为业务前台(智慧大屏、移动端应用、web端应用)敏捷地部署、训练及提供各种AI引擎服务(ASR, TTS, Bot, OCR等)。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。
  • 开发技术：开发语言：Java。开发框架：Flink、Spark。版本管理工具：Maven。华为服务：大数据：MRS、DWS、CSS；CodeHub、EKS、ADS。其它技术：服务发现：Nacos、eureka；

负责项目二-子项目二

  • 项目名称：作业监控
  • 项目描述：采用微服务架构，利用Kubernetes容器编排及Docker容器技术，为业务前台(智慧大屏、移动端应用、web端应用)敏捷地部署、训练及提供各种AI引擎服务(ASR, TTS, Bot, OCR等)。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。
  • 开发技术：开发语言：Java。开发框架：Flink、Spark。版本管理工具：Maven。华为服务：大数据：MRS、DWS、CSS；CodeHub、EKS、ADS。其它技术：服务发现：Nacos、eureka；

工作经历（4）

  • 工作公司: 北京可利邦信息技术股份有限公司
  • 工作时间: 2021年8月至2023年7月
  • 部门岗位: AI事业部-大数据&后台开发工程师
  • 岗位职责: 负责云平台的搭建、开发、维护；数据库设计，后端开发、网关开发、项目CI\CD。

负责项目四

  • 项目名称：隐私计算模型市场
  • 项目描述：基于KubeFATE开源框架开发，运行在Kubernetes平台上。将《大数据隐私计算平台》中训练好的模型导出，然后导入到本平台，提供推理服务。
  • 我的职责：开发Web后端端管理平台。开发agent服务。
  • 开发技术：开发语言：Python。使用技术：Kurberntes、KubeFATE、Docker、NFS、Prometheus、AlertManager、NodeExport、KubeStateMetrics、APISIX、MySQL、Redis。开发框架：fastapi。数据库版本管理：Alembic。自动化部署：Fabric。
负责项目四-子项目一
  • 项目名称：接口代理服务
  • 项目描述：为用户提供请求推理的接口代理。
  • 我的职责：开发agent服务。维护项目文档。
  • 开发技术：开发语言：Go。开发框架：Gin。

负责项目三

  • 项目名称：大数据隐私计算平台
  • 项目描述：基于KubeFATE开源框架开发，运行在Kubernetes平台上。给联邦集群添加隐私计算能力。为用户提供易于部署，操作简单的联邦学习平台。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。构建OpenVPN网络。
  • 开发技术：开发语言：Python，Go，Lua。使用技术：Kurberntes、KubeFATE、Docker、NFS、Prometheus、AlertManager、NodeExport、KubeStateMetrics、APISIX、Elasticsearch、Fluentd、Kibana、MySQL、Redis。开发框架：flask-restplus。ECK: Elasticsearch、Kibana、Fluentd。VPN：OpenVPN。数据库版本管理：Alembic。自动化部署：Fabric。
  • 项目成就：2023年获得“信通院”《联邦学习基础能力评测证书》；2023年获得中互金认证《联邦学习产品安全认证证书》。

负责项目二

  • 项目名称：电商推荐系统
  • 项目描述：给电商平台增加推荐系统和搜索引擎。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。推荐系统和搜索引擎的架构设计、推荐算法实现、接口开发。数据的ETL。项目部署。
  • 开发技术：开发语言：Scala、Go。计算引擎：Spark。版本管理工具：Maven。数据库：Redis、MongoDB。消息队列：Kafka。Web框架：Gin。ECK: Elasticsearch、Kibana、Fluentd。部署方式：docker-compose。任务调度：cron。

负责项目一

  • 项目名称：AI中台
  • 项目描述：采用微服务架构，利用Kubernetes容器编排及Docker容器技术，为业务前台(智慧大屏、移动端应用、web端应用)敏捷地部署、训练及提供各种AI引擎服务(ASR, TTS, Bot, OCR等)。
  • 我的职责：编写、维护项目文档，包括开发文档、部署文档等。构建Kubernetes基础平台，包括NFS存储服务、Docker镜像仓库；搭建、开发监控平台；搭建、开发网关中心；搭建、开发日志平台；开发Web端管理平台。
  • 开发技术：开发语言：Python，Go，Lua。使用技术：Kurberntes、Docker、NFS、Prometheus、AlertManager、NodeExport、KubeStateMetrics、APISIX、Elasticsearch、Fluentd、Kibana、MySQL、Redis。开发框架：flask-restplus。ECK: Elasticsearch、Kibana、Fluentd。数据库版本管理：Alembic。自动化部署：Fabric。

工作经历（3）

  • 工作公司: 深圳市维知科技有限责任公司
  • 工作时间: 2020年4月至2021年8月
  • 部门岗位: AI中台部门-大数据研发工程师
  • 岗位职责: 负责数据库设计，后端开发，Bot引擎维护。

负责项目三

  • 项目名称：AI中台服务平台
  • 项目描述：对接各个后台AI引擎服务（如后台bot引擎、ASR引擎、TTS引擎、OCR引擎）、前台应用服务（大屏应用、移动端应用、web端应用）。
  • 我的职责：AI中台的后端接口设计与开发，数据库设计与开发，K8S部署。制作AI中台的各个微服务项目镜像、大数据平台镜像。
  • 开发技术：开放平台：Kubernetes，Docker。平台监控：Prometheus。大数据组件：Hadoop、HBase、Hive、Spark、Zookeeper、Kafka、Oozie、Flume、Sqoop、ElasticSearch、Logstash、Kibana。

负责项目二

  • 项目名称：引擎管理服务平台
  • 项目描述：对接客服bot引擎和web端，提供友好的交互功能给引擎训练工程师使用，设计维护多轮对话逻辑。
  • 我的职责：独立构建、开发、测试、维护、部署该项目，维护部署文档，将项目打包成Docker镜像，提供方便的部署脚本。
  • 开发技术：开发语言：Kotlin。框架是基于Vert.x二次开发的、简易的、专注接口开发的框架。版本管理工具：Gradle。数据库：Redis、MySQL。消息队列：RabbitMQ。开放平台：Docker。

负责项目一

  • 项目名称：虚拟交互服务平台
  • 项目描述：客户端是大屏（C++开发的Windows应用）和移动端（Unity3D、C#开发的Android应用），服务端负责接收、处理用户端发出的语音或文本信息，按照客户端设置（ASR、bot、TTS）请求具体的引擎，接收处理引擎的响应结果，返回给客户端。
  • 我的职责：一个人维护、部署该项目，完成所有对接工作，按照产品需求迭代项目。将项目打包成Docker镜像，维护部署文档。
  • 开发技术：开发语言：Kotlin。框架是基于Vert.x二次开发的、简易的、专注接口开发的框架。版本管理工具：Gradle。数据库：Redis、MySQL。消息队列：RabbitMQ。开放平台：Docker。

工作经历（2）

  • 工作公司: 文思海辉
  • 工作时间: 2019年12月至2020年4月
  • 部门岗位: 数仓事业部-初级大数据分析与挖掘顾问（中广核）
  • 岗位职责: 维护数据仓库。

负责项目一

  • 项目名称：供应链数据仓库建设（中广核驻场项目）
  • 项目描述：将原HANA数据库数据迁移到星环大数据平台，以星环大数据平台中的Inceptor、HyperBase、Search为基础构建全新的大数据平台。定时从业务数据库MSSQL、Oracle、HANA等数据库做数据同步。
  • 我的职责：设计、验证、对比各种技术路线的可行性，并撰写文档。设计ETL自动化流程。
  • 开发技术：编程语言：SQL。

工作经历（1）

  • 工作公司: 深圳掌众智能科技股份有限公司
  • 工作时间: 2019年7月至2019年11月
  • 部门岗位: 广告事业部-高级Scala/Java后端开发
  • 岗位职责: 负责广告交易平台的开发、维护。

负责项目二

  • 项目名称：ADX平台
  • 项目描述：使用Scala开发ADX（广告交易平台）服务平台，对接DSP（广告主服务平台）和SSP（媒体服务平台）。每日广告源请求数量在4亿次左右，每日展示数量1亿左右，每日生产TB级日志。对接DSP一百多家。具有RTB（实时竞价）和PDB（直接购买）两种交易类型。
  • 我的职责：一个人维护该项目，完成所有对接工作，按照产品需求迭代项目，实现ETL为运营提供技术支持。
  • 开发技术：开发语言：Scala；版本管理工具：SBT；开发框架：AKKA；应用层协议使用Protobuf、Thrift；使用Akka库和AkkaHTTP库提供Http服务；消息引擎系统采用Kafka；数据库框架是Slick；cats（scala函数式编程库）；circe（Json解析库）；Prometheus（监控报警系统）；Finagle（RPC框架）；http4s；doobie（JDBC层）；netty；quill（ORM框架）。MySQL、PostgreSQL数据库，GreenPlumSQL数据仓库，HDFS（分布式文件系统），AS/400报表系统。

负责项目一

  • 项目名称：日志分析系统（离线+准实时）
  • 业务描述：为运营和商务提供技术支持。根据日志信息（TB），实时分析各个广告位的请求、响应、点击事件的具体情况，实时统计当前线上媒体端用户活跃情况，统计哪个时段的用户浏览量最高，输出准实时可视化报表。对运营提出的问题及时作出响应。
  • 我的职责：系统架构设计与实现。
  • 系统架构：
  1. 展示层：统计查询/报表——HUE，数据可视化分析——H5+Echarts
  2. 接口层：技术协议——Http/WebSocket，数据协议——XML/JSON/Thrift/Protobuf
  3. 服务层：Java/Scala
  4. 计算层：在线计算－Streaming，离线计算－MapReduce，内存计算－Spark，统一资源调度管理－YARN
  5. 存储层：分布式消息队列Kafka，MySQL，Hbase，Hive，HDFS
  6. 采集层：日志采集框架Flume，DB数据处理工具Sqoop
  7. 数据源层：DB，LogFile

  • 项目模块：分布式日志收集，日至合并预处理，实时数据处理，大屏实时Echarts统计，离线数据处理，Hue可视化分析，多维BI报表。

  • 开发技术：Hadoop2.x，Zookeeper，Flume，Hive，Hbase，Kafka，Spark2.x，SparkString，MySQL，Hue，J2EE，websoket，Echarts。

  • 项目名称：CDH搭建企业大数据平台

  • 1.作用

    • 数据分析
    • 数据检索
    • 集群规划与资源配置
      • 集群数量：15台
      • 硬盘：60TB，内存：32GB，CPU：10核，网卡：万兆

  • 2.技术选型

    • Cloudera Mananger(CM)——基于 yum 源

  • 3.集群监控

    • Cloudera Managerment Serice

  • 4.基于CDH安装部署大数据组件及配置

    • Zookeeper，HDFS（HA），YARN（HA），Hive，HBase，Flume，Spark，Sqoop，Oozie，Hue，Impala

实习经历（0）

  • 工作公司: 中诚信国际信用评级有限责任公司
  • 工作时间: 2018年7月至2019年6月
  • 部门岗位: 债券风险控制事业部-全栈开发工程师
  • 岗位职责: 负责后端架构设计及开发，数据库设计及开发。

负责项目一

  • 项目名称：中诚信·智警系统
  • 项目描述：超越传统信用评级理论，用金融和征信大数据建模评估发债公司的信用风险，并实时跟踪。当用户持有的债券等级发生变化，通过邮件通知用户。项目做成SaaS端应用，除了核心的评级结果，用户还可以按行业、信用等级等条件筛选目标企业；按地区、政府等筛选目标城投，并查看其财务分析、债券信息、舆情征信等。
  • 我的职责：编写后端代码，设计数据库及表结构，编写SQL语句，验证数据的准确性，实现ETL。梳理项目需求，提出产品建议，辅助产品设计，产品上线，测试服务器等。
  • 开发技术：开发语言：Java。框架SpringBoot。版本管理工具：Maven。数据库：Redis、MySQL、MSSQL。
  • 项目成就：获得2019中国金融创新论坛暨“2019中国金融创新奖”——“十佳智能风控创新奖”。

证书认证

Licensed under CC BY-NC-SA 4.0
comments powered by Disqus