jyj019
码龄9年
求更新 关注
提问 私信
  • 博客:272,957
    272,957
    总访问量
  • 60
    原创
  • 86
    粉丝
  • 123
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:四川省
加入CSDN时间: 2017-07-02

个人简介:向着喜欢的道路前进

博客简介:

jyj019的博客

博客描述:
记录,分享
查看详细资料
个人成就
  • 获得172次点赞
  • 内容获得67次评论
  • 获得393次收藏
  • 代码片获得209次分享
  • 博客总排名1,325,024名
创作历程
  • 2篇
    2022年
  • 8篇
    2021年
  • 12篇
    2020年
  • 19篇
    2019年
  • 40篇
    2018年
成就勋章
TA的专栏
  • 环境
    7篇
  • Hive
    2篇
  • python
    2篇
  • tcp/ip
    4篇
  • 大数据综合
    31篇
  • 算法综合
    6篇
  • 读书笔记
    3篇
  • Kafka
    7篇
  • Storm
    3篇
  • OpenTSDB
    17篇
  • Spark
    6篇
  • HBase
    3篇
  • Redis
    2篇
  • Flink
    5篇
  • 程序基础
    8篇
  • HDFS
    2篇
  • Kylin
    1篇
  • shell
    3篇

TA关注的专栏 8

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivesparketl
创作活动更多

AtomGit「码动四季·开源同行」秋季征稿活动

秋季征稿主题:开源成果经验分享 成果不止一种形态,我们为你准备了六大赛道,总有一款适合你: 开源项目成果复盘 把项目一年/一季的成长摊开来看:里程碑复盘、Star 与用户增长复盘、版本迭代复盘、从 0 到 1 的发布复盘。 🖊️ 示范选题: ●开源项目从 0 到 1000 Star,我做对了什么 ●开源一周年,我交出的成绩单 这类文章不只是一次经验分享,也是一张项目名片。欢迎将项目托管到 AtomGit 并申请成为 G-Star 项目,通过后可获得平台流量推荐、项目宣传等权益。(G-Star:AtomGit 最具影响力开源项目) ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1f90c61528ad410d8d66f9d0e3707a5a.png) 咨询 G-Star 项目申请 2️⃣ 技术经验体系化沉淀 踩坑合集、最佳实践总结、工具链实战、CI/CD 流水线搭建、代码重构与架构演进。 🖊️ 示范选题: ●提了 50 个 PR 后,我总结的开源协作避坑清单 ●一次重大重构复盘:把单体拆成可维护的模块 3️⃣ AI 赋能开源的实战成果 AI 编程助手实战测评、基于开源模型的微调与应用开发、AI 辅助研发提效流水线。 🖊️ 示范选题: ●我用 AI 编程助手把提 PR 效率翻了 3 倍 ●基于开源大模型搭了个 XX 工具(附完整教程) 4️⃣ 开源共建笔记|文档、社区与布道 开源文档写作与翻译、issue 互助经验、组织 meetup、用开源项目做教学与分享。 🖊️ 示范选题: ●一个优秀开源项目,文档应该怎么写 ●我用开源项目做了个线上 Workshop ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/23e83ceebc594c379f7fc6aa8dcfa40c.png) 扫码加入码动四季投稿交流群,和更多伙伴一起交流技术!

39人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

hdp集群扩容

hdp扩容前检查在扩容前做好检查,很多问题都可以避免:检查磁盘是否挂载完成,尤其是对于数据盘。检查节点之间是否做好免密(非常重要):必须集群每个节点之间都要做好免密。检查java和python环境检查时间同步是否完成(ntp)添加yum源cd /etc/yum.repos.d/增加 amabri.repo HDP.repo HDP-UTILS.repo安装agentyum install -y ambari-agent在url新增节点和免密...
原创
博文更新于 2022.01.10 ·
1442 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hdp集群扩容

hdp扩容前检查在扩容前做好检查,很多问题都可以避免:检查磁盘是否挂载完成,尤其是对于数据盘。检查节点之间是否做好免密(非常重要):必须集群每个节点之间都要做好免密。检查java和python环境检查时间同步是否完成(ntp)添加yum源cd /etc/yum.repos.d/增加 amabri.repo HDP.repo HDP-UTILS.repo安装agentyum install -y ambari-agent在url新增节点和免密...
原创
博文更新于 2022.01.10 ·
1442 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hdp环境下ip更改

当前有大数据需要迁移环境,更改ip,涉及yarn,oozie,hdfs,hive等应用。这种事情一般做的比较少,事前做了大量的备份。最后结果还是比较顺利。
原创
博文更新于 2022.01.10 ·
1911 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hbase手动修复表

最近在运维时候,发现有个hbase表挂载错误,需要手动修复hbase元数据,具体操作如下:
原创
博文更新于 2021.11.24 ·
683 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

kylin数据清理之删除过期segement

虽然有手动删除segement的方式,但是对于segement很多的比较麻烦,同时disable cube对于数据操作也有一定不确定性,故采用批量删除segement的方式删除数据。
原创
博文更新于 2021.11.24 ·
1757 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

kylin卡死问题排查之kylin元数据备份修复

近期发现部分segement合并新建出现问题,查询错误日志均无异常。想起在手动删除segement表时发现部分表无法删除。最后查询kylin的元数据表,查询备份的表发现部分元数据存在NEW状态表(该表只有目录,未创建hbase表,jobID查询为空,所以无法查询)
原创
博文更新于 2021.11.24 ·
1806 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

XShell和Xftp安装

今天突然跟我说xshell评估期已过,直接断掉,根据百度,用了一上午解决该问题,其中不少教程限于时间因素,有一定问题,所以在此总结下。
原创
博文更新于 2021.05.19 ·
187 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

常见数据处理方法

有时候更多数据处理从语言角度,调用不同api处理数据。但是从业务的角度想就很少了,最近从业务的角度了解了下常见数据处理的方法,总结如下:
原创
博文更新于 2021.05.14 ·
10287 阅读 ·
6 点赞 ·
0 评论 ·
51 收藏

数仓相关知识点/笔记(OLTP和OLAP)

现在实时数仓是一个非常火的趋势,最近开始逐渐了解一些数仓相关的东西,从基础的理论知识包括架构,算一个基础总结和学习记录吧。不定期补充更新
原创
博文更新于 2021.05.11 ·
888 阅读 ·
1 点赞 ·
0 评论 ·
5 收藏

hive基础语句(包含创建表和插入数据)

最近在研究hive的一些基本的使用和操作,发现有些语句的使用和一般的sql还有一定的差别。网上的文章还是比较杂乱,因此我在这里进行一些总结,扩展。
原创
博文更新于 2021.05.09 ·
7024 阅读 ·
5 点赞 ·
1 评论 ·
13 收藏

交付文档注意事项

最近涉及到项目交付,编写了很多技术文档,但因为没有经验导致多次修改,尤其是客户和我们技术人员的关注点其实是不一样的,就导致我没有抓住重点,导致反复修改,这里总结下我的一些经验。文档与技术协议合同对应就我所经历的项目,前期的技术要求和最后的项目有一些细节的偏差。最后交付文档的时候更多应该以技术协议和合同为准。并且需要突出体现里面的内容。注意题名一致项目名称与文档名称必须前后一致,不能多,不能少,不然会产生歧义。部分问题不好总结,不过待补充了,...
原创
博文更新于 2021.03.26 ·
745 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

hive卡死问题(进入服务卡死)

最近安装了一套测试系统,在测试系统的时候,发现有服务正常,但无法进入hive的后台界面。不管是输入hive 还是具体的hive -e 语句执行,都有相应的问题。最后问题定位为相应组件问题。
原创
博文更新于 2021.01.06 ·
3899 阅读 ·
3 点赞 ·
0 评论 ·
2 收藏

OpenTSDB的/ API / PUT(opentsdb的输入的api)简介

写在前面,这里是补充宇毅的博客内容翻译几篇文档,补充下java代码的一些实现,参考文献和其他文章列表放在末尾翻译原文档http://opentsdb.net/docs/build/html/api_http/put.html这篇文章讲的OpenTSDB如何存储数据的理论知识,比较简单,但需要在使用前了解。其中有两点比较重要的地方。第一是存储数据的json格式,4个指标必须都有,并按正确...
翻译
博文更新于 2018.11.01 ·
3687 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

OpenTSDB的/ API / query/last(opentsdb的末尾反向查询的api)简介

写在前面,这里时对OpenTSDB查询的一篇补充文档,一个特殊的查询方式:末尾反向查询。翻译原文档http://opentsdb.net/docs/build/html/api_http/query/last.html末尾反向查询与其他的查询有很多不同的地方,最关键的就是Http api的URL不同,结尾需要写为query/last而不是query。在查找资料的时候看到有博客写的需要在...
翻译
博文更新于 2019.01.06 ·
2780 阅读 ·
1 点赞 ·
1 评论 ·
1 收藏

GeoSpark调研(二):主要特性

主要特性空间SQL GeoSparkSQL完全支持Apache Spark SQL。特点如下:(1)支持SQL / MM-Part3,Spatial SQL标准(2)支持纯的Spark SQL语句。不再支持DSL风格了。(3)支持Spark查询优化器:GeoSpark Spatial Join / predicate pushdown!(4)支持多个GeoSpark参数。(5...
翻译
博文更新于 2018.08.07 ·
2333 阅读 ·
4 点赞 ·
1 评论 ·
6 收藏

HDP安装(一)之postgres和mysql数据库安装配置

ambari安装部署步骤,我看了大概有十多篇了,标题都差不多,真的。但是自己安装之后确实发现自己在这些文章里学到了很多东西,一次安装部署遇到了非常多的问题,这里就其中觉得棘手的数据库配置总结一二。ambari采用了两个数据库,其中postgres 作为内置数据库,mysql作为oozie需要的数据库均做了配置,这里就分开讨论遇到的问题:postgres一般来说自带postgres,安装好就行,但centos6版本自带过低,需要自行安装配置。因为yum配的本地源,所以是从官网下载postgres,
原创
博文更新于 2020.12.10 ·
1060 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

Python环境安装一些问题记录

这次因为工作需要,要配置了一些python的环境,需要支持很多库。自己一路下来还算顺畅,不过也算踩了些坑,在此试着进行总结。随着工作的需要还会逐渐补充一系列问题这里anaconda安装和版本问题根据https://www.jianshu.com/p/742dc4d8f4c5上面简单入门找到国内的开源镜像站https://mirrors.tuna.tsinghua.edu.cn/anacon...
原创
博文更新于 2020.11.18 ·
1931 阅读 ·
2 点赞 ·
0 评论 ·
2 收藏

Netty参数配置

最近使用netty,逐渐有了这个认识,netty就是把很多较为复杂的原理性的东西,抽象为一些配置,通过netty实现什么,更多的是采用什么配置。就简单的入门和使用来说,了解配置也是很关键的一步这是两个常见的demo,根据demo来逐渐分析netty的参数含义,常见参数类型,以及枚举,还有这些参数的适用点//设置reacotor线程组 b.group(bossLoopGroup, workderLoopGroup); //设置Nio类型的channel
原创
博文更新于 2020.11.13 ·
2069 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

在linux通过tomcat部署war包,解决Redhat6.8采用tomcat8部署失败问题

最近需要通过tomcat部署war包,但很多步骤不熟悉,也遇到了各种各样的问题,这里就部署的特别步骤和各种问题做一个记录
原创
博文更新于 2020.11.12 ·
334 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

主数据及编码

之前做数据梳理的时候对主数据进行了一个总结,虽然项目没有很好的开展,不过对我来说也是有很多收获的,这里把之前用到的一些文档总结如下。 术语和定义 主数据早期以 ERP 为代表的制造业集成应用系统的发展过程中,产生了信息孤岛和数据处理危机问题。为了解决这些问题,主数据这个概念随之诞生。目前,对主数据的定义没有统一,一些 MDM 产品提供商和学者提出了各自对主数据的定义,如下:Da...
原创
博文更新于 2020.11.02 ·
9846 阅读 ·
1 点赞 ·
0 评论 ·
34 收藏
加载更多