掌控自己就能掌控世界
码龄8年
求更新 关注
提问 私信
  • 博客：86,179
    社区：1,028
    问答：6,970
    94,177
    总访问量
  • 30
    原创
  • 15
    粉丝
  • 32
    关注
IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：江苏省
加入CSDN时间： 2018-07-28
博客简介：

weixin_42821133的博客

查看详细资料
个人成就
  • 获得36次点赞
  • 内容获得10次评论
  • 获得185次收藏
  • 代码片获得410次分享
  • 博客总排名1,556,891名
创作历程
  • 70篇
    2020年
  • 2篇
    2019年
成就勋章
TA的专栏
  • Maven
    1篇
  • Spark
    13篇
  • hive
    9篇
  • shell
    5篇
  • Mysql
    10篇
  • pgSQL
    2篇
  • PostgreSQL
    1篇
  • sqoop
    2篇
  • Python
    1篇
  • Oracle
    4篇
  • kafka
  • HBase
    7篇
  • hadoop
    2篇
  • flume
  • nginx
    1篇
  • Linux
    4篇
  • tomcat
    1篇
  • hadoop集群搭建
    1篇
  • zookeeper集群搭建
    1篇
  • 虚拟机
  • VMware
  • HDFS
    1篇
  • Java
    5篇
  • 反射
    1篇
  • Mybatis
  • 埋点
  • ServletProject
    2篇
  • Scala
    1篇
  • 大数据离线项目
  • Spring
    3篇
  • 笔记
  • 可视化
  • SpringBoot
  • GC
  • MapReduce
  • hive调优

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

AtomGit「码动四季·开源同行」秋季征稿活动

秋季征稿主题：开源成果经验分享 成果不止一种形态，我们为你准备了六大赛道，总有一款适合你： 开源项目成果复盘 把项目一年/一季的成长摊开来看：里程碑复盘、Star 与用户增长复盘、版本迭代复盘、从 0 到 1 的发布复盘。 🖊️ 示范选题： ●开源项目从 0 到 1000 Star，我做对了什么 ●开源一周年，我交出的成绩单 这类文章不只是一次经验分享，也是一张项目名片。欢迎将项目托管到 AtomGit 并申请成为 G-Star 项目，通过后可获得平台流量推荐、项目宣传等权益。（G-Star：AtomGit 最具影响力开源项目） ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1f90c61528ad410d8d66f9d0e3707a5a.png) 咨询 G-Star 项目申请 2️⃣ 技术经验体系化沉淀 踩坑合集、最佳实践总结、工具链实战、CI/CD 流水线搭建、代码重构与架构演进。 🖊️ 示范选题： ●提了 50 个 PR 后，我总结的开源协作避坑清单 ●一次重大重构复盘：把单体拆成可维护的模块 3️⃣ AI 赋能开源的实战成果 AI 编程助手实战测评、基于开源模型的微调与应用开发、AI 辅助研发提效流水线。 🖊️ 示范选题： ●我用 AI 编程助手把提 PR 效率翻了 3 倍 ●基于开源大模型搭了个 XX 工具（附完整教程） 4️⃣ 开源共建笔记｜文档、社区与布道 开源文档写作与翻译、issue 互助经验、组织 meetup、用开源项目做教学与分享。 🖊️ 示范选题： ●一个优秀开源项目，文档应该怎么写 ●我用开源项目做了个线上 Workshop ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/23e83ceebc594c379f7fc6aa8dcfa40c.png) 扫码加入码动四季投稿交流群，和更多伙伴一起交流技术！

16人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多

  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

明明新建了个mysql的数据库，但是当你往这个数据库里的表里插入数据时，却提示找不到这个数据库

下面的fluxdb是我新建的数据库 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | fluxdb | | hive | | mysql ...
原创
博文更新于 2020.03.26 ·
2341 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Spark的缓存机制在代码中的运用

原创
博文更新于 2020.08.13 ·
330 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

如何去实现hive离线分析脚本

总共分为3步： 1.编写hql脚本 简单案例： 编写hql脚本：vim tongji1.hql 内容如下： select * from fluxdb.tongji1 where reporttime='${statis_date}'; 很简单就是一个表查询，没啥逻辑 保存退出后，记得 赋予执行权限：chmod +x tongji1.hql 2.编写bash脚本 statis_time=`date +%Y-%m-%d` /home/01/software/hive-1.2/bin/hive -d stati
原创
博文更新于 2020.07.30 ·
628 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

认识RDD

一、什么是RDD？ 官方说法： RDD：弹性分布式数据集，是Spark最核心的数据结构。有分区机制，所以可以分布式进行处理。有容错机制，通过RDD之间的依赖关系来恢复数据。 说白了RDD就是spark的一种特有集合，只不过这个集合它有分区属性，通过分区可以实现并行化计算，从而实现了spark高效处理数据的重要原因之一，此外RDD之间还存在着一种父子依赖关系，就向人类血缘关系一样，通过这种关系，可以实现数据的容错，比如说我们子RDD数据丢失了，可以通过计算父RDD重新生成子RDD数据。 二、如何生成RDD？
原创
博文更新于 2020.07.16 ·
498 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

mysql 「=」符号和=号区别

今天在网上看资料无意中看到mysql的sql语句WHERE p.name <=> NULL，对于‘<=>’这个符号以前一直没遇到过，当时也是一脸懵逼，笔者查找了一些资料总结了下 1.<=>和=号的相同点 像常规的=运算符一样，两个值进行比较，结果是0（不等于）或1（相等）;换句话说：’A’<=>’B’得0和’a’<=>’a‘得1。 2.<=>和=号的不同点 和=运算符不同的是，NULL的值是没有任何意义的。所以=号运算符不能把NULL作
原创
博文更新于 2020.07.09 ·
439 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SparkSQL执行时的优化参数

近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力. 发现根本原因在于sparkSQL配置有诸多问题,解决后总结出来就当抛砖引玉了. 具体现象 内存CPU比例失调 一个Spark任务消耗 120(executor)*4G = 480G内存仅仅使用120个 core.几个SprakSQL任务就将整个系统资源吃光. 设置超过40个executor,但未指定分区数,导致多数executor空闲. 原因分析 SparkSQL配置时Core与内存比例不恰当 没有指定execu
转载
博文更新于 2020.06.30 ·
1072 阅读 ·
1 点赞 ·
0 评论 ·
8 收藏

PG数据库学习教程

学习网址：https://www.yiibai.com/postgresql/postgresql-trigger.html
原创
博文更新于 2020.06.28 ·
1333 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

PostgreSQL函数(存储过程)

PostgreSQL函数也称为PostgreSQL存储过程。 PostgreSQL函数或存储过程是存储在数据库服务器上并可以使用SQL界面调用的一组SQL和过程语句(声明，分配，循环，控制流程等)。 它有助于您执行通常在数据库中的单个函数中进行多次查询和往返操作的操作。 您可以在许多语言(如SQL，PL/pgSQL，C，Python等)中创建PostgreSQL函数。 语法： CREATE [OR REPLACE] FUNCTION function_name (arguments) RETURN.
转载
博文更新于 2020.06.28 ·
1343 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

PostgreSQL创建视图

在PostgreSQL中，视图(VIEW)是一个伪表。 它不是物理表，而是作为普通表选择查询。视图也可以表示连接的表。 它可以包含表的所有行或来自一个或多个表的所选行。 视图便于用户执行以下操作： 它以自然和直观的方式构建数据，并使其易于查找。 它限制对数据的访问，使得用户只能看到有限的数据而不是完整的数据。 它归总来自各种表中的数据以生成报告。 PostgreSQL创建视图 可以使用CREATE VIEW语句来在PostgreSQL中创建视图。 您可以从单个表，多个表以及另一个视图创建它。 语法 CR
转载
博文更新于 2020.06.28 ·
8710 阅读 ·
1 点赞 ·
0 评论 ·
5 收藏

sqoop使用案例

一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。 sqoop： 工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令
转载
博文更新于 2020.06.20 ·
484 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

shell脚本学习笔记

1.查看端口情况 查看80端口： [root@hadoop01 software]# ss -an | grep :80 LISTEN 0 128 *:80 2.shell脚本查看某个网址是否能够连接的通 ping -c1 www.baidu.com && echo "www.baidu.com is up" || echo "www.baidu.com is down" [root@hadoop01 te
原创
博文更新于 2020.06.08 ·
210 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

shell脚本监控磁盘和内存使用情况设置邮件报警机制

1.监控磁盘linux命令：df [root@hadoop02 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 18G 9.5G 7.0G 58% / tmpfs tmpfs 491M 72K 491M 1% /dev/shm /dev/sda1 ext4 283M 37M 232M 14% /boot 注：T：显示文件
原创
博文更新于 2020.06.07 ·
689 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

mysql是如何实现分组排序取top案例

hql和oracle都支持分组排序方法： row_number() over(partition by XXX order by XXXX) rank() over(partition by XXX order by XXXX) dense_rank() over(partition by XXX order by XXXX) 可以轻松实现分组排序去top值，但是mysql却不支持，那么mysql是如何实现分组排序的呢？ 先准备案例数据： 首先我们先实现一下分组排序，我们要按省进行分组，在组内让实现GD
原创
博文更新于 2020.06.02 ·
1120 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

shell 变量

shell变量？用一个特定的字符串去表示不固定的内容 变量的类型： 1.自定义变量 定义变量：变量名=变量值 变量名必须以字母或下划线开头，区分大小写 如：ip1=192.168.43.166 引用变量：$变量名 或 ${变量名} 查看变量：echo $变量名 set（所有变量：包括自定义变量和环境变量） 取消变量：unset 变量名 作用范围：仅在当前shell中有效 2.环境变量 定义环境变量： 方法一 export back_dir2=/home/backup 方法二 export ip1 将自
原创
博文更新于 2020.05.31 ·
272 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

CentOS Linux系统Python3安装

本文的方法是在CentOS上新装了python3，如果本机安装了python2则保留，因为可能有程序依赖目前的python2环境，比如yum！！！！！ 一、安装python3.7 安装依赖环境 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel 如果有报：No m
转载
博文更新于 2020.05.25 ·
358 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

hive常用参数配置设置

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true，当输入文件大小小于此阈值时可以自动在本地模式运行，默认是 128兆。 134217728L hive.exec.mode.local.auto.tasks.max 如果 hive.exec.mode.local.
转载
博文更新于 2020.05.24 ·
1114 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

Oracle基本SQL语句

删除表： drop table 表名 修改表结构： 删除列： alter table 表名 drop column 列名 增加列： alter table 表名 add(列名 数据类型, 列名 数据类型.....) 修改列的数据类型： alter table 表名 modify(列名 数据类型) 主键（Primary Key–PK）：主键在表中能够唯一表示一条记录的字段，主键唯一并且不能为空。 外键（Foreign Key–FK）：外键主要用来维系多表之间的关联关系，一张表中的外键，必定是另一张表中
转载
博文更新于 2020.05.19 ·
386 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Oracle数据库忘记密码或即使密码对的也登不上解决办法

首先忘记密码解决办法： 1.打开cmd窗口命令框输入：echo %ORACLE_SID% 2.如果你输入后没有显示说明你的电脑系统环境变量没配置 配置下下面红框类容： 或者直接在cmd窗口中设置也可以： 3.执行sqlplus / as sysdba OK！登录成功 4.修改用户名和密码 执行alter user you_username identified by you_password; 到这边就可以使用新配置的用户名和密码登录了 5.如果第三步遇到下面错误 或者是cmd窗口能登陆了，但是
原创
博文更新于 2020.05.19 ·
2389 阅读 ·
3 点赞 ·
0 评论 ·
6 收藏

hive误删内部表如何恢复

测试删除hive内部分区表找回： 删除前数据查看 hive (default)> select * from test3 where statis_date='2020-05-17'; OK clo1 clo2 clo3 clo4 statis_date zhangsan jiangsu lisi anhui 2020-05-17 sunce dongwu daqiao dongwu 2020-05-17 zhouyu dongwu xiaoqiao dongwu 2020-05-17 wangwu
原创
博文更新于 2020.05.18 ·
2922 阅读 ·
2 点赞 ·
0 评论 ·
7 收藏

SQL 规范

一、 基础规范 推荐使用InnoDB存储引擎 支持事务、行级锁、并发性能更好、CPU及内存缓存页优化使得资源利用率更高 使用UTF8字符集 万国码，无需转码，无乱码风险，节省空间 数据表、数据字段必须加入中文注释 高并发场景下禁止使用存储过程、视图、触发器、Event 高并发大数据的互联网业务，架构设计思路是“解放数据库CPU，将计算转移到服务层”，并发量大的情况下，这些功能很可能将数据库拖死，业务逻辑放到服务层具备更好的扩展性，能够轻易实现“增机器就加性能”。数据库擅长存储与索引，CPU计
转载
博文更新于 2020.05.15 ·
548 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏
加载更多