三分钟搭建大数据sql开发平台

Read more   2019/12/31 posted in  JAVA 三分钟系列 商业智能 SQL

三分钟上手linux系统开发

linux系统编程,主要使用c语言,c++是c的超集,也是可以的

完整项目代码已上传github:https://github.com/neatlife/my-tlpi-book

获取可用环境

可以使用虚拟机安装一个linux系统进行linux系统开发,虽然mac os和linux非常相似,但是和linux还是有很多小区别的,装虚拟机是最省事的
这里使用elementary os,下载地址参考:https://elementary.io/zh_CN/

安装时,选linux 4.x以上的内核版本即可

三分钟上手hive进行数据统计

最近操作了hive进行数据统计,使用下面总结的步骤可以快速上手这个数据库

完整案例代码已上传github: https://github.com/neatlife-learn/myhive

获取可用的hive实例

可以使用docker一键启动参考:https://github.com/big-data-europe/docker-hive

git clone https://github.com/big-data-europe/docker-hive.git hive
cd hive
docker-compose pull
docker-compose up -d

执行docker-compose ps查看启动效果

可以看到hive-server已经成功启动并在10000端口监听了

然后可以使用命令: docker-compose exec hive-server /opt/hive/bin/beeline -u jdbc:hive2://localhost:10000

进入hive命令行终端进行操作了,常见的sql语句一般都支持,比如show databases show tables desc tableName等,操作效果如下:

使用sqoop导入mysql数据到hive

准备测试数据

在mysql中准备需要导入hive的数据,可以自行生成,这里使用已经存在的user_words表,内容如下

Read more   2019/8/6 posted in  三分钟系列

三分钟上手安全渗透系统Kali Linux

kali linux系统集成了常用的安全渗透工具,省去了安装工具的时间,做安全相关的工作是非常推荐使用的。

安装Kalii Linux

安装系统

一般使用虚拟机进行安装,Kali Linux基于Debian内核,虚拟机的操作系统选择Debian 7.x 64

Read more   2019/8/3 posted in  安全 三分钟系列

三分钟上手scikit-learn机器学习算法库

Read more   2019/7/13 posted in  机器学习 三分钟系列 python

三分钟上手apache顶级任务编排系统airflow

airflow已经成为了任务编排系统的事实标准,使用和terraform一样的代码及配置的任务开发方式。

airflow使用python作为开发语言,非常简单易学、容易上手。

完整案例代码已上传github:https://github.com/neatlife/myairflow

获取airflow实例

可以使用docker一键启动

git clone https://github.com/puckel/docker-airflow
cd docker-airflow
docker-compose -f docker-compose-LocalExecutor.yml up -d

访问ip:8080查看效果

可以看到airflow已经可用了

编辑dag文件

这个dag文件就是用来定义任务和任务之间的先后、依赖关系的。

Read more   2019/7/11 posted in  任务调度 三分钟系列

在spring boot三分钟上手无界流处理系统Spark Streaming,并实现流式点赞统计

Read more   2019/7/8 posted in  三分钟系列 Spring Boot

在spring boot中三分钟上手日志堆积系统kafka

kafka消息堆积能力比较强,可以堆积上亿的消息,特别适合日志处理这种实时性要求不太高的场景,同时支持集群部署,相比redis堆积能力和可靠性更高

完整项目代码已上传github:https://github.com/neatlife/mykafka

可以通过下面的步骤快速上手这个kafka

获取一个可用的kafka实例

可以使用docker一键启动一个kafka集群,参考:https://github.com/simplesteph/kafka-stack-docker-compose

git clone https://github.com/simplesteph/kafka-stack-docker-compose.git
cd kafka-stack-docker-compose
docker-compose -f full-stack.yml up -d

操作效果如下

使用命令docker-compose -f full-stack.yml ps获取可以kafka监听的端口

Read more   2019/6/28 posted in  三分钟系列 消息队列

三分钟上手git管理工具tower

虽然命令行git也很好用,但是gui的tower操作更直观,两者搭配使用可以提高效率

打开git仓库

File -> Open然后选择项目目录

查看分支历史

tower相比命令行git可以更方便的查看分支历史

单机左边栏的分支名称就可以查看这个分支的历史了,比如查看master分支历史,操作效果如下

右侧可以看到完整的修改细节

Read more   2019/6/24 posted in  GIT 三分钟系列

在spring boot中三分钟上手阿里云日志服务Log Service

虽然可以自行搭建elk等日志系统,但是日志系统特别耗费系统资源,相对于阿里云提供日志服务,自行搭建的机器成本和运维成本较高,一般可以直接选择使用阿里云的日志服务

先来看一张阿里云日志服务的架构图

从上面这张图可以看到这个阿里云的日志服务不仅支持多个数据源,同时在日志服务的基础上衍生出不少数据二次加工的功能,比如MacCompute、Spark Streaming等

创建案例项目

Read more   2019/5/27 posted in  三分钟系列 Spring Boot PHP

三分钟上手ssh命令批量执行工具ansible

ansible作为目前批量linux机器远控工具的老大、其易用性、管理成本低等远远超过了同类的Fabric等工具。

准备测试机器,这里就拿已有的kubernetes的机器做测试,机器和ip分配参考:java微服务 k8s生产环境搭建, 注意下面案例中的k8s机器的ip段已经改成 192.168.10,机器列表如下

机器 ip
K8s-ha-deploy 192.168.10.140
K8s-ha-master1 192.168.10.130
K8s-ha-master2 192.168.10.131
K8s-ha-master3 192.168.10.132
K8s-ha-node1 192.168.10.135
K8s-ha-node2 192.168.10.136
K8s-ha-node3 192.168.10.137

安装ansible

执行下面的命令在部署机上安装ansible

pip install pip --upgrade -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install --no-cache-dir ansible -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

也可以使用docker一键启动

alias ansible="docker run --rm --name ansible -v ${HOME}/.ssh/config:/home/ansible/.ssh/config:ro -v ${HOME}/.ssh/known_hosts:/home/ansible/.ssh/known_hosts:ro -it williamyeh/ansible:alpine3 ansible"
ansible --version
Read more   2019/5/16 posted in  三分钟系列 OPS

在idea中三分钟搭建spring boot框架源码阅读环境

spring boot是基于spring framework封装的,所以spring boot框架的源码主要就是spring framework框架

下载源码

执行命令

git clone https://github.com/spring-projects/spring-framework.git

下载源码,效果如下:

导入idea

在idea中打开项目,然后gradle会自动完成依赖下载

Read more   2019/5/12 posted in  Spring Boot 三分钟系列