dushenzhi的博客

博学之,审问之,慎思之,明辨之,笃行之!

Kafka快速入門

kafka個人速記

下载kafka,链接:http://kafka.apache.org/downloads 安装 tar -xzf kafka_2.12-2.2.0.tgz cd kafka_2.12-2.2.0 启动zk bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 启动 Kafka 服...

Docker简易教程

docker个人实践随记

个人docker hub地址: https://hub.docker.com/r/dushenzhi https://github.com/aerokube/selenoid-images.git 启动docker systemctl start docker 设置开机自启动 sudo systemctl enable docker 拉取镜像 docker pull se...

Python读取Hadoop Sequence File

一个用python读取SequenceFile示例

示例代码如下: import sys from hadoop.io import SequenceFile if __name__ == '__main__': if len(sys.argv) < 3: print 'usage: SequenceFileReader <filename> <output>' else: ...

https证书问题导致HttpClient访问异常的踩坑事故

HttpClient访问一些https站点报SSLHandshakeException问题解决方案

问题 最近在写网页爬虫,发现爬虫爬取数据时会漏一些站点,排查发现在用HttpClient访问部分https网站(如:https://www.gucci.cn/zh/)时,由于证书信任问题,会报如下错误: javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bui...

Selenium入门示例

Selenium笔记

什么是Selenium Selenium能够自动化控制浏览器.可用于Web应用自动化测试、web自动化管理任务和爬虫等,只要是需要浏览器自动化流程处理的都可以用Selenium来处理。 Selenium支持多种编程语言,包括: Java Python C# JavaScript PHP C# Objective-C 其他… 支持多种浏览器,包括: ...

Java类加机制

一道关于Java类加载面试题的分析

什么是类的加载? 类的加载指的是将类的.class文件中的二进制数据读入内存中,将其放在运行时数据区域的方法去内,然后在堆中创建java.lang.Class对象,用来封装类在方法区的数据结构.只有java虚拟机才会创建class对象,并且是一一对应关系.这样才能通过反射找到相应的类信息 一道Java面试题 一道Java面试题代码如下所示,请给出下面代码的执行结果 public class...

最牛日志框架slf4j如何设计和实现

slf4j日志框架代码浅析

slf4j日志框架简介 每一个Java程序员都知道日志对于任何一个Java应用程序尤其是服务端程序是至关重要的,java.util.logging、Apache log4j、logback等常用的日志框架相信很多同学也已经有接触过或者用过其中的一种或几种。 SLF4J(Simple logging Facade for Java)不是一个真正的日志实现,而是一个抽象层( abstract...

ATS(Apache Traffic Server)学习笔记

ATS日常随笔

ATS简易教程 lua插件目录:{ats}/etc/trafficserver/lua/ 日志目录:{ts}/var/log/trafficserver/ 插件目录:{ts}/libexec/trafficserver/ ATS脚本说明 ATS各种启动脚本位于bin/目录下: 主程序名称是traffic_server,提供{start|stop|status|restart|con...

mybatis generator简易教程

mybatis generator简易教程

mybatis generator简易教程 mybatis generator jar包下载地址: http://repo1.maven.org/maven2/org/mybatis/generator/mybatis-generator-core/ 官网地址:http://mybatis.org/generator/ github托管地址:https://github.com/myba...

Mac压缩图片

Mac自带预览(preview)图片压缩处理

图片处理 在日常上网过程中经常会碰到一些系统限制上传图片大小和格式这样的问题,而我们日常生活中用手机或者相机拍下的原始图片素材会不满足要求,这时很多人会想到利用PS或者下载安装其他专业图片处理工具来处理。 再如我们在写博客过程中也经常需要引用一些图片素材,但是也希望用较小的图片来提升博客的访问速度,这时候也会有类似的需求。 其实Mac系统用户可以不用去安装其他软件件,自带的默认图片工具“预览...