自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Hadoop Shell 命令 与 WordCount

前言 在前2章内, 我们分别介绍了Hadoop安装的3种形式(Standalone mode/ Pseudo-Distributed mode/Cluster mode). 本章, 我们介绍如何使用HDFS命令进行一些基本的操作. 官方的操作文档可以查看Hadoop Shell命令. 正文 前置...

2019-03-30 17:34:51

阅读数 108

评论数 0

原创 Spark Shell 的使用

前言 前一章中我们介绍了Spark的Standalone模式的安装. 本章我们介绍下Spark Shell操作窗口的基本的安装. 基本启动与使用 基本启动与使用 本地启动 进入./bin目录, 使用spark-shell即可启动. localhost:bin Sean$ spark-sh...

2019-03-30 15:32:56

阅读数 741

评论数 0

原创 Spark 安装 Standalone模式 (单机与集群)

前言 今天我们了解下Spark的安装. Spark的安装模式有很多模式, 主要包括 Spark Standalone、Running Spark on YARN、Running Spark on Kubernetes、Running Spark on Mesos. 其中YARN/Mesos/Kub...

2019-03-29 17:09:04

阅读数 399

评论数 0

原创 Java 多线程面试题

前言 在看完《Java多线程编程核心技术》与《Java并发编程的艺术》之后,对于多线程的理解到了新的境界. 先拿如下的题目试试手把. 投行面试 Q1: 现在有线程 T1、T2 和 T3。你如何确保 T2 线程在 T1 之后执行,并且 T3 线程在 T2 之后执行? 答案: 使用Thread....

2019-03-27 20:06:51

阅读数 1429

评论数 2

原创 Java 多线程(总章)

前言 随着CPU核数的不断增多,多线程技术变得越来越重要.就个人感觉, 其也是分布式研究的基础. 在新时代内, 必然会从本机多线程协作向多机多进程协作进行发展.(最近比较火的Hadoop与Spark皆是如此). Java内的多线程技术来源已久, 从开始的Thread/Runnable结构、sync...

2019-03-27 10:54:07

阅读数 70

评论数 0

原创 JUC包(六) Executor框架

前言 在上文中, 我们介绍了线程池的基本构造与使用原理. 本章, 我们将介绍下线程池的上一层的包装Executor. 正文 为了应对不同的场景, Java设计者设计出不同的线程池 ThreadPoolExecutor FixedThreadPool 固定大小线程池 SingleThread...

2019-03-27 01:46:44

阅读数 38

评论数 0

原创 JUC包(五) 线程池

前言 在前面的篇章中.我们将解了线程/锁/多线程容器.本章我们将介绍一个用于管理线程的容器:线程池. 正文 线程池基本构造如下所示: 基本使用步骤如下: 步骤1: 核心线程池是否已满? 未满直接执行,满了放入等待队列BlockedQueue中. 步骤2: 等待队列是否已满? 未满放入其中, 满...

2019-03-27 01:29:09

阅读数 53

评论数 0

原创 JUC包(四) 并发容器与框架

前言 在经过前几章的AQS与CAS等原理的轰炸之后. 本章, 我们将了解下JUC包内常见的并发容器.对于各种的并发容器, 我们会各取一个进行细说. Map类型容器(CurrentHashMap) Queue类型容器(ConcurrentLinkedQueue) 阻塞队列类型容器(BlockedL...

2019-03-27 00:37:58

阅读数 72

评论数 0

原创 JUC包(三) 锁与锁实现(AQS)

前言 在原 JUC包 (一) 原子类 与 CAS操作中我们主要了解了什么是原子操作,以及原子操作的实现CAS(Compare ans Swap)操作. 本章,我们继续接着介绍使用CAS原理实现的锁操作. 锁在JUC包中使用非常广泛, 其取代了传统的synchronized关键字被广泛使用. 下文...

2019-03-26 20:24:29

阅读数 92

评论数 0

原创 Hadoop安装(YARN 集群)

前言 在前面的章节中, 我们介绍了Hadoop 安装(单结点). 本章中,我们介绍下Hadoop的集群安装模式. 前置条件 三台VMware虚拟机, 分别为: 192.168.31.60 192.168.31.61 192.168.31.62 其主机名称分别为: sean60/sean61/...

2019-03-26 00:35:43

阅读数 86

评论数 0

原创 Hadoop 安装(单结点)

前言 Hadoop的部署与安装是Hadoop研究过程中必定不可缺少的一环. Hadoop部署方式分三种,Standalone mode、Pseudo-Distributed mode、Cluster mode,其中前两种都是在单机部署。本章主要讲述如何在Standalone mode与Pseudo...

2019-03-25 11:15:20

阅读数 46

评论数 0

原创 ZooKeeper 使用场景之 负载均衡

前言 上章,我们简单了解了下ZooKeeper内的成员变量及调度服务.本章主要讲解下ZooKeeper的负载均衡. 正文 假设我们有3台服务器用于负载.那么有一台Client,其该怎么链接哪台机器呢?当其链接的主机宕机后该链接哪台服务器呢?我们可以使用Nginx或KeepAlive或者心跳机制....

2019-03-23 22:46:45

阅读数 223

评论数 0

原创 ZooKeeper 基本架构 与常见运用

前言 在前面的章节ZooKeeper 基本操作 与 Java APIs我们介绍了.ZooKeeper的基本使用.本章中,我们将讲解下ZooKeeper的基本架构与常见的运用. 基本架构 使用场景 基本架构 在讲述基本架构之前, 我们先问一个问题: 什么是ZooKeeper? ZooKeep...

2019-03-23 22:29:19

阅读数 34

评论数 0

原创 ZooKeeper 基本操作 与 Java APIs

前言 在前章ZooKeeper安装(集群化)我们安装ZooKeeper集群. 本章, 我们讲解下ZooKeeper的基本操作. 命令行操作 我们通常使用zkCli.sh脚本进行登陆.登陆命令:./zkCli.sh --server 192.168.31.60:2181 其后,基本操作主要有如下几...

2019-03-23 21:58:47

阅读数 152

评论数 0

原创 Java核心基础(总章)

前言 最近又看了一遍Java基础.顺便将之前博客内的内容都汇总一下. 正文 Java基础相关的博文主要包括如下内容: [1]. JAVA核心解析:JDK和JRE [2]. Java基础(二) 注释和基本数据类型 [3]. Java基础(三) Java变量、操作符及判断和循环语句 [4]. Jav...

2019-03-23 15:56:23

阅读数 197

评论数 0

原创 ZooKeeper安装(集群化)

前言 重新安装了下ZooKeeper,仍然遇到了一些问题.将操作流程记录如下. 基本操作 前提条件: JDK. 基本机器: 192.168.31.60 192.168.31.61 192.168.31.62 对于ZooKeeper而言, Master与Follower结点是通过选举选举出...

2019-03-23 12:40:48

阅读数 161

评论数 0

原创 Linux 集群脚本基础

前言 在最近安装虚拟机集群的时候,随意写了下虚拟机集群的脚本. 基础知识 分割字符串 shell 使用指定的分割符来分割字符串 #!/bin/bash string="hello,shell,haha" array=(${string//,/ }) for var...

2019-03-23 11:35:03

阅读数 59

评论数 0

原创 VMware虚拟机 网桥模式详细配置(及计算机网络基本知识 IP/子网掩码/网关/DNS)

前言 在昨日配置虚拟机的时候,虚拟机内部无法访问百度等网站进行资源下载.查明看了很多资料之后,发现是因为网关配置错误了.(真是有点蛋疼.)于是将网桥模式的配置过程详细配置如下. 基本操作 点击编辑下的网络配置,恢复默认设置. 选择桥接模式,选择需要的网卡.(注意 无线网选无限网卡 / 有线...

2019-03-23 11:17:11

阅读数 471

评论数 0

原创 Java 多线程技巧

总结 本章主要记录.Java多线程分析和使用过程中的一些技巧.后续的内容也会陆续补充在此处. 正文 如何Dump文件? 使用jstack -l <pid> >> filename. 例如: jstack -l 20866 &gt...

2019-03-23 10:21:32

阅读数 42

评论数 0

原创 HashMap 线程安全问题

前言 我们紧接着上节ArrayList 线程安全问题讲下HashMap的线程安全问题. 之前看书,书中经常会提及.HashTable是线程安全的,HashMap是线程非安全的.在多线程的情况下, HashMap会出现死循环的情况.此外,还会推荐使用新的JUC类 ConcurrentHashMap....

2019-03-21 21:55:33

阅读数 742

评论数 0

提示
确定要删除当前文章?
取消 删除