jenkins 更换主目录

步骤如下:

1,停止jinkens

1
service jenkins stop

2, 修改jenkins配置文件

vim /etc/sysconfig/jenkins,修改JENKINS_HOME

阅读更多

【DevOps】第3步:中控平台jenkins

一,安装

服务器安装

以centos7为例

1, 安装 添加yum repos,然后安装

1
2
3
sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
sudo yum install jenkins

阅读更多

【DevOps】第二步:Docker镜像打包上传至仓库

镜像仓库

镜像仓库有好些地方可以存,大部分的公有云均提供免费的镜像仓库,常见如下:

阅读更多

【DevOps】第一步:编写Dockerfile与项目实践

Dockerfile简介

Dockerfile 是一个文本文件,其内包含了一条条的 指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。

Dockerfile分为四部分:

  • FROM:基础镜像信息
  • MAINTAINER:维护者信息
  • RUN、COPY、ADD、EXPOSE等:镜像操作指令
  • CMD、ENTRYPOINT:容器启动时执行指令。

阅读更多

【运维】Nginx网关与热部署

Nginx简介

Nginx是一个轻量级的Http服务器,Nginx包含一个单一的master进程和多个worker进程。所有这些进程都是单线程,并且设计为同时处理成千上万个连接。Nginx使用操作系统事件机制来快速响应这些请求。
Nginx的master进程负责读取配置文件、处理套接字、派生worker进程、打开日志文件和编译嵌入式的Perl脚本。
Nginx的worker进程运行在一个忙碌的事件循环处理中,用于处理进入的连接。每一个Nginx模块被构筑在worker中,因此任何请求处理、过滤、处理代理的连接和更多的操作都在worker进程中完成。

阅读更多

centos7 安装Docker及docker-compose

一、安装Docker

1. 卸载旧版本(若未安装过Docker,可跳过)

1
2
3
4
5
6
7
8
$ sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine

阅读更多

kafka集群搭建 - ZooKeeper

一、什么是ZooKeeper?

ZooKeeper(动物园管理员),顾名思义,是用来管理Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员,同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。

阅读更多

kafka原理及Docker环境部署

技术原理

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库 (计算机)。

阅读更多

redash部署使用

一、安装

https://github.com/getredash/redash 拉取代码,运行docker-compose.production.yml

1,docker-compose文件调整

主要修改了两处:

1,增加了redis和postgres的db文件与宿主机的映射,不让docker容器停止后数据丢失。

官方默认的docker-compose.production.yml在docker-compose down 命令后,所有的配置信息都丢失了

阅读更多

jenkins 批量添加任务job

最近重构一个Scrapy爬虫项目,需要将300个spider的调度任务在jenkins中添加。这已经超过了手动一个一个添加任务的极限,是时候要借助工具批量添加了。

Jenkins API

Jenkins提供了一套远端访问的API,目前有3种方式:

  • XML

  • JSON with JSONP support

  • Python

阅读更多