一、数据方面

数据源(调研资料、数据资料、文本资料）->数据中台（数据融合、异常检测、ID融合）
数据层：工具集、数据集、服务层
中台层：数据中台、算法中台、知识中台

email邮件解析作为比较基础的模块，用来收取邮件、发送邮件。python的mail模块调用几行代码就能写一个发送/接受邮件的脚本。但是如果要做到持续稳定，能够上生产环境的代码，还是需要下一番功夫，解决编码和内容异常的问题。可能遇到的问题如下：

• 邮件编码问题
• 邮件日期格式解析
• 多附件的下载
• 邮件如何增量解析？

步骤如下：

1，停止jinkens

1

service jenkins stop

2, 修改jenkins配置文件

vim /etc/sysconfig/jenkins，修改JENKINS_HOME

一，安装

服务器安装

以centos7为例

1, 安装 添加yum repos，然后安装

1
2
3

sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
sudo yum install jenkins

镜像仓库

镜像仓库有好些地方可以存，大部分的公有云均提供免费的镜像仓库，常见如下：

• 腾讯云：https://console.cloud.tencent.com/tke2/registry/user/self?rid=1（需登录）

• 阿里云: https://cr.console.aliyun.com/cn-hangzhou/instances/repositories（需登录）

• 自建私有仓库，参考之前的一篇文章docker私有仓库搭建

• Docker Hub：不涉及私密的或者你想公开的镜像可以上传到https://hub.docker.com/。

Dockerfile简介

Dockerfile 是一个文本文件，其内包含了一条条的 指令(Instruction)，每一条指令构建一层，因此每一条指令的内容，就是描述该层应当如何构建。

Dockerfile分为四部分：

• FROM：基础镜像信息
• MAINTAINER：维护者信息
• RUN、COPY、ADD、EXPOSE等：镜像操作指令
• CMD、ENTRYPOINT：容器启动时执行指令。

Nginx简介

Nginx是一个轻量级的Http服务器，Nginx包含一个单一的master进程和多个worker进程。所有这些进程都是单线程，并且设计为同时处理成千上万个连接。Nginx使用操作系统事件机制来快速响应这些请求。
Nginx的master进程负责读取配置文件、处理套接字、派生worker进程、打开日志文件和编译嵌入式的Perl脚本。
Nginx的worker进程运行在一个忙碌的事件循环处理中，用于处理进入的连接。每一个Nginx模块被构筑在worker中，因此任何请求处理、过滤、处理代理的连接和更多的操作都在worker进程中完成。

一、安装Docker

1. 卸载旧版本（若未安装过Docker，可跳过）

1
2
3
4
5
6
7
8

$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

一、什么是ZooKeeper？

ZooKeeper（动物园管理员），顾名思义，是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。

技术原理

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。此外，Kafka可以通过Kafka Connect连接到外部系统（用于数据输入/输出），并提供了Kafka Streams——一个Java流式处理库 (计算机)。