智能投研业内进展

一、数据方面

数据源(调研资料、数据资料、文本资料)->数据中台(数据融合、异常检测、ID融合)
数据层:工具集、数据集、服务层
中台层:数据中台、算法中台、知识中台

Read more
Python邮件正文及附件解析

email邮件解析作为比较基础的模块,用来收取邮件、发送邮件。python的mail模块调用几行代码就能写一个发送/接受邮件的脚本。但是如果要做到持续稳定,能够上生产环境的代码,还是需要下一番功夫,解决编码和内容异常的问题。可能遇到的问题如下:

  • 邮件编码问题
  • 邮件日期格式解析
  • 多附件的下载
  • 邮件如何增量解析?
Read more
jenkins 更换主目录

步骤如下:

1,停止jinkens

1
service jenkins stop

2, 修改jenkins配置文件

vim /etc/sysconfig/jenkins,修改JENKINS_HOME

Read more
【DevOps】第3步:中控平台jenkins

一,安装

服务器安装

以centos7为例

1, 安装 添加yum repos,然后安装

1
2
3
sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo
sudo rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key
sudo yum install jenkins
Read more
【DevOps】第二步:Docker镜像打包上传至仓库

镜像仓库

镜像仓库有好些地方可以存,大部分的公有云均提供免费的镜像仓库,常见如下:

Read more
【DevOps】第一步:编写Dockerfile与项目实践

Dockerfile简介

Dockerfile 是一个文本文件,其内包含了一条条的 指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。

Dockerfile分为四部分:

  • FROM:基础镜像信息
  • MAINTAINER:维护者信息
  • RUN、COPY、ADD、EXPOSE等:镜像操作指令
  • CMD、ENTRYPOINT:容器启动时执行指令。
Read more
【运维】Nginx网关与热部署

Nginx简介

Nginx是一个轻量级的Http服务器,Nginx包含一个单一的master进程和多个worker进程。所有这些进程都是单线程,并且设计为同时处理成千上万个连接。Nginx使用操作系统事件机制来快速响应这些请求。
Nginx的master进程负责读取配置文件、处理套接字、派生worker进程、打开日志文件和编译嵌入式的Perl脚本。
Nginx的worker进程运行在一个忙碌的事件循环处理中,用于处理进入的连接。每一个Nginx模块被构筑在worker中,因此任何请求处理、过滤、处理代理的连接和更多的操作都在worker进程中完成。

Read more
centos7 安装Docker及docker-compose

一、安装Docker

1. 卸载旧版本(若未安装过Docker,可跳过)

1
2
3
4
5
6
7
8
$ sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
Read more
kafka集群搭建 - ZooKeeper

一、什么是ZooKeeper?

ZooKeeper(动物园管理员),顾名思义,是用来管理Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员,同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。

Read more
kafka原理及Docker环境部署

技术原理

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。此外,Kafka可以通过Kafka Connect连接到外部系统(用于数据输入/输出),并提供了Kafka Streams——一个Java流式处理库 (计算机)。

Read more