家サーバの設定記録

graylogをCentOS7にインストールしてみる

splunkのようなログ解析ツールにgraylogというのがあるらしい。

それを動かすには２つの方法があり、１つは仮想アプライアンスで
出来合いのものを動かす方法。
もう一つは、rpm等を使ってサーバにインストールする方法だそうだ。

仮想アプライアンスは後で試すとして、とりあえず、CentOS7にインストールしてみる。

インストールする際には、JDKとElasticsearch、MongoDBのインストールが必要らしい。

１．JDKのインストール
まず、jdk-8u101-linux-x64.rpmのダウンロード

# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u101-b13/jdk-8u101-linux-x64.rpm

ダウンロードしたらインストールする
# rpm -ihv jdk-8u101-linux-x64.rpm

２．elasticsearchのインストール
次にElasticsearchをインストールする。

まず、リポジトリを追加

# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

# cat << EOF > /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-2.x]

name=Elasticsearch repository for 2.x packages

baseurl=https://packages.elastic.co/elasticsearch/2.x/centos

gpgcheck=1

gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

EOF

用意ができたらインストール

# yum install elasticsearch

# systemctl daemon-reload
# systemctl enable elasticsearch

確認してみる。

# systemctl list-unit-files | grep elastic

elasticsearch.service enabled

elasticsearchの設定変更

# cp /etc/elasticsearch/elasticsearch.yml{,.bk}

# cat <<EOF >> /etc/elasticsearch/elasticsearch.yml

cluster.name: graylog

script.inline: false

script.indexed: false

script.file: false

EOF

elasticsearch再起動

# service elasticsearch restart

ちゃんと起動しているかどうか確認

# curl -X GET http://localhost:9200

{

"name" : "Fallen One",

"cluster_name" : "graylog",

"cluster_uuid" : "XWGjyKT6QaOSixynaJLG_A",

"version" : {

"number" : "2.4.4",

"build_hash" : "fcbb46dfd45562a9cf00c604b30849a6dec6b017",

"build_timestamp" : "2017-01-03T11:33:16Z",

"build_snapshot" : false,

"lucene_version" : "5.5.2"

"tagline" : "You Know, for Search"

}

# curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'

{

"cluster_name" : "graylog",

"status" : "green",

"timed_out" : false,

"number_of_nodes" : 1,

"number_of_data_nodes" : 1,

"active_primary_shards" : 0,

"active_shards" : 0,

"relocating_shards" : 0,

"initializing_shards" : 0,

"unassigned_shards" : 0,

"delayed_unassigned_shards" : 0,

"number_of_pending_tasks" : 0,

"number_of_in_flight_fetch" : 0,

"task_max_waiting_in_queue_millis" : 0,

"active_shards_percent_as_number" : 100.0

}

３．MongoDBのインストール

# cat <<"EOF" > /etc/yum.repos.d/mongodb-org-3.2.repo

[mongodb-org-3.2]

name=MongoDB Repository

baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/

gpgcheck=1

enabled=1

gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

EOF

# yum install mongodb-org

サービス起動

# systemctl start mongod

# systemctl enable mongod

４．graylogのインストール

リポジトリの取得

# wget https://packages.graylog2.org/repo/packages/graylog-2.0-repository_latest.rpm

リポジトリをインストール
# rpm -ivh graylog-2.0-repository_latest.rpm

# yum install graylog-server

# yum -y install epel-release

# yum -y install pwgen

# sed -e "/^password_secret/c password_secret = $(pwgen -N 1 -s 96)" \

-e "/^root_password_sha2 /c root_password_sha2 = $(echo -n P@ssw0rd | sha256sum | awk '{print $1}')" \

-e "/^#root_email/c root_email = root@localhost" \

-e "/^root_timezone/c root_timezone = Japan" \

-e "/^elasticsearch_discovery_zen_ping_unicast_hosts/c elasticsearch_discovery_zen_ping_unicast_hosts = $(hostname -I | xargs -n 1 | xargs -I{} echo {}:9300 | tr '\n' ',' | sed 's/,$//g')" \

-e "/^elasticsearch_max_docs_per_index/c elasticsearch_max_docs_per_index = 20000000" \

-e "/^elasticsearch_shards/c elasticsearch_shards = 1" \

-e "/^elasticsearch_replicas/c elasticsearch_replicas = 0" \

-e "/^rest_listen_uri/c rest_listen_uri = http://192.168.1.10:12900/" \

-e "/#web_listen_uri/c web_listen_uri = http://192.168.1.10:9000/" \

-i.bk /etc/graylog/server/server.conf

設定できたらサービスの再起動

# systemctl daemon-reload

# systemctl restart graylog-server

# systemctl enable graylog-server

# systemctl enable elasticsearch

firewallの穴あけをする

# firewall-cmd --permanent --zone=public --add-port=9000/tcp

# firewall-cmd --permanent --zone=public --add-port=12900/tcp

# firewall-cmd --permanent --zone=public --add-port=1514/tcp

# firewall-cmd --reload

ブラウザで、
http://192.168.1.10:9000　にアクセスする。
ID/パスワードは　admin　と　P@ssw0rd　←　上で設定したパスワードにする

rsyslogサーバを作る

rsyslog.confの設定を変更する

# vi /etc/rsyslog.conf

# Provides UDP syslog reception

$ModLoad imudp

$UDPServerRun 514

# Provides TCP syslog reception

$ModLoad imtcp

$InputTCPServerRun 514

# 送信元を限定設定の追加

# Sender

$AllowedSender UDP, 127.0.0.1, 192.168.1.0/24

$AllowedSender TCP, 127.0.0.1, 192.168.1.0/24

設定が終了したら、Firewalldの設定を変更と、rsyslogdの再起動
# firewall-cmd --permanent --add-port=514/tcp # firewall-cmd --permanent --add-port=514/udp # firewall-cmd --reload # systemctl restart rsyslog

syslogクライアント側の設定

# vi /etc/rsyslog.conf

# ### begin forwarding rule ###

# The statement between the begin ... end define a SINGLE forwarding

# rule. They belong together, do NOT split them. If you create multiple

# forwarding rules, duplicate the whole block!

# Remote Logging (we use TCP for reliable delivery)

# An on-disk queue is created for this action. If the remote host is

# down, messages are spooled to disk and sent when it is up again.

$ActionQueueFileName fwdRule1 # unique name prefix for spool files

$ActionQueueMaxDiskSpace 1g # 1gb space limit (use as much as possible)

$ActionQueueSaveOnShutdown on # save messages to disk on shutdown

$ActionQueueType LinkedList # run asynchronously

$ActionResumeRetryCount -1 # infinite retries if host is down

# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional

*.* @192.168.1.10:514

*.* @@192.168.1.10:514

# systemctl restart rsyslog

syslogデータは　/var/log/messages に保存される。
これだと、ログが混在してしまうので、IPアドレス毎に分離する。
以下の2行を追加。

# vi /etc/rsyslog.conf
$template ClinetMessage,"/var/log/rsyslog/%fromhost%/messages.log"
*.* -?ClinetMessage

さらに日ごとに分けるなら、/var/log/rsyslog以下を
/var/log/rsyslog/%fromhost%/%$year%%$month%%$day%_messages.log
とする。

fluentdをインストールする

wgetをインストールする

# yum install wget

fluentdからRedhat7用のRPMをダウンロードする
# wget http://packages.treasuredata.com.s3.amazonaws.com/2/redhat/7/x86_64/td-agent-2.3.4-0.el7.x86_64.rpm

依存性を保つため、redhat-lsb-coreをインストールする
# yum install redhat-lsb-core

ダウンロードしたtd-agentをインストールする
# rpm -ivh td-agent-2.3.4-0.el7.x86_64.rpm

バージョンを確認する

# td-agent --version

td-agent 0.12.31

CentOS7の設定

IPアドレスを固定する

# less /etc/sysconfig/network-scripts/ifcfg-enp0s3

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=enp0s3

UUID=91c800a4-5144-41da-a10c-53c555035f9b

DEVICE=enp0s3

ONBOOT=yes

IPADDR0=192.168.1.10

PREFIX=24

GATEWAY0=192.168.1.1

作り直し＆初期設定

家ネットワークを大きく見直した。
コンセプトは以下のとおり

ブロードバンドルータ－DMZ－FW－プライベートNW　という構成に変更
DMZ内にサーバを設置
syslogを一か所に集めるため、syslogサーバを立てる
syslog管理をするため何か（splunkまたはkibana）を設定する
Webサーバで公開する内容は、音データ、blogデータ、アクセスログデータ

ここまでやったこと

家のネットワーク構成修正（済）
サーバ系はDMZに設置（済）
CentOS６を新規仮想サーバとして作成
selinuxの設定をdisableに設定
iptables で、sshとsyslog（udp,tcp）を許可
syslogサーバを設定

これからやること

Webサーバの再構築
blogサーバ構築
音楽データ配信用設定
Webalizerの設定
kibanaを試す

悩みどころ

CentOS6のデータ領域が小さい→大きくするか？新規に作り直すか？
blogサーバはwiki？wordpress？tdiary？
データ配信用に特別な設定をするか？今のようにWebサーバの機能で行くか？
splunkは再度インストールできないものか？
メールサーバはどうするか？
DNSサーバはどうするか？

ノートPCでサスペンドさせない設定

ノートPCで蓋を閉じてもサスペンドにならないようにするには
/etc/systemd/logind.conf
で

HandleLidSwitch=ignore

とする。

tdiaryのインストール

tdiaryをインストールするために、まずrubyをインストールする。

# yum install ruby

gemとかrubyの仕組みがよくわかってなくて、
gemでのtdiaryがうまくインストールできないため、
tdiary.orgから最新バージョンのものを取ってくる。

$ cd ./public_html

$ wget http://www.tdiary.org/download/tdiary-full-v4.0.4.tar.gz

$ mv tdiary-v4.0.4/ ./public_html/diary
$ cd public_html/diary/
$ chmod 755 ./diary/

この状態で、tdiaryにアクセスすると、web上で以下のようなエラーが出る。

Could not find addressable-2.3.6 in any of the sources (Bundler::GemNotFound)

ってことで、bundle install を実行



$ gem install bundler


$ cd /home/hoge/public_html/diary


$ bundle install




この状態で、tdiaryにアクセスすると、web上で以下のようなエラーが出る。

No such file or directory - tdiary.conf (Errno::ENOENT)



これはtdiary.confがないから。


サンプルを元にtdiary.confを作る。



$ cp tdiary.conf.beginner tdiary.conf



これで一応、tdiaryが動く。



.htaccessの設定



AddHandler cgi-script .rb
AddType application/xml .rdf
<Files "*.rhtml*">
        deny from all
</Files>

<Files "tdiary.*">
        deny from all
</Files>

<Files update.rb>
        AuthName      tDiary
        AuthType      Basic
        AuthUserFile  /home/hoge/.htpasswd
        Require user  hogehoge
</Files>






.htpasswd　の設定



$ cd


$ htpasswd -c .htpasswd hogehoge


パスワードを2回入れる。

Centos7　つづき

日本語を入力できるようにkkcをインストールする

# yum install ibus-kkc.x86_64

/etc/httpd/conf.d/user.conf

# UserDir: The name of the directory that is appended onto a user's home

# directory if a ~user request is received.

# The path to the end user account 'public_html' directory must be

# accessible to the webserver userid. This usually means that ~userid

# must have permissions of 711, ~userid/public_html must have permissions

# of 755, and documents contained therein must be world-readable.

# Otherwise, the client will only receive a "403 Forbidden" message.

# UserDir is disabled by default since it can confirm the presence

# of a username on the system (depending on home directory

# permissions).

#UserDir disabled

UserDir enable

# To enable requests to /~user/ to serve the user's public_html

# directory, remove the "UserDir disabled" line above, and uncomment

# the following line instead:

#UserDir public_html

</IfModule>

# Control access to UserDir directories. The following is an example

# for a site where these directories are restricted to read-only.

AllowOverride FileInfo AuthConfig Limit Indexes

Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec

Require method GET POST OPTIONS

</Directory>

http.conf を修正

ServerRoot "/etc/httpd"

Listen 80

Include conf.modules.d/*.conf

User apache

Group apache

ServerAdmin webmaster@example.com

ServerName www.example.com:80

AllowOverride none

Require all denied

</Directory>

DocumentRoot "/var/www/html"

AllowOverride None

Require all granted

</Directory>

Options Includes ExecCGI FollowSymLinks

AllowOverride All

Require all granted

</Directory>

Options MultiViews

AllowOverride None

Order allow,deny

Allow from all

</Directory>

DirectoryIndex index.html index.rb index.php

</IfModule>

Require all denied

</Files>

ErrorLog "logs/error_log"

LogLevel warn

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

LogFormat "%h %l %u %t \"%r\" %>s %b" common

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio

</IfModule>

CustomLog "logs/access_log" combined

</IfModule>

ScriptAlias /cgi-bin/ "/var/www/cgi-bin/"

</IfModule>

AllowOverride None

Options None

Require all granted

</Directory>

UserDir enable

UserDir public_html

</IfModule>

AllowOverride FileInfo AuthConfig Limit

Options Includes ExecCGI FollowSymLinks

Order allow,deny

Allow from all

AddHandler cgi-script .cgi .rb .php .pl

</Directory>

AllowOverride FileInfo AuthConfig Limit

Options Includes ExecCGI FollowSymLinks

Order allow,deny

Allow from all

AddHandler cgi-script .cgi .rb .php .pl

</Directory>

TypesConfig /etc/mime.types

AddType application/x-compress .Z

AddType application/x-gzip .gz .tgz

AddHandler cgi-script .cgi .rb .php .pl

AddType text/html .shtml

AddOutputFilter INCLUDES .shtml

</IfModule>

AddDefaultCharset UTF-8

MIMEMagicFile conf/magic

</IfModule>

EnableSendfile on

Centos7のインストールと設定

VirtualBoxに新しいマシンを追加。
Centos7をインストールする。
とりあえず、メモリは4G、HDDは20G。あとはおまかせでインストール開始。
インストール終了後、一旦仮想PCの電源OFF。

vmwareでの作業
仮想CDからインストール用のISOフィアルを抜く
ネットワークの設定を　NAT　から　ブリッジアダプターに変更

仮想PC（Centos7）での作業
固定IPアドレスを設定

sshdを自動起動させるための設定
# systemctl enable sshd.service

selinuxを停止させる

# cd /etc/selinux/

#SELINUX=enforcing

SELINUX=disabled

一回リブート

ネットワークを起動時に生かす
# vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
ONBOOT = no を変更して
ONBOOT = yes
とする

Firewallの設定を確認、その後、http,httpsを通過させるように設定
# firewall-cmd --list-all-zones
# firewall-cmd --add-service=http --zone=public --permanent
# firewall-cmd --add-service=https --zone=public --permanent

httpd　と　php　と　mariadbをインストール
# yum install httpd mod_ssl php php-mysql mariadb-server

httpdとmariadbを起動

# systemctl start httpd.service

# systemctl start mariadb.service

# systemctl enable httpd.service

# systemctl enable mariadb.service

php.iniファイルを編集
# /etc/php.ini
mbstring.internal_encoding = UTF-8
mbstring.http_output = UTF-8
mbstring.encoding_translation = On

mariadbのファイルを編集
# vi /etc/my.cnf.d/server.cnf
[mysqld]

character-set-server=utf8

skip-character-set-client-handshake

# vi /etc/my.cnf.d/client.cnf

[client]

default-character-set=utf8

# vi /etc/my.cnf.d/mysql-clients.cnf
[mysql]

default-character-set=utf8

とりあえずここまで。

postfixの設定

postfixのmain.cfを編集

relayhost = [xx.yy.auone-net.jp]:587 ←xyはsmtpサーバによって異なる

最終行に追加
smtp_sasl_auth_enable = yes
smtp_sasl_password_maps = hash:/etc/postfix/smtp_passwd

smtp_sasl_security_options = noanonymous
smtp_sasl_mechanism_filter = CRAM-MD5, DIGEST-MD5, PLAIN, LOGIN

# vi /etc/postfix/smtp_passwd　←新規作成
xx.yy.auone-net.jp a123456789:password　←a123456789 はアカウント　passwordは設定したパスワード

# yum -y install cyrus-sasl-plain cyrus-sasl-md5　←これを入れないと怒られる

# /etc/init.d/saslauthd restart
# /etc/init.d/postfix restart

# mail test@example.com　←テストメールを自分のメールアドレスに送付

# /etc/init.d/dovecot restart

再起動で立ち上がるように設定

# chkconfig saslauthd --level 345 on

# chkconfig postfix --level 345 on

# chkconfig dovecot --level 345 on

家サーバの設定記録

graylogをCentOS7にインストールしてみる

rsyslogサーバを作る

fluentdをインストールする

CentOS7の設定

作り直し＆初期設定

ノートPCでサスペンドさせない設定

tdiaryのインストール

Centos7 つづき

Centos7のインストールと設定

postfixの設定

Centos7　つづき