paloma blog

インフラエンジニアやってます。(NWより) 備忘など。Python勉強中。タイトルは好きなカクテルから。

WSLのPrivoxyの機能をいろいろ有効にする

前回インストールしたprivoxyですが、ログが出力されていなかったので有効にします。
ついでに広告ブロックもやってみます。

前回勘違いしていましたが、コンテンツフィルタをしたいわけではないのでProxyサーバに証明書は入れなくても大丈夫ですね。 リバースプロキシとごっちゃになっていたようです。

HTTPSの場合はCONNECTメソッドを投げてプロキシは中継するだけみたいですね。
TLSの終端は通常通りClient - Serverでやると。

Privoxyでやりたいこと

とりあえずこれだけできればOKです。

トラフィックログ出力

マニュアルを読むとデフォルトだとログ出力されず、デバッグを有効にしないといけないようです。

http://www.privoxy.org/user-manual/config.html#LOGFILE

The logfile is where all logging and error messages are written. The level of detail and number of messages are set with the debug option (see below).

デバッグにも出力レベルがあります。 接続先が分かればOKですが、とりあえず推奨レベルをONにします。

debug     1 # Log the destination for each request Privoxy let through. See also debug 1024.
debug   512 # Common Log Format
debug  1024 # Actions that are applied to all sites and maybe overruled later on.
debug  4096 # Startup banner and warnings
debug  8192 # Non-fatal errors

サービス再起動

masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ sudo /etc/init.d/privoxy restart

ログを見てみると…

masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ tail -20 /var/log/privoxy/logfile
(略)
2018-08-18 17:05:29.183 7f0e420b0700 Info: exiting by signal 15 .. bye
2018-08-18 17:05:29.385 7f06e5d30700 Info: Privoxy version 3.0.24
2018-08-18 17:05:29.385 7f06e5d30700 Info: Program name: /usr/sbin/privoxy
2018-08-18 17:05:29.385 7f06e5d30700 Info: Loading filter file: /etc/privoxy/default.filter
2018-08-18 17:05:29.388 7f06e5d30700 Info: Loading filter file: /etc/privoxy/user.filter
2018-08-18 17:05:29.388 7f06e5d30700 Info: Loading actions file: /etc/privoxy/match-all.action
2018-08-18 17:05:29.388 7f06e5d30700 Info: Loading actions file: /etc/privoxy/default.action
2018-08-18 17:05:29.392 7f06e5d30700 Info: Loading actions file: /etc/privoxy/user.action
2018-08-18 17:05:29.393 7f06e5d30700 Info: Listening on port 8118 on IP address 0.0.0.0
2018-08-18 17:05:29.440 7f06e4500700 Request: play.google.com:443/
2018-08-18 17:05:31.147 7f06e30b0700 Request: api.twitter.com:443/
2018-08-18 17:05:31.148 7f06e28a0700 Request: twitter.com:443/
2018-08-18 17:05:34.164 7f06e2090700 Request: tweetdeck.twitter.com:443/
2018-08-18 17:05:39.442 7f06e38c0700 Request: ocsp.digicert.com/
127.0.0.1 - - [18/Aug/2018:17:05:44 +0900] "POST http://ocsp.digicert.com/ HTTP/1.1" 200 0
2018-08-18 17:05:50.232 7f06e38c0700 Request: pbs.twimg.com:443/

おおー取れてますね。
これで変なとこに投げていないか確認できますね。
ということはこのログを分析するツールも作らないといけないわけですね。

あとログローテートもしないとファイルが大きくなってしまうので後でやっておきます。

To prevent the logfile from growing indefinitely, it is recommended to periodically rotate or shorten it.

広告ブロック有効化

Arch Wikiの手順に沿ってやります。
Arch Wikiはいろんな機能の記事が豊富にあるので助かります。

普段FirefoxAdblockを使っているのでこのフィルタを使わせてもらいます。

Privoxy - ArchWiki

ツールをインストール

masashi@DESKTOP-986MNSO:~$ git clone https://github.com/Andrwe/privoxy-blocklist.git
Cloning into 'privoxy-blocklist'...
remote: Counting objects: 7, done.
remote: Total 7 (delta 0), reused 0 (delta 0), pack-reused 7
Unpacking objects: 100% (7/7), done.
Checking connectivity... done.
masashi@DESKTOP-986MNSO:~$
masashi@DESKTOP-986MNSO:~$ cd privoxy-blocklist/
masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ ls
privoxy-blocklist.sh  privoxy-blocklist_test.sh  README.md
masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ ./privoxy-blocklist.sh
Root privileges needed. Exit.

…

権限がない?のでsudoで

masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ sudo ./privoxy-blocklist.sh
[sudo] password for masashi:
The config directory /etc/conf.d doesn't exist. Please either adjust the variable SCRIPTCONF in this script or create the directory.

今度はファイルがない…作ってくれないのか。

masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ sudo ./privoxy-blocklist.sh
No config found in /etc/conf.d/privoxy-blacklist. Creating default one and exiting because you might have to adjust it.
masashi@DESKTOP-986MNSO:~/privoxy-blocklist$

ファイルができたようです。
手順に沿ってコメントインします。

12行目から3行をコメントイン

 12 PRIVOXY_USER="privoxy"
 13 PRIVOXY_GROUP="privoxy"
 14 PRIVOXY_CONF="/etc/privoxy/config"

インストールします

masashi@DESKTOP-986MNSO:~/privoxy-blocklist$ sudo ./privoxy-blocklist.sh
Processing https://easylist-downloads.adblockplus.org/easylistgermany.txt ...

Downloading https://easylist-downloads.adblockplus.org/easylistgermany.txt ...
.. downloading done.
install: invalid group ‘privoxy’

(略)

install: invalid group ‘privoxy’
... http://adblockplus.mozdev.org/easylist/easylist.txt installed successfully.

フィルターをダウンロードしてprivoxyのフォーマットに変換して書き込んでくれたようです。
再起動して試してみます。

FirefoxAdblockを切って…

f:id:paloma69:20180818172353p:plain

効いているようです!
でもブロックログとかは出ないんですかね。
膨大になっちゃうか。

とりあえず動いたのでよし!
でも画面表示が1秒くらい遅くなった気がします。
この辺は支障がでてきたらキャッシュサーバも検討しようと思います。
というか読み込みが遅くなったらわざわざ広告カットした意味がないような(笑)
スマホとか見るときに見やすくなるからいいか。

ちなみにスマホからプロキシONにしたけどページが表示されませんでした。
デフォゲのルータのほう向いちゃってるのが悪いのかな?
ルータにリダイレクト入れればできるか…これは今度やってみます。

前回の宿題

WSLのubuntuはsystemdが無いって書きましたがissueに上がっていたようです。
中身まだ読めてません…。

https://github.com/Microsoft/WSL/issues/1579

参考サイト
https://blog.himanoa.net/entries/19

WSLでProxyサーバを有効にしてみる

家のメイン機はWindows10を使っているのですが、WSLを動かして簡単なコマンド確認とかに使っています。

前からプロキシを導入したいと思っていたのでWSLでできるか試してみます。

今はUbuntu16.041つだけ入っていてこんな感じ。

masashi@DESKTOP-986MNSO:~$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=16.04
DISTRIB_CODENAME=xenial
DISTRIB_DESCRIPTION="Ubuntu 16.04.4 LTS"

masashi@DESKTOP-986MNSO:~$ uname -a
Linux DESKTOP-986MNSO 4.4.0-17134-Microsoft #137-Microsoft Thu Jun 14 18:46:00 PST 2018 x86_64 x86_64 x86_64 GNU/Linux

プロキシサーバはprivoxyを使います。
Privoxy - Home Page

squidしか知らなかったのですが、調べ物をしていてたまたま発見し、導入が簡単そうなので使ってみることにしました。
キャッシュ機能はなく、広告ブロックやTorとの連携ができるみたいです。

インストール

aptでいれます。

masashi@DESKTOP-986MNSO:~$ sudo apt install privoxy
masashi@DESKTOP-986MNSO:~$ dpkg -l | grep privoxy
ii  privoxy                          3.0.24-1                                   amd64        Privacy enhancing HTTP Proxy
masashi@DESKTOP-986MNSO:~$
masashi@DESKTOP-986MNSO:~$ privoxy --version
Privoxy version 3.0.24 (http://www.privoxy.org/)
masashi@DESKTOP-986MNSO:~$

サービス起動

systemctlで動かなかったのでinitで起動。
WSLのubuntuはsystemdじゃない?
後で調べよう。

masashi@DESKTOP-986MNSO:~$ sudo systemctl start proivoxy
Failed to connect to bus: No such file or directory
masashi@DESKTOP-986MNSO:~$
masashi@DESKTOP-986MNSO:~$ sudo /etc/init.d/privoxy start
 * Starting filtering proxy server privoxy                                                                       [ OK ]
masashi@DESKTOP-986MNSO:~$

起動確認

masashi@DESKTOP-986MNSO:~$ ss -lnt
State      Recv-Q Send-Q               Local Address:Port                              Peer Address:Port
Cannot open netlink socket: Protocol not supported
masashi@DESKTOP-986MNSO:~$
masashi@DESKTOP-986MNSO:~$
masashi@DESKTOP-986MNSO:~$ netstat -ant
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address           Foreign Address         State
masashi@DESKTOP-986MNSO:~$

あれ?Listenしてない…

プロセスを見てみる。

masashi@DESKTOP-986MNSO:~$ ps aux
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0   8304    56 ?        Ss   Jul16   0:00 /init ro
root         3  0.0  0.0   8304    52 tty1     Ss   Jul16   0:00 /init ro
masashi      4  0.0  0.0  15112  3328 tty1     S    Jul16   0:00 -bash
masashi   1253  0.0  0.0  12548  1100 tty1     R    13:41   0:00 script 20180815_134125.log
masashi   1254  0.0  0.0  15028  3716 pts/0    Ss   13:41   0:00 bash -i
privoxy   4067  0.0  0.0  12100  1272 ?        Ss   13:51   0:00 /usr/sbin/privoxy --pidfile /var/run/privoxy.pid --user
masashi   4073  0.0  0.0  15664  1852 pts/0    R    14:07   0:00 ps aux
masashi@DESKTOP-986MNSO:~$

動いてるよなー。

ぐぐったら気になるページを見つけました。

http://murkyideas.xsrv.jp/index.php?WSL%20on%20Windows10

sshdがソケットをLISTENしてもUbuntu側でnetstat -ant|grep LISTENとかやってもみえない(WSLのネットワーク周りとかユーザ周りは完全にWindows側のエミュレーションで動いていて、カーネルから何か読み出そうとしても失敗する、たとえばdmesgでさえ)

windows側でしかみえないのか? 確認してみます。
わかりやすいようにこっちはキャプチャで。

f:id:paloma69:20180815151904p:plain

ポートあがってますね。

プロセスも確認。

f:id:paloma69:20180815151945p:plain

privoxy見えてる。
これで動くのかな?

ブラウザで有効にする。

Firefoxをメインで使っているので、オプションから変更。

f:id:paloma69:20180815152243p:plain

検索してみます。

f:id:paloma69:20180815152417p:plain

一応ページは表示できるが動いているのか?
ログは何もでていません。

masashi@DESKTOP-986MNSO:~$ ls /var/log/privoxy/logfile -l
-rw-r--r-- 1 privoxy nogroup 0 Aug 15 13:45 /var/log/privoxy/logfile

というかHTTPSだとプロキシ側に証明書かまさないといけない気がする…。

今日はここまで

サービスは起動できましたが、動いているのかわかりませんでした。
今後はログの有効化、広告ブロック等の機能を有効にしていきたいと思います。
Torなんかも一回使ってみたいです。

8月になった

先月は仕事が忙しくて全部記事をかけませんでした。
openpyxlさえ入れとけばexcel方眼紙の設計書なんか瞬殺だと思っていたけど甘かったです。

今のフォーマットを崩さず入出力をどうすっかと考えながらて入力してます。


先月は着手できなかったけど夏の間にやりたいことメモっときます。

  • portainer.ioを触ってみる
    • LXDがシンプルで好きですが、時代の流れはDockerが修理だと思いますので軽めの管理ツールを触ってみようかなと。
      kubernetesやrancherは個人で触るには思い気がします。
  • proxyサーバを立ててみる
    • 自宅のトラフィックログを取ってみたくなったので作ってみます。
      NW機器買ったりするよりお手軽にできるはず
  • VPSを契約する
    • このブログは技術用ブログで使いたいので他の話は別にwordpressとかで作ろうかなと考えてます。
      せっかくなのでサイトの運用経験もつけようでVPSでやるつもりです。 どこ使うかは検討中。

twitterで通勤中にブログかくと捗るよって言うツイートを見たので今日試してみました。
でもスマホだと書きづらいし画像やソースも張りづらいです。

PC持ち出して書くほどでもないのでやりたいことを思いとどめるだけにした方が良さそうです。
あと途中で一回公開ボタン押してしまいました(笑)

pythonで出力した通信要件を加工する

7月に入りました。2018年も折り返しです。
今年は本プログの記事を週一ペースで50本上げることが目標なのですが、ちょっと足りてないですね。 後半頑張れるか…


前回出力した通信要件をもう少し加工します。

(python3) masashi@PC-ubuntu:~/trafficsorting$ python traffic.py 
<Worksheet "通信一覧">
any 192.168.10.1/24 TCP 80
any 192.168.10.2/24 TCP 80
<Worksheet "通信一覧">
192.168.10.1/24 192.168.20.1/24 TCP 8009
192.168.10.1/24 192.168.20.2/24 TCP 8009
192.168.10.2/24 192.168.20.1/24 TCP 8009
192.168.10.2/24 192.168.20.2/24 TCP 8009
<Worksheet "通信一覧">
192.168.20.1/24 192.168.30.1/24 TCP 1521
192.168.20.2/24 192.168.30.1/24 TCP 1521
<Worksheet "通信一覧">
192.168.40.1/24 192.168.10.1/24 ICMP -
192.168.40.1/24 192.168.10.2/24 ICMP -
<Worksheet "通信一覧">
192.168.40.1/24 192.168.20.1/24 ICMP -
192.168.40.1/24 192.168.20.2/24 ICMP -
<Worksheet "通信一覧">
192.168.40.1/24 192.168.30.2/24 ICMP -
192.168.40.1/24 192.168.30.3/24 ICMP -

こんな感じでわっと出るのですがconfig等に利用したいのでもう少し加工します。

成形

シート名を出すようにしたのですが邪魔なので消します。
pythonだけで完結できたらいいのですが、未熟なものでshellの力を借ります。

(python3) masashi@PC-ubuntu:~/trafficsorting$ python traffic.py | grep -vE "Error|^<"
any 192.168.10.1/24 TCP 80
any 192.168.10.2/24 TCP 80
192.168.10.1/24 192.168.20.1/24 TCP 8009
192.168.10.1/24 192.168.20.2/24 TCP 8009
192.168.10.2/24 192.168.20.1/24 TCP 8009
192.168.10.2/24 192.168.20.2/24 TCP 8009
192.168.20.1/24 192.168.30.1/24 TCP 1521
192.168.20.2/24 192.168.30.1/24 TCP 1521
192.168.40.1/24 192.168.10.1/24 ICMP -
192.168.40.1/24 192.168.10.2/24 ICMP -
192.168.40.1/24 192.168.20.1/24 ICMP -
192.168.40.1/24 192.168.20.2/24 ICMP -
192.168.40.1/24 192.168.30.2/24 ICMP -
192.168.40.1/24 192.168.30.3/24 ICMP -

これで通信だけになりました。
出た結果をファイルにリダイレクトして、さらにネットワークに変換する処理を咬ませます。

ipaddressモジュール

ipaddressというモジュールを使います。

IPv4Interfaceというクラスがあり、
CIDR表記のIPアドレスをネットワークアドレスに変換してくれます。

ルーティング、ACLはネットワーク単位で書くことが多いのでこの変換は大変便利です。

さっきの結果をネットワークアドレスに変換するプログラムです。
文字列はエラー吐いてしまうのでこれもtryでハンドリングします。
(馬鹿の一つ覚えみたいにtry文を使ってしまいます)

いろんな本をちょろちょろ読んでるので、pythonの書き方がバラバラです。
そろそろ統一していかないと。

#!/usr/bin/env python3
import ipaddress

def main():
    with open('pattern.txt') as f:
        for row in f:
            try:
                column = row.strip().split()
                print(ipaddress.IPv4Interface(column[0]).network, ipaddress.IPv4Interface(column[1]).network, column[3])
            except:
                print('Error: ', column[0], column[1], column[3])


main()
  • さっきリダイレクトしたファイルをread
  • 列操作をしやすくするためにスペース区切りにする
  • 1列目、2列目をネットワークアドレスに変換して出力ついでにポート番号も入れておきます。
  • 文字列がある行はErrorの文字をつけて出力

動かしてみる

(python3) masashi@PC-ubuntu:~/trafficsorting$ python subnet.py 
Error:  any 192.168.10.1/24 80
Error:  any 192.168.10.2/24 80
192.168.10.0/24 192.168.20.0/24 8009
192.168.10.0/24 192.168.20.0/24 8009
192.168.10.0/24 192.168.20.0/24 8009
192.168.10.0/24 192.168.20.0/24 8009
192.168.20.0/24 192.168.30.0/24 1521
192.168.20.0/24 192.168.30.0/24 1521
192.168.40.0/24 192.168.10.0/24 -
192.168.40.0/24 192.168.10.0/24 -
192.168.40.0/24 192.168.20.0/24 -
192.168.40.0/24 192.168.20.0/24 -
192.168.40.0/24 192.168.30.0/24 -
192.168.40.0/24 192.168.30.0/24 -

サブネットに変換されましたね。
これだと重複行がでるのでここでもshellの力を借ります。

(python3) masashi@PC-ubuntu:~/trafficsorting$ python subnet.py | sort | uniq
192.168.10.0/24 192.168.20.0/24 8009
192.168.20.0/24 192.168.30.0/24 1521
192.168.40.0/24 192.168.10.0/24 -
192.168.40.0/24 192.168.20.0/24 -
192.168.40.0/24 192.168.30.0/24 -
Error:  any 192.168.10.1/24 80
Error:  any 192.168.10.2/24 80

このようにパターンがシンプルになりました。
サンプルなんで全部24ビットで書いてしまいましたが他のサブネットで書いてもちゃんと出力してくれます。

今回はここまでしか動かしていませんが、sedawkで処理すればそのままconfigに使えそうです。

Error行は処理をまるまるスキップさせたので手で変換しないといけないですが、
any -> 0.0.0.0/0みたいにIPアドレスに変換して綺麗にしてしまいたいですね。

まとめ

pythonファイルが分割していたり途中でshellを挟んだりとエレガントさに欠ける処理ですが、
目視で確認していくよりずっと早く落とし込みができそうです。

通信要件の資料って書く人によってばらつきがあるので、綺麗に出したければ自分で元ファイルを修正する必要がありますが、何とか使いやすい形に持ってくることができました。

このフローは日々の業務で発生するので、メンテして使いやすくしていきたいと思います。
本チャンの資料は上げられませんがコードはgithubにでもあげようかな。

ipaddressモジュール、IPアドレス用の処理がいろいろできそうでネットワークエンジニアとしていろいろ遊んでみたいですが、うまい使い道が思い浮かばないですね。
IPv6変換とかできたら使えるかな?

pythonで通信要件を一意に出力する

私はSIerのネットワークエンジニアとして働いているのですが、どこのシステムでも設計のために通信要件一覧というのがあると思います。
(Web系の業界は詳しくないので使っていないかも)

FWやルーティング設計のために、通信名, From, To, Portなど書かれることが多いと思います。

また、資料はExcelで作られているものが多いと思いますが、方眼紙とまではいかなくても使い勝手はよくありません。
正直私の現場では使いづらいです。

こんな感じ

サンプルなので適当に作りましたが、送信元、宛先、IPアドレス、ポートなどは最低限書いてあると思います。
(Ubuntuで検証したのでLibreOfficeです)

f:id:paloma69:20180629001724p:plain

ネットで調べてもこんな感じのが出てきます。

小規模システムなら良いですが、大規模で大量の種類の通信があるシステムもこの様に書かれると、
読むのもパラメータに落とすのも一苦労です。
書き方によっては重複の行がいくつか出てくることもあります。

対象のセルをコピーして他の資料に貼り付ければいいのですが、
セル内改行のものがあったりすると一気に使い勝手が悪くなります。

こういうのをいちいち転記するのも馬鹿らしいので、Configに落としていく際に簡単にできないかと思いpythonで書いてみました。

やりたいこと

  • 各Cellに書かれている値を抽出する
  • Cellに数行書かれている場合も1行ずつ出力する
  • Config作成用にIPアドレスとポートだけ出力する

Excelファイルを処理するのはopenpyxlモジュールでやります。

今回ファイルは同階層におきます。

(python3) masashi@PC-ubuntu:~/trafficsorting$ ls
traffic.py  通信要件.xlsx
  • IPとポートだけ出力できれば良いのでD,F,G,H列だけ処理します。
  • 処理が途中で止まらないように書き方が変なセルは行数をメモっときます。
    • まだハンドリングが不完全なので空白でも反応してしまいます。
  • 複数シートがある場合を想定して一応シート名も出力します。
  • セル内改行してあるものは改行コードで文字列を分割します。
  • 全パターン抽出するにはforをネストすることによってできるようです。
    (もっと綺麗な方法があるかも)
#!/usr/bin/env python3

import openpyxl

wb = openpyxl.load_workbook("通信要件.xlsx", data_only = True)

wsa = wb['通信一覧']

def Traffic(sheet, ret):
    try:
        # All pattern output for each cell value
        for src in sheet['D' + str(ret)].value.split():
            for dst in sheet['F' + str(ret)].value.split():
                    for ptc in sheet['G' + str(ret)].value.split():
                            for port in str(sheet['H' + str(ret)].value).split():
                                print(src, dst, ptc, port)
    except:
        print(str(ret) + ' row has Error!')
        print('Cell\'s value is "x.x.x.x/x" with numbers only.')
        pass

# Display sheet to last line
for a in range(3, wsa.max_row + 1):
    print(wsa)
    Traffic(wsa, a)

動かしてみる

(python3) masashi@PC-ubuntu:~/trafficsorting$ python traffic.py 
<Worksheet "通信一覧">
any 192.168.10.1/24 TCP 80
any 192.168.10.2/24 TCP 80
<Worksheet "通信一覧">
192.168.10.1/24 192.168.20.1/24 TCP 8009
192.168.10.1/24 192.168.20.2/24 TCP 8009
192.168.10.2/24 192.168.20.1/24 TCP 8009
192.168.10.2/24 192.168.20.2/24 TCP 8009
<Worksheet "通信一覧">
192.168.20.1/24 192.168.30.1/24 TCP 1521
192.168.20.2/24 192.168.30.1/24 TCP 1521
<Worksheet "通信一覧">
192.168.40.1/24 192.168.10.1/24 ICMP -
192.168.40.1/24 192.168.10.2/24 ICMP -
<Worksheet "通信一覧">
192.168.40.1/24 192.168.20.1/24 ICMP -
192.168.40.1/24 192.168.20.2/24 ICMP -
<Worksheet "通信一覧">
192.168.40.1/24 192.168.30.2/24 ICMP -
192.168.40.1/24 192.168.30.3/24 ICMP -

ちゃんと出ました!

全てのパターンに対し、一意な値で出力できました。
また、テキストで出力する事により検索等しやすくなりました。

シート名が都度出てしまうのがかっこ悪いのでもう少し綺麗にしたいですね。

改修は置いといて次回は出力結果をもう少し加工したいと思います。

その他課題

セルが結合してあると結合がある行がまるまるエラーとして出力されてしまったので、実はExcelを修正しました。
これはどう直すかな…

pythonのmain関数についてメモ

Baculaについて残課題はいろいろ残っていますが、いったんバックアップも取れたのでまたほかの事書きたいと思います。

というわけでまたpythonです。


今「Python Programming: An Introduction to Computer Science」という本を読んでいます。
その中にmain関数について説明している部分があったのでメモします。

  • pythonプログラムの実行について

    • 直接実行するもの
    • 他のプログラムからインポートされる
      • ライブラリと呼ばれる
  • これまで(書籍内のサンプルコード)はmain関数を呼び出す行が一番下にあった

こんなの

def main():
    print(’Hello’)

main()
  • Pythonはインポートプロセス中にモジュールの行を評価する
  • 一般にモジュールをimportする際はモジュールを実行させないほうが良い
  • インポートされたか、直接実行できるプログラムでは一番下のmainへの呼び出しを条件付きにする必要がある
if __name__=='__main__':
    main()
  • モジュールがインポートされるたびに、pythonはimportされたモジュールの名前にnameという名前のモジュール内の特別な変数を設定する。
>>> import math
>>> 
>>> math.__name__
'math'
>>> 
>>> __name__
'__main__'
  • mathをimportするとname変数にmathが割り当てられている
  • pythonコードが直接実行(not import)されている場合、pythonはnameの値をmainに設定する

つまりこの記載となっているモジュールをインポートしてもname変数がmainでないため、処理が実行されないということですね。
余計な動きをさせないようにってことでいいのかな?

いろんなブログとかでこの表記が出てきていまいちわからなかったけどなんとなく動きが理解できました。
name変数が何者なのかも調べたいな。

Baculaでバックアップを取ってみる ubuntu client編

前回のバックアップから間が空いてしまいましたが別マシンのバックアップを挑戦します。

2台目クライアント追加

下記手順を参考に2台めのクライアント設定を追記します。

簡易版チュートリアル – Bacula

サーバ側

  • bacula-dir.conf

jobに2台目を追加。

# 1台目
Job {
  Name = "BackupClient1"
  JobDefs = "DefaultJob"
}

# 2台目
Job {
  Name = "BackupClient2"
  Client = PC-ubuntu-fd
  JobDefs = "DefaultJob"
}

clientも。

# 1台目
Client {
  Name = bacula-fd
  Address = localhost
  FDPort = 9102
  Catalog = MyCatalog
  Password = "bacula-fd"          # password for FileDaemon
  File Retention = 60 days            # 60 days
  Job Retention = 6 months            # six months
  AutoPrune = yes                     # Prune expired Jobs/Files
}

# 2台目
Client {
  Name = PC-ubuntu-fd
  Address = 192.168.0.10
  FDPort = 9102
  Catalog = MyCatalog
  Password = "bacula-fd"          # password for FileDaemon
  File Retention = 60 days            # 60 days
  Job Retention = 6 months            # six months
  AutoPrune = yes                     # Prune expired Jobs/Files
}  

Storageも修正

Autochanger {
  Name = File1
# Do not use "localhost" here
# Addressの行を外のサーバからもつつけるように外向けのIPに変更する
  Address = 192.168.0.12                # N.B. Use a fully qualified name here
  SDPort = 9103
  Password = "bacula-sd"
  Device = FileChgr1
  Media Type = File1
  Maximum Concurrent Jobs = 10        # run up to 10 jobs a the same time
  Autochanger = File1                 # point to ourself
}

クライアント側

  • ubuntu16.04 LTS デスクトップです。
  • bacula-clientをインストール。

9系は一部のパッケージがインストールできなかったため、標準のリポジトリからインストールします。

  • 9系のbuild手順

bacula.us

依存で入るdefault-libmysqlclient-devというパッケージが17.10からサポートされていないため、9系は諦めます。

Ubuntu – Package Search Results -- default-libmysqlclient-dev

masashi@PC-ubuntu:~$ sudo apt install bacula-client

7系がインストールされます。

masashi@PC-ubuntu:~$ dpkg -l | grep bacula
ii  bacula-client                               7.0.5+dfsg-4ubuntu0.1                        all          network backup service - client metapackage
ii  bacula-common                               7.0.5+dfsg-4ubuntu0.1                        amd64        network backup service - common support files
ii  bacula-console                              7.0.5+dfsg-4ubuntu0.1                        amd64        network backup service - text console
ii  bacula-fd                                   7.0.5+dfsg-4ubuntu0.1                        amd64        network backup service - file daemon
  • bacula-fd.conf
#
# List Directors who are permitted to contact this File daemon
#
Director {
  Name = bacula-dir 
  Password = "bacula-fd"
}

#
# Restricted Director, used by tray-monitor to get the
#   status of the file daemon
#
Director {
  Name = 192.168.0.12 #bacula-dir と書くとconfigtestでエラーになる
  Password = "Bacula"
  Monitor = yes
}

#
# "Global" File daemon configuration specifications
#
FileDaemon {                          # this is me
  Name = PC-ubuntu-fd
  FDport = 9102                  # where we listen for the director
  WorkingDirectory = /var/lib/bacula
  Pid Directory = /var/run/bacula
  Maximum Concurrent Jobs = 20
# Plugin Directory = /usr/lib/bacula
  FDAddress = 192.168.0.10 #127.0.0.1
}

それぞれサービスをrestart

  • 手順は割愛

サーバから接続してみます。

[root@bacula bacula]# bconsole
Connecting to Director localhost:9101
1000 OK: 103 bacula-dir Version: 9.0.6 (20 November 2017)
Enter a period to cancel a command.
*
*status client
The defined Client resources are:
     1: bacula-fd
     2: PC-ubuntu-fd
Select Client (File daemon) resource (1-2): 2
Connecting to Client PC-ubuntu-fd at 192.168.0.10:9102

PC-ubuntu-fd Version: 7.0.5 (28 July 2014)  x86_64-pc-linux-gnu ubuntu 16.04
Daemon started 14- 6��2018 01:08. Jobs: run=0 running=0.
 Heap: heap=143,360 smbytes=187,691 max_bytes=187,838 bufs=53 max_bufs=54
 Sizes: boffset_t=8 size_t=8 debug=0 trace=0 mode=0,0 bwlimit=0kB/s

Running Jobs:
Director connected at: 14- 6��2018 01:08
No Jobs running.
====

Terminated Jobs:
====
*
*

version7で見えてます。

runでバックアップします。

*run
Automatically selected Catalog: MyCatalog
Using Catalog "MyCatalog"
A job name must be specified.
The defined Job resources are:
     1: BackupClient1
     2: BackupClient2
     3: BackupCatalog
     4: RestoreFiles
Select Job resource (1-4): 2
Run Backup job
JobName:  BackupClient2
Level:    Incremental
Client:   PC-ubuntu-fd
FileSet:  Full Set
Pool:     File (From Job resource)
Storage:  File1 (From Job resource)
When:     2018-06-14 01:28:10
Priority: 10
OK to run? (yes/mod/no): yes
Job queued. JobId=40
*

runningにならない…

*status dir
bacula-dir Version: 9.0.6 (20 November 2017) x86_64-redhat-linux-gnu redhat (Core)
Daemon started 14- 6��2018 01:23, conf reloaded 14- 6-2018 01:23:03
 Jobs: run=0, running=1 mode=0,0
 Heap: heap=270,336 smbytes=102,538 max_bytes=137,949 bufs=339 max_bufs=343
 Res: njobs=4 nclients=2 nstores=2 npools=3 ncats=1 nfsets=2 nscheds=2

Scheduled Jobs:
Level          Type     Pri  Scheduled          Job Name           Volume
===================================================================================
Incremental    Backup    10  14- 6��2018 23:05  BackupClient1      Vol-0019
Incremental    Backup    10  14- 6��2018 23:05  BackupClient2      Vol-0019
Full           Backup    11  14- 6��2018 23:10  BackupCatalog      Vol-0019
====

Running Jobs:
Console connected at 14- 6��2018 01:27
 JobId  Type Level     Files     Bytes  Name              Status
======================================================================
    40  Back Full          0         0  BackupClient2     is waiting for Client PC-ubuntu-fd to connect to Storage File1
====

Terminated Jobs:
 JobId  Level      Files    Bytes   Status   Finished        Name 
====================================================================
    19  Full           0         0   Error    02- 6��2018 23:05 JOB-Bacula-ubuntu
    20  Full           0         0   Error    02- 6��2018 23:05 BackupClient1
    21  Full           0         0   Error    02- 6��2018 23:10 BackupCatalog
    22  Full           0         0   Error    03- 6��2018 20:14 JOB-Bacula-ubuntu
    23  Full           0         0   Error    03- 6��2018 23:05 JOB-Bacula-ubuntu
    24  Full           0         0   Error    03- 6��2018 23:05 BackupClient1
    25  Full           0         0   Error    03- 6��2018 23:10 BackupCatalog
    26  Full           0         0   Error    04- 6��2018 23:05 JOB-Bacula-ubuntu
    27  Full           0         0   Error    04- 6��2018 23:05 BackupClient1
    28  Full           0         0   Error    04- 6��2018 23:10 BackupCatalog

====
*

もしやと思いfirewalldを止めたらrunningになりました。
後でポート開けないと。
(SELinuxは止めてたような。後で確認しよう)

[root@bacula ~]# systemctl stop firewalld
[root@bacula ~]# 
[root@bacula ~]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since 木 2018-06-14 01:30:05 JST; 4s ago
     Docs: man:firewalld(1)
  Process: 658 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 658 (code=exited, status=0/SUCCESS)

 614 01:22:55 bacula systemd[1]: Starting firewalld - dynamic firewall daemon...
 614 01:22:58 bacula systemd[1]: Started firewalld - dynamic firewall daemon.
 614 01:30:05 bacula systemd[1]: Stopping firewalld - dynamic firewall daemon...
 614 01:30:05 bacula systemd[1]: Stopped firewalld - dynamic firewall daemon.
[root@bacula ~]# 
[root@bacula ~]# 
[root@bacula ~]# 
[root@bacula ~]# bconsole 
Connecting to Director localhost:9101
1000 OK: 103 bacula-dir Version: 9.0.6 (20 November 2017)
Enter a period to cancel a command.
*
You have messages.
*status dir
bacula-dir Version: 9.0.6 (20 November 2017) x86_64-redhat-linux-gnu redhat (Core)
Daemon started 14- 6��2018 01:23, conf reloaded 14- 6-2018 01:23:03
 Jobs: run=0, running=1 mode=0,0
 Heap: heap=270,336 smbytes=102,296 max_bytes=137,949 bufs=337 max_bufs=343
 Res: njobs=4 nclients=2 nstores=2 npools=3 ncats=1 nfsets=2 nscheds=2

Scheduled Jobs:
Level          Type     Pri  Scheduled          Job Name           Volume
===================================================================================
Incremental    Backup    10  14- 6��2018 23:05  BackupClient1      Vol-0019
Incremental    Backup    10  14- 6��2018 23:05  BackupClient2      Vol-0019
Full           Backup    11  14- 6��2018 23:10  BackupCatalog      Vol-0019
====

Running Jobs:
Console connected at 14- 6��2018 01:30
 JobId  Type Level     Files     Bytes  Name              Status
======================================================================
    40  Back Full          0         0  BackupClient2     is running
====

Terminated Jobs:
 JobId  Level      Files    Bytes   Status   Finished        Name 
====================================================================
    19  Full           0         0   Error    02- 6��2018 23:05 JOB-Bacula-ubuntu
    20  Full           0         0   Error    02- 6��2018 23:05 BackupClient1
    21  Full           0         0   Error    02- 6��2018 23:10 BackupCatalog
    22  Full           0         0   Error    03- 6��2018 20:14 JOB-Bacula-ubuntu
    23  Full           0         0   Error    03- 6��2018 23:05 JOB-Bacula-ubuntu
    24  Full           0         0   Error    03- 6��2018 23:05 BackupClient1
    25  Full           0         0   Error    03- 6��2018 23:10 BackupCatalog
    26  Full           0         0   Error    04- 6��2018 23:05 JOB-Bacula-ubuntu
    27  Full           0         0   Error    04- 6��2018 23:05 BackupClient1
    28  Full           0         0   Error    04- 6��2018 23:10 BackupCatalog

====
*

途中経過

このPCはデスクトップなのでそこそこサイズでかくなりそう。

Running Jobs:
Console connected at 14- 6��2018 01:30
 JobId  Type Level     Files     Bytes  Name              Status
======================================================================
    40  Back Full      9,806    567.7 M BackupClient2     is running
====

ここで事件発生

夜に仕掛けて朝確認しようと思ったんですが、起きたらBaculaサーバが停止していました…
外付けHDDにBaculaサーバの仮想マシンの保存領域があるのですが、このHDDが何故か電源が落ちていて最終的な結果が不明です。

実はbaculaの再起動時にエラーが出ていたので、この辺調べればなにかわかるかも。
サービス再起動に失敗するのでOSごと再起動して検証していました。

[root@bacula bacula]# systemctl restart bacula-dir.conf
Error getting authority: Error initializing authority: Error calling StartServiceByName for org.freedesktop.PolicyKit1: GDBus.Error:org.freedesktop.DBus.Error.TimedOut: Failed to activate service 'org.freedesktop.PolicyKit1': timed out (g-dbus-error-quark, 20)
Failed to restart bacula-dir.conf.service: 接続がタイムアウトしました
See system logs and 'systemctl status bacula-dir.conf.service' for details.
[root@bacula bacula]# 

とりあえずクライアント追加の手順もなんとなく出来たので、引き続きWindows機のバックアップもやりたいと思います。

その前にbaculaサーバの復旧か作りなおした方がいいかもですね。
HDDは電源入ったのですが、サーバがEmergency modeで起動しちゃってる…