paloma blog

NWエンジニアやってます。主に自宅環境のお遊びを書きます。Pythonもちょっと。タイトルは好きなカクテルから。

2021-01-01から1年間の記事一覧

ubuntuデスクトップのcronでシェルスクリプトがうまく動かない

自宅での家計簿アプリの運用を始めてから2年弱経ちますが、手動で行っていたDBのバックアップをそろそろ自動がしたいということでcronに登録しました。 環境 Ubuntuデスクトップです。 masashi@PC-ubuntu:~$ uname -a ; lsb_release -a ; bash --version Lin…

pythonのscrapyを使って小鉢料理マスターを目指す

小鉢料理っていいですよね。 少量ではありますがいろんなものをたくさん食べられます。 私はお酒が好きで店に限らず家でもよく飲みます。 おつまみも自分で作るのですがどうしても焼き物、揚げ物メインであとは豆腐やチーズといった出来合いを出して終わって…

SUICAの利用明細をDBに取り込みたい 重複レコード削除編

SUICAの明細をDBに取り込めたのはいいのですが、運用していかないといけません。 SUICAの明細は過去100件分しか出力できないので重複するものが出てきます。 なので重複処理も簡単なDBで管理することにしたのですが、今回2回目のインポートをやってみます。 …

SUICAの利用明細をDBに取り込みたい 後編

前編ではSUICAの明細のPDFの出力確認を行いました。 列ごとにデータが出力されるので各項目をリスト化してから整形します。 shellでもできそうですが、リストの扱いはプログラミング言語の方が簡単なので今回もpythonを使います。 コード 各データを整形して…

SUICAの利用明細をDBに取り込みたい 前編

自宅の家計簿はFirefly IIIを使ってトラッキングしています。 クレジット以外の電子決済はモバイルSUICAを使用しており、SUICAのチャージもクレジット払いで利用額はわかるのですが、何にいくら使ったかがわかりません。 SUICAは電車とコンビニ払いくらいし…

メイン機Windowsを新調しました

主に映画やゲーム用途のメイン機と呼んでいるWindows10が壊れてしまったので新調しました。 電源の故障で、半年くらい前から急にフリーズしたりOS起動中に停止したりという事象が発生して先週ついに電源ランプがつかなくなってしまいました。 サブのPCやスマ…

powershellのループいろいろ

仕事でteratermマクロを定期ループさせて機器のステータスを取る用事があったのですが、最近よく使うpowershellから起動してみることにしました。 powershellはループ方法が多いので書いておきます。 環境 最近また急にハングするようになった調子悪いメイン…

strongswanとAndroidのネイティブVPNでIPsecをする

前回の記事でsshポートフォワードで無理やりVPNを作りましたが、本当はstrongswanでのIPsecを考えていたので今回ちょっと紹介します。 UbuntuへのVPN Androidからpfsense向けは経験ありなので出来るのですが、今回の対象はubuntuのLXD環境です。 pfsenseはis…

ConnectBotでAndroidの簡易VPNを作る

ブログでちょこちょこ紹介しているFirefly iiiですが、いい加減外出先からでも操作したくなりました。 個人の資産情報が入っており、Internetに直接公開するのは危ないのでVPNを張ってアクセスしたいと思います。 Team viewerとかGoogle desktopを使えば簡単…

初めてpythonのpdbでデバッグをやってみた

前の映画情報取得ツールを製作していた時のこと。 OMDB APIを取得するツールをpythonで自作する - paloma blog 全処理を一旦書き上げたのですが実行しても出力されません。 (movies) masashi@PC-ubuntu:~/tests$ python getinfo.py (movies) masashi@PC-ubun…

OMDB APIを取得するツールをpythonで自作する

私の趣味の一つに映画鑑賞がありますが、視聴後はtwitterに映画情報を投稿して備忘としています。 情報の取得にはBash snippetsのmoviesコマンドを使っていたのですが、ある時取得できなくなってしまいました。 Bash-Snippets - Useful BASH Scripts For Hea…

2021年上半期見た映画メモ

今年も前半が終わりましたので映画を振り返ります。 ほとんどお出かけしていないので週2ペースでした。 取得ツール 映画視聴ロガーを使って今年見た映画を振り返る - paloma blog (movies) masashi@PC-ubuntu:~/movietweet$ python gettw.py | grep 2021 | n…

easy-rsaで簡単に自宅CA構築+自己証明書発行

家の環境でWebサーバを作ってもhttpのまま使ってしまうんですが、これではイカンということでセキュリティの勉強も兼ねつつ自宅CAを作りたいと思います。 Let's Encryptでもいいかなと思ったのですが、家にサーバがある方が好き勝手できるので自宅CAを選択し…

LXD環境のFirefly iiiのリカバリテストをする スクリプトで簡単にする編

前回行ったコンテナのリストアが思いの外簡単だったのでもっと簡単にします。 前回リカバリと言っていましたが、リストアのほうが適していそうなので今回はこちらで統一します。 ボタン一発でリストアできるのが理想ですね。 コンテナの命名規則 稼働中コン…

LXD環境のFirefly iiiのリカバリテストをする

LXDで運用しているFirefly iiiですが、前回コンテナのイメージ作成を行いました。 今回はイメージからのデプロイと実際のデータをリカバリできるかやってみます。 LXDコンテナのカスタムイメージを作成する - paloma blog データベースバックアップ 王道にmy…

スリーカードポーカーで勝つことはできるのか フォールド処理組み込み編

前回降りる手札判定が出来たところでシミュレータに組み込みます。 シミュレータの流れは チップベット ($1000スタート、アンティ・ペアプラスは$10固定) カード配布 手札判定 勝負 払い戻し となっていますがフォールドの手順をこう組み込みます。 チップベ…

スリーカードポーカーで勝つことはできるのか 降りる手札判別編

スリーカードポーカーのゲームを作ってからGUI化に取り掛かりましたがすっかり止まっています。 ボタン処理が難しいんだもん。 作りながら覚えればいいのですが、ゲームもやるのも好きなのでそっちばかりやってしまいなかなか進みません。 GUI化はいったんお…

ダミーファイルとscpでNW速度を計測

今やってる案件で帯域制限を行うのですが、計測の試験をしなければいけません。 事前に家の環境で試験の練習をしようと思います。 環境 本番はLinuxサーバなので家でもLinuxでやります。 Windows上のWSL(Ubuntu)から物理のUbuntuへ転送します。 家の構成は以…

LXDコンテナのカスタムイメージを作成する

またまたFireflyの話です。 LXD環境で運用していますが一度LXDプロセスが壊れてしまって作り直しました。 また同じことが会ってもすぐ復旧できるようにバックアップを取っておきたいところです。 リカバリだけではなくバージョンアップ用の土台にもなります…

AndroidからpfSenseにIPsec接続して内部NWにアクセスする

自宅でFirefly iiiを本格的に運用し始めたのですが、支払いはすぐに記帳したいところです。 マネートラッキングをFireflyに一本化する API投入編 - paloma blog 特に旅行中など自宅にいないときに感じます。 メモっておけば済む話ですが、VPNでも張って外か…

マネートラッキングをFireflyに一本化する API投入編

前回Firefly IIIのAPIを確認したところでクレジット支払いのcsvファイルを変換して投入したいと思います。 目的のおさらい クレジットの明細csvファイルをPOST用のフォーマットに変換してAPI経由で投入する カテゴリー整理 クレジットカードは翌月の支払いに…

マネートラッキングをFireflyに一本化する API探す編

家の収支管理にFirefly iiiを使い始めて半年ちょい。 支出のトラッキングでしか使ってませんが自動で集計してくれるのはありがたい。 私のFirefly iiiを使ったキャッシュフロー確認 - paloma blog Fireflyは現金払いの集計、クレジット払いの集計は自作ツー…

GTAオンラインの極秘貨物の利益率をpythonでグラフ化する グラフ化偏

前回そろえたデータをmatplotlibでグラフ化したいと思います。 データ 貨物数ごとの売却額、利益等まとめられています。 元々あったデータをCSV化したものです。 長いので抜粋。 PS C:\Users\tsuru\tools\cargo-profits> cat '.\special cargo profits.csv' …

GTAオンラインの極秘貨物の利益率をpythonでグラフ化する 仕込み偏

GTAオンラインが面白くて相変わらずプレイしているのですが、資金を増やす方法の1つに極秘貨物売却というビジネスがあります。 これはゲーム内の違法サイトから貨物を仕入れて違法サイト経由で売却し、利益を得るという仕組みです。 仕入れて売るのは現実と…

pixEOSでドット調アバターを作ってみた

ライフハッカーを見ていたら面白そうなアバター作成サイトがあったので作ってみました。 www.lifehacker.jp 詳しく見ていませんが、本来のサイトは名の通りピクセルアートを作っているんでしょうか? pixeos.io アバター作成サービスはその一環のようです。 …

pythonで少し人間味のあるwait関数を作る

クローリングを行うときあらゆる本や記事でサーバ負荷削減のため適度にwaitを挟めと記載があります。 しかしプログラムのビルトイン関数の処理だときっちり同じ間隔になるのでスクリプトだとばれてしまいます。 まあ、ばれても問題ないのですが、少し人間味…

shellのみでcisco ASAのshowコマンドをスクレイピングする

今やってるPJでcisco ASAを構築するのですが、久しぶりに触るのでコマンドを忘れてしまいました。 そんな時に頼りになるのがコマンドリファレンスです。 しかし公式サイトを探すと膨大なページが出てきて探すのも読むのも大変です。 そんなわけで今回は今ま…

pythonのjinja2で1:Nの可変パラメータをテンプレートに渡した時のメモ debug編

前回書いたコードで各変数の中身がどうなっているか見てみます。 手動debug 手動ですが、中身を見ます。 今回の環境はubuntu20.04LTSのpython仮想環境です。 (python3) masashi@PC-ubuntu:~$ uname -a ; python --version Linux PC-ubuntu 5.4.0-66-generic …

pythonのjinja2で1:Nの可変パラメータをテンプレートに渡した時のメモ

NW機器のconfigを作るとき別のconfigを置換するのもいいんですが、jinja2でテンプレートから読み込んで作るという方法を覚えてから精度とスピードが格段に上がり、以前にはもう戻れません。 csvから読み込むようにするとcsvだけ管理すればいいので楽チンです…

ubuntu desktopのメモリを8GB増設した

私の家のデスクトップは古いONKYOのPCが2台あり、 Windows10: 映画、ゲーム等のメディア用 ubuntu desktop 20.04LTS: プログラミングの勉強、Linux検証等 という使い分けをしています。 プログラム書いて遊ぶときはubuntuを使うのですが、メモリが4GBでパワ…