paloma blog

NWエンジニアやってます。主に自宅環境のお遊びを書きます。Pythonもちょっと。タイトルは好きなカクテルから。

支出をこまめにチェックするためのスクレイピング系もろもろ(頓挫編)

コロナ中に定着してしまった自分の引きこもりを脱却すべく昨年から地元の飲み屋に通いつめ、その甲斐あって知り合いも増え一緒に遊びに行く機会が増えました。 それは良いことなのですがそのぶん出費も増えるわけです。 私はカード払いがほとんどなので月末…

gitのbranchにcheckoutしたらcommitが消えたから復旧

例のPayPay集計アプリを作っていた際にコードをまとめてロールバックをしようと思ってファイル名指定無しでcheckoutしてしまいました。 ブランチ名がハッシュの値になってしまったのですがこんなもんかと思いcommitを進めていました。 あるときgithubにpush…

PayPayの支払いデータを自分で集計したい4

年を跨いでしまいましたがタイトルのツールについて、PC環境ですがkivyで動くようになりました。 レイアウトとwindowサイズをいじってスマホ画面に近くしてます。 画面 トップページ シンプルですがトップ画面です。 下画面のFile chooserでダウンロード済み…

そろそろdotfilesの管理もしておこう

家のubuntu desktopは2代目ですがwslの環境も入れるとそこそこなLinuxの台数を渡り歩いてきた気がします。 移行の度にDriveに保存してある設定ファイルからリストアしていて移行は出来ていますがスマートではありません。 やはりバージョン管理したいところ…

2023下半期見た映画メモ

2023年も終わりということで後半のまとめです。 一応記録としてXにもポストしてますがAPIの関係でメイン管理はGithub pagesになりました。 jekyllで作ってるので今回は記事のディレクトリから抜いておさらいです。 masashi69.github.io 下半期見た映画 API経…

PayPayの支払いデータを自分で集計したい 番外編

タイトルのツールを製作中ですが、明細が溜まったので一度計算してみたいと思います。 今回はDB(sqlite3)に入れて集計してみます。 ツールはサブPCのUbuntu上で作ってるのでその環境で動かします。 スキーマ 前回作ったpythonコードをちょっと修正してそれ経…

PayPayの支払いデータを自分で集計したい3

今回は前回の集計をグラフ化してみます。 ②の部分ですね。 ツール単体で集計 集計結果を可視化 スマホアプリ用にビルド 追記分はこちら。 matplotlibに読ませる様のリストを作成してます。 sqlで出したものをまたリストにいれるというマヌケな処理になってし…

PayPayの支払いデータを自分で集計したい2

前回PayPayの日毎の集計をSQLで出力させました。 最終目標はスマホアプリとして操作させるということで ツール単体で集計 集計結果を可視化 スマホアプリ用にビルド の1-2としてpythonでの出力をやります。 コード 早速ですが全体。 CSVを引数で読んでsqlite…

PayPayの支払いデータを自分で集計したい1

今年はコロナも落ち着きそうと言うことで引きこもりを脱却すべく外に飲みに行くようになりました。 地元に気軽に行けるちょっとお洒落な立ち飲み屋があり今年は平均週一回以上通ってます。 立ち飲みという形態上キャッシュオンなのですが毎回現金を用意する…

自宅のグローバルIP変化をslackで通知する

外から家の環境にアクセスする時はSSL VPNを張るのですがある時繋げなくなってしまいました。 思い当たるのはVPN装置のpfsenseが落ちているかグローバルIPが変わるしか心当たりがありません。 帰宅後グローバルIPが変わっていたことが判明したのですが、変わ…

linuxのriceターミナルに出てくるアレのパッケージ名

あらまし 今年の前半にunixporn、riceの概念を知って興味を持ち色々調べたのですが、記事や動画を見ていく中でどうしてもわからないものがありました。 それがこのターミナルのアスキーアートです。 サイト内のパックマンのやつね。 terminalroot.com 他にも…

2代目UbuntuのGNOMEでrice

ここ最近記事に登場しているNUCのubuntuですがカッコいいデスクトップはテンションが上がるのでこの子もrice化します。 この子はハングアップせず安定しているのでGNOMEのままやろうと思います。 conky ずっと使ってるリソースモニタツール。 バックアップか…

Home labにGiteaをデプロイする

前回ラボのステージング環境を作りました。 本題のGit管理ツールのデプロイもOKだったので本番のラボにデプロイします。 gitea オープンソースのGit管理ツールはGitlabくらいしか知らなかったのですが結構リソース要求が高い様です。 色々調べるとGiteaとい…

Home labのステージング環境をmultipassで作成する

自宅で作っているツール類でGithubとかに公開したくないもの(家計簿系)をどうするかなあと考えていたのですが、今更ローカルにGitlabか何か立てればいいじゃんと思い立ちました。 プライベートリポジトリでいいじゃんという話は置いておいて、気軽に使える環…

古いNUCを買ったのでubuntuをインストールする

サブ機で使っていたUbuntuが壊れて半年以上たちます。 メインで使っているWindowsがあってWSLもあるのでLinux触るのに困ることはないのですが、たまにLinuxのデスクトップ環境を触りたくなります。 仮想ではなく物理ハードにインストールしてあるやつね。 安…

手のひらネットワーク機器コンプリートしたので自慢

6月に新発売して少しSNSが賑わっていた手のひらネットワーク機器ですが、私もこの度コンプリートしました。 ちょっと前の9月半ばの話です。 発売した時すごく欲しかったのですがガチャ売り場探し回るのも嫌だなあと思っていたらなんと地元の行きつけの飲み屋…

jekyllをgithub pagesで公開する

映画視聴ログとして使っていたtwiteerのデータをjekyll用に移行しローカルで立ち上がるところまでやってきました。 こうなってくるとtwiteerにpostしてたみたいに公開したいと思います。 自宅ラボにデプロイしてもいいのですが触ってたjekyllをそのままgithu…

jekyllのpagerを有効にする

前回twitterに投稿していた映画データをjekyllに移植しました。 今回はpagerを設定してもう少しWebサイトっぽくします。 _config.yml 使用するpagerのプラグイン有効化、pagerの設定を記載します。 (10件ずつ表示) #pager plugins: - jekyll-paginate pagina…

twitter archiveからjekyll用postのmdファイルを作る

映画資料記録のツールをjekyllで運用してみることにしました。 まずはtwitter archiveで取得したデータを抜き出さないといけません。 ツイートデータのフォーマットがjsonぽかったのでpythonで抜き出しjekyll用のmdファイルに落とし込みたいと思います。 ツ…

スクレイピングでfワードを数える2

最近映画視聴記録がどうのという記事を書いていたのですが、映画関連で昔パルプフィクション絡みのやつを書いたことを思い出しました。 内容はタイトルの通りなのですが、以前の記事ではやり残しがありました。 プログラム歴も増えてきたので今なら出来るっ…

映画視聴記録として静的サイトジェネレータってどうだろう

前回のAPIの記事の続きですが、twitter APIがfreeだとPOST/DELETEしかできなくなりました。 映画視聴記録として使っていたのですが、このままでは読み(GET)ができません。 この映画見たっけなという感じで使っていたので気軽に使えないのでは不便です。 こん…

2023上半期見た映画メモ

GW明けてからちょっとしたトラブル続きでほぼ出社している状況が続いています。 休みは取れるレベルではありますがあっという間に今年も後半に入ってしまいました。 恒例の映画振り返りです。 今回は使っていたtweet getの機能がAPIプランの関係で使えません…

twitter API v2でtweepyからPOSTする

自分用の映画視聴履歴としてtwitterに投稿しておくという事をやっているのですが昨年からAPIが有料になるどうこうで4月半ばから投稿ツールが使えなくなってしまいました。 v2用のナレッジもそろってきたという事で投稿ツールを修正しました。 ツールの投稿系…

Homelabにモニタリングサーバ導入4 dockerホストをcAdvisorで監視する

今回はcAdvisorを導入してコンテナのリソースを取りたいと思います。 cAdvisorインストール コンテナの監視はcAdvisorというものが有名のようです。 公式に沿ってインストールします。監視用のコンテナを立てるだけ。 github.com ホストごとにしか乗せられな…

Homelabにモニタリングサーバ導入3 prometheusで取った情報をGrafanaで見る

prometheusでリソース取れるようになったのでGrafanaでいい感じに可視化してみます。 リポジトリからもインストールできるようなのですが、ここを参考にパッケージをインストールしました。 (最初に発見したのがここだったので) grafana.com cloud利用なども…

Homelabにモニタリングサーバ導入2 prometheusからpfSenseリソース取得

前回pfSenseのリソースを取得するべくprometheusのsnmp exporterを使ってみたのですが、CPU・メモリ系の取得ができないのでこちらでの取得は諦めることにしました。 snmp.ymlにCPU、メモリのOIDを直書きしたのですがmetricsに表示されなかったのでいったん諦…

Homelabにモニタリングサーバ導入1 prometheusデプロイ

Homelabが動き出して2週間ほどですがそろそろ監視系のサーバも欲しくなってきました。 でもこれはHomelab。欲しかったら作れます。 構成 監視サーバもswarm内に立ててもいいですが、切り分けもしやすいしまずは単体のゲスト作成でやってみます。 構成はこん…

homelabにdokuwikiのデータを移植する

LXDで動かしていたサーバ群をdocker環境に移し替えているのですが今回はdokuwikiを移植しました。 dokuwikiはディレクトリを抜いてコピればデータリストアは完了なのでお手軽さも相まって気に入ってます。 公式のイメージはなかったのですが自作もなんだしbi…

OSSはちゃんと公式の最新バージョンを使おう

GW中に自宅のラボ環境を作っていたのですがOSはubuntu22.04LTSをインストールしました。 インストール時に一緒に入れるパッケージを選択するのですがmicrok8s, dockerなど今時のコンテナパッケージもプリインストールできるようになっていました。 docker環…

pfSenseでOpenVPN環境を作る

先日構築した自宅ラボにFirefly III、Pi-holeなどを移植したのでいよいよ運用が始まりました。 こう揃ってくると出先からもアクセスしたいところです。 家のインターネット環境ではTCPのOpenVPNがやりやすいのでpfSenseで環境を作成します。 OpenVPNサービス…