yag's blog

Twitter以上Zenn以下なことを書く場所

2022-01-01から1年間の記事一覧

生活をちょっと便利にするクローラーを書く

以前紹介したGrafana環境を自宅に整えたことで、色々と時系列データを取得するコードを書きたくなった。そこで携帯電話のデータ使用量と残量を定期的に取得して可視化することに。当然ながらAPI等は無いので、Seleniumでブラウザを操作して値を取得している。…

無心で手を動かす

この週末は、とあるシェルスクリプトをPythonに移植するコードを書いた。処理としてはWebAPIを叩いて値を取り出してといった簡単なもので、コマンドの意味などは手元で試したり調べる必要があったが、ほぼ何も考えずにコードを移植することができた。 自分の…

家の玄関ドアを直した

家の玄関ドアが数ヶ月も前から調子が悪く、人間が力をかけないと完全に閉まらなかったり、ドアの開け締めで金属の擦れる音がしていた。気付いてはいたがずっと先延ばしにしていたものの昨日一念発起して調査したところ、ちゃんと閉まらないのはネジが緩んで…

ネットワーク、何も分からない

家の環境整備の一貫で、家の無線LANルータをWi-Fi 6対応の高機能のものに買い替えた。2019年11月に1.6万で購入した2台の無線LANルータは、2022年11月に6,000円程度でメルカリで売れたので、3年で1万円、サブスクリプションぽく言い換えると月300円程度で使え…

物理で家に置いているメトリクス収集/可視化サーバが落ちた

wolfin.hatenablog.com ちょうど昨日ブログを書いたら、今朝確認したところメトリクス収集と可視化を担っているRaspberry Piサーバが落ちていた。Grafanaにも繋がらず、sshもできず、Tailscaleもofflineになっている。起こりうることは起こるんだなぁという…

Telegraf/InfluxDB/GrafanaでGPUサーバのメトリクスを監視する

自作したGPUサーバの各種メトリクスを収集し可視化できるようにしました。家のRaspberry PIにInfluxDBとGrafanaを立ててて、Telegrafでメトリクスを飛ばしています。PCやスマホからサクッと確認できるようになって満足。 pic.twitter.com/qZ7UT4rKtC— やぐ (…

~/local/を使うのをやめて~/.local/に移行してみた

自分がプログラミングを学び始めた頃から、自身でコンパイルを要したり実行ファイルが出てくるタイプのツールは、ホームディレクトリ以下に~/localを作成して./configure --prefix=$HOME/localとすることで、その配下にbin/やlib/が作成されるというスタイル…

マルチコア/スレッドで見栄えの良いようにhtopのレイアウトを変える

htop、こんなシャレオツレイアウトにできることを知らなかった……!! F2で選んでスペース押すだけでいろんなレイアウトにできるみたいです。 pic.twitter.com/e9fACnPZQd— やぐ (@yag_ays) 2022年11月2日 さすがに12core24threadもあると、htopのデフォルトの…

EOFError: Ran out of input

Zennやブログでは綺麗に纏めたことや成功したことをアウトプットしがちなので、ここでは駄目だったこともアウトプットしていこうと思う。 とある一連のPythonコードの中で、大量のドキュメントのsentence embeddingを計算して結果をpickleファイルに吐き出し…

ngrok → Tailscale

家のDesktop PCに外部からsshするのに、今まではngrokを使っていたが、Tailscaleに乗り換えた。乗り換え理由は、以下の2つ。 ngrokはFree planの場合に実行ごとに接続先のポート番号が変化し、Pro以上の有料プラン($20/month)でなければ固定できない ポート…

スイッチングハブを買い替えた

新しく組んだPCのspeedtestが100Mbpsくらいで頭打ちになっていたのでもしやと思ったら、使っているスイッチングハブが100BASE-Tだった。普段はNASNEなどで利用しているハブだったので速度低下に気付かなかった。1000BASE-Tのものに買い替えて無事速度が出て…

GPU/CUDAとPyTorch周りの様々なバージョンを理解する

前置き GPUを利用したディープラーニングの環境構築において、GPUのドライバやCUDAの諸々の設定は初学者が誰しも嵌る最初の難関と言える。私自身これまではネットの情報をあれこれ試して上手く行けばOKで済ませていたが、この辺で今一度正しく理解しておきた…

ディープラーニング開発用のそこそこハイエンドな自作PCを作った

最近個人プロジェクトでディープラーニングを使った開発をしており、今まではGPUを利用する際はColabやGCPのGPUインスタンスを利用していたが、以下のような理由により少々窮屈になってきた。 Colab Pro/Pro これまでのセッションが維持される限りの使い放題…

Blogを再開します

久しぶりにブログを再開します。ワイワイ! というのも、最近TwitterやZennなどでのアウトプットに対する「ちゃんとしなきゃ」感が強い。もっと作業ログとか雑な思考の吐き出し場があると良いなと思い、改めてこのブログを引っ張り出してきた。使ったことが…