yag's blog

Twitter以上Zenn以下なことを書く場所

macOS環境構築メモ (2023/10)

3年ぶりの更新。気がつけばシステム環境設定の画面も名前も変わってしまった。 wolfin.hatenablog.com システム設定 サウンド 起動時にサウンドを再生: off 音量を変更するときにフィードバックを再生: on 一般 AirDropとHandoff AirDrop: すべての人 ローカ…

個人でも何か出来たあの頃のNLP

自分はNLPのどんな部分が好きだったんだろうと最近ふと思うことがある。こんなことを書くと懐古厨や老人だと思われるかも知れないが、最近のLLMの急速な発展を横目に、before-LLMのあの頃の自分を振り返ることがたまにある。 あの頃は、LLMのような単一のモ…

自分の感情を客観視して損得を判断できるようになってきた

最近自分の感情を客観視して、その感情の損得を判断できるようになってきた。 例えば、外を出歩いていて道で他人にぶつかられて、相手は通り去ったとする。その瞬間は「うわっ」とか「何だあいつ」と思うんだけれども、次の瞬間には「自分はさっきの出来事で…

旅に行けない

今年の5月で有効期限が切れるマイルが50,000ptくらいある。特典航空券に使って旅行に行こうかと思い、旅行先を探したり席に空きのない予約システムとにらめっこしたが、これというものがない。ポイントに交換して生活の足しにしようかとも思ったが、2万pt以…

男一人がスイーツをどこで食べるか

最近スイーツを食べるのにハマっているのだけれども、男一人がどこでスイーツを食べるかという問題にぶち当たっている。 そもそもスイーツの主要業態としてテイクアウトとイートインの2種類が存在する。小規模な店舗やデパ地下などはテイクアウトで持ち帰り…

2022年何もできなかったと考える自分のスタンスの変化

2022年のまとめを書こうかと何度も考えたものの、振り返るほどのことができなかったなということで避けていた。具体的な事象は振り返るに値しないのでおいておいて、改めて2022年の自分は何が大きな変化だったのかと年末年始考えていると、結局のところ学問…

生活をちょっと便利にするクローラーを書く

以前紹介したGrafana環境を自宅に整えたことで、色々と時系列データを取得するコードを書きたくなった。そこで携帯電話のデータ使用量と残量を定期的に取得して可視化することに。当然ながらAPI等は無いので、Seleniumでブラウザを操作して値を取得している。…

無心で手を動かす

この週末は、とあるシェルスクリプトをPythonに移植するコードを書いた。処理としてはWebAPIを叩いて値を取り出してといった簡単なもので、コマンドの意味などは手元で試したり調べる必要があったが、ほぼ何も考えずにコードを移植することができた。 自分の…

家の玄関ドアを直した

家の玄関ドアが数ヶ月も前から調子が悪く、人間が力をかけないと完全に閉まらなかったり、ドアの開け締めで金属の擦れる音がしていた。気付いてはいたがずっと先延ばしにしていたものの昨日一念発起して調査したところ、ちゃんと閉まらないのはネジが緩んで…

ネットワーク、何も分からない

家の環境整備の一貫で、家の無線LANルータをWi-Fi 6対応の高機能のものに買い替えた。2019年11月に1.6万で購入した2台の無線LANルータは、2022年11月に6,000円程度でメルカリで売れたので、3年で1万円、サブスクリプションぽく言い換えると月300円程度で使え…

物理で家に置いているメトリクス収集/可視化サーバが落ちた

wolfin.hatenablog.com ちょうど昨日ブログを書いたら、今朝確認したところメトリクス収集と可視化を担っているRaspberry Piサーバが落ちていた。Grafanaにも繋がらず、sshもできず、Tailscaleもofflineになっている。起こりうることは起こるんだなぁという…

Telegraf/InfluxDB/GrafanaでGPUサーバのメトリクスを監視する

自作したGPUサーバの各種メトリクスを収集し可視化できるようにしました。家のRaspberry PIにInfluxDBとGrafanaを立ててて、Telegrafでメトリクスを飛ばしています。PCやスマホからサクッと確認できるようになって満足。 pic.twitter.com/qZ7UT4rKtC— やぐ (…

~/local/を使うのをやめて~/.local/に移行してみた

自分がプログラミングを学び始めた頃から、自身でコンパイルを要したり実行ファイルが出てくるタイプのツールは、ホームディレクトリ以下に~/localを作成して./configure --prefix=$HOME/localとすることで、その配下にbin/やlib/が作成されるというスタイル…

マルチコア/スレッドで見栄えの良いようにhtopのレイアウトを変える

htop、こんなシャレオツレイアウトにできることを知らなかった……!! F2で選んでスペース押すだけでいろんなレイアウトにできるみたいです。 pic.twitter.com/e9fACnPZQd— やぐ (@yag_ays) 2022年11月2日 さすがに12core24threadもあると、htopのデフォルトの…

EOFError: Ran out of input

Zennやブログでは綺麗に纏めたことや成功したことをアウトプットしがちなので、ここでは駄目だったこともアウトプットしていこうと思う。 とある一連のPythonコードの中で、大量のドキュメントのsentence embeddingを計算して結果をpickleファイルに吐き出し…

ngrok → Tailscale

家のDesktop PCに外部からsshするのに、今まではngrokを使っていたが、Tailscaleに乗り換えた。乗り換え理由は、以下の2つ。 ngrokはFree planの場合に実行ごとに接続先のポート番号が変化し、Pro以上の有料プラン($20/month)でなければ固定できない ポート…

スイッチングハブを買い替えた

新しく組んだPCのspeedtestが100Mbpsくらいで頭打ちになっていたのでもしやと思ったら、使っているスイッチングハブが100BASE-Tだった。普段はNASNEなどで利用しているハブだったので速度低下に気付かなかった。1000BASE-Tのものに買い替えて無事速度が出て…

GPU/CUDAとPyTorch周りの様々なバージョンを理解する

前置き GPUを利用したディープラーニングの環境構築において、GPUのドライバやCUDAの諸々の設定は初学者が誰しも嵌る最初の難関と言える。私自身これまではネットの情報をあれこれ試して上手く行けばOKで済ませていたが、この辺で今一度正しく理解しておきた…

ディープラーニング開発用のそこそこハイエンドな自作PCを作った

最近個人プロジェクトでディープラーニングを使った開発をしており、今まではGPUを利用する際はColabやGCPのGPUインスタンスを利用していたが、以下のような理由により少々窮屈になってきた。 Colab Pro/Pro これまでのセッションが維持される限りの使い放題…

Blogを再開します

久しぶりにブログを再開します。ワイワイ! というのも、最近TwitterやZennなどでのアウトプットに対する「ちゃんとしなきゃ」感が強い。もっと作業ログとか雑な思考の吐き出し場があると良いなと思い、改めてこのブログを引っ張り出してきた。使ったことが…

買ってよかったもの、そうでもないもの 2021

今年買ってよかったもの、またはそうでもないものを書き出してみます。 買ってよかったもの AfterShokz Aeropex 今流行の骨伝導イヤホン。最初は敬遠していたがいざ試してみるとかなり使い心地が良い。左右をつなぐケーブル部分が固くて、首元にかかったりし…

macOS環境構築メモ (2020/05)

久々にMacBookProを新調したので、環境構築のメモ。 My new gear… (やってみたかっただけ pic.twitter.com/JUx80izHkE— やぐ (@yag_ays) 2020年5月23日 Mac OS X Mavericks環境構築記録 - Wolfeyes Bioinformatics beta なんと以前の記事がまだインターネッ…

「データ活用のための数理モデリング入門」で、アイデアを数式に落とし込む

データ活用のための数理モデリング入門作者:水上 ひろき,熊谷 雄介,高野 雅典,藤原 晴雄発売日: 2020/04/15メディア: 単行本(ソフトカバー) 「データ活用のための数理モデリング入門」をご恵贈いただきましたので、このブログで紹介したいと思います。私は…

OpenAI Retro Contestの「Gym Retro Integration」でソニック・ザ・ヘッジホッグをプレイする

つい先日、OpenAIが主催するOpenAI Retro Contestが終了したようです。このコンテストでは"Sonic The Hedgehog"を題材に、ゲームをプレイするエージェントを作成しその性能を競うものでした。コンテストの結果は実際にプレイ動画とともにleaderboardから見る…

XGBoostのScikit-Learn APIでearly stoppingを利用する

この記事では、XGBoostのScikit-Learn APIを使いながらもearly stoppingを利用する方法を紹介します。 一般的な方法 XGBoostのLearning APIとは違って、Scikit-Learn APIのXGBClassifierクラス自体にはearly stoppingのパラメータがありません。その代わりに…

転職しました

from: 株式会社リクルートテクノロジーズ (株式会社リクルートホールディングス)(2015.04-2017.12) to: Sansan株式会社(2018.01-) 前職では様々な方に大変お世話になりました。ありがとうございました。 年明けから新たな職場でのスタートになります。引…

Recognizing Textual EntailmentをLSTMで解く

NLPのディープラーニング周りの可視化手法が知りたくて色々読んでいる中でReasoning about Entailment with Neural AttentionでRecognizing Textual Entailment(以下RTE)という問題を解いていたので、データセットも公開されていることもあり試しにチャレ…

コマンドラインからEC2のインスタンスの状態を確認できるec2instを作りました

概要 最近は機械学習の計算やJupyter Notebookなどを、ローカルやVPSではなくAWSのEC2で動かしたりしているのですが、そうなると気になるのがインスタンスの状態だったりパブリックIPアドレスだったりするわけです。普通ならブラウザからAWSのコンソールを開…

bitFlyerのticker情報をInfluxDBに入れてGrafanaで可視化する

概要 前回はビットコインのデータをバルクで配布しているサイトから直接ダウンロードして可視化しましたが、今回は自分でデータを取ってきて蓄積し、可視化までの流れをやってみたいと思います。 色々と方法はあると思いますが、せっかくなので自身の勉強の…

Bitcoinchartsでbitcoinの過去の取引履歴を取得し可視化する

今回はbitcoinの取引所での取引履歴のデータを取得してみます。 前回bitFlyer LightningのAPIを使えるパッケージを作った時のように、各取引所が公開しているデータや提供しているAPI等がありますが、今回はBitcoinchartsから取得してみます。Bitcoincharts…