まえがき 2020年のK40m購入から始まり、GPUをP40にしたりサーバー用マザボを導入したりMI50を試してみたりと徐々に進化を続けてきたホームラボ環境。 hashicco.hatenablog.com またふとebayを見ていると、なんと300ドルで48コア、しかもZen2のCPUが売られて…

概要 先日までKaggleのAIMOコンペ(数学の問題をLLMに解かせて正答率を競う)に参戦していました。結果は初のチーム参加でメンバーに助けられつつ運もあり、なんとか銀メダルを取れました！これでMasterにリーチがかかりましたが、金メダルは未だ取れる気がし…

概要 Whisperなどで日本語の文字起こしをした後の文章にほとんど句読点が入っておらず、そのまま文字起こし文章を結合すると利用しにくいことがありました。 そこで何らかの手法で句読点を挿入したいと思ったのですが意外と手軽な古典的な手法が見つかりませ…

まえがき ROCmを試すためにRadeon Instinct MI50を買ってみて、PyTorchで使えるようにセットアップをしたのが前回。 hashicco.hatenablog.com 今回は取ったベンチマークの結果をご紹介！ まとめ ROCmは本当にほぼコード変更無しでCUDA用のTensorFlow、PyTorc…

まえがき しばらく大きな買い物をしていなかったが、仕事からの現実逃避をしているとふと思う。「ROCm、試してみたいなー」 ということで、ebayを開きめぼしいGPUを探してみたところ、$200以下のお手頃価格で一応ギリギリ最新のROCm 6.0.2にもメンテナンスサ…

結論 今回は結論のみ。 WSL2上でPyTorch/TensorFlowで画像モデルのトレーニングを行う際に、データローダーをマルチスレッドで動かすと、トレーニングがハングする現象が発生しました。 ある程度のイテレーションは学習が進むのですが、途中で突然プログレス…

まえがき 時の流れは早いもので、もう2024年になってしまったようです。 最近はKaggleやら実践的な個人活動は一先ずお休みし、社会人5年目になる前に一旦基礎固めし直そうと線形代数/解析学/統計の勉強をしたり新しく出たBishop本を読んだりしており、あまり…

まえがき 言語モデルを自分でガッツリ使う経験が今まで無かったので、勉強がてら先週火曜日まで開催されていたKaggle - LLM Science Exam というコンペに参加してました。 www.kaggle.com そこそこ頑張った結果、過去最高の成績(49th/2663, Top2%)を取ること…

まえがき Ryzen9 7950X3Dを買ったのがちょうど半年前になるのだが、CPUクーラーは5600X用に購入したScytheの忍者5を流用して使っていた。 忍者5は非常に静かで安い割にそこそこ冷えるのでお気に入りであったのだが、流石に7950X3Dを冷やすには不十分でCinebe…

前記事: hashicco.hatenablog.com 後記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたの…

!!注意!!： この記事で取ったベンチマークは、片方のGPUのみECC有効となっていたことが判明しました。PCIeのレーン数も双方のGPUで異なっており、非常にアンバランスな条件で測定した結果となっておりますので、マルチGPUの効果を見るのにはあまり適しており…

前書き 我が家には10GbE搭載のQNAP TS-332XというNASを導入済みである。8TBのHDD2枚でRAID1を組んでおり、10Gの速度を活かすためにリード/ライトのSSDがキャッシュを設定している。 https://www.qnap.com/ja-jp/product/ts-332x hashicco.hatenablog.com 単…

概要 最近久しぶりにKaggleに復帰して、Image Matching Challenge 2023というコンペに参加しました。結果、92位/464グループ という成績でギリギリ銅メダルを獲得でき、晴れてKaggle Competitions Expert(コンペで銅メダル以上2個獲得)となることができまし…

続編書きました: hashicco.hatenablog.com 背景 このブログを始めた2020年頃に、NVIDIA Tesla K40mを使った安価な機械学習用GPUマシンを紹介した。 hashicco.hatenablog.com その後このマシンは勉強用に色々と活用していたのだが、2020年時点でもアーキテク…

この間PCを新調したばかりなのだが、ちょっとしたトラブル。 以前も別記事でXit Wirelessをチューナとして使っていることを書いたが、またXit Wirelessでのコンテンツ視聴ができなくなった。 hashicco.hatenablog.com 今回は依存DLLの不足ではなく、起動まで…

端書 ブログでもちょこちょこ書いているように、GPU(RX6900XT→RTX4090)、CPU(5600X→5800X3D)などメインマシンのパーツを割りと頻繁に変えながら使ってきたのだが、マザボやCドライブの変更を伴わなかったので1年半近くOSをクリーンインストールしていなかっ…

概要 ほぼタイトル通り。PyTorchのDataLoaderではnum_workersを指定したときの並列化のために、裏側でmultiprocessingを使っていることが原因のようです。 Windowsにおいてmultiprocessingはif __name__=="__main__"ブロックの中で実行されることが想定され…

内容 最近少しkaggleをお休みしTypeScriptを勉強していたり、仕事でもほとんどPyTorchしか使っていなかったりでTensorFlowの動向を追っていなかったのだが、ちょっとした衝撃的なニュースを今日知った。なんとタイトルの通り、TensorFlowの最新版2.11.0(2022…

概要 今までG600→Naga Pro→Aerox9と無線化を求めて横12ボタンマウスを試して来たのだが、Naga Proはサイドボタンの不安定さ、Aerox9はサイドボタンの配置の合わなさから、結局G600から乗り換えることができずにいた。 そんな折、Razerから新たな無線MMOマウ…

概要 タイトル通り、先日購入したRTX4090の機械学習性能を測定するために、ai-benchmarkなるものを取ってみた。 測定したマシンや買ったRTX4090の詳細等は過去記事参照のこと。 hashicco.hatenablog.com まとめ スコアは次の通り。 Device Inference Score: …

概要 2年ぶりに訪れたコンシューマ向け新世代GPUの発売シーズン。その第一弾であるNVIDIAのRTX4090が先日2022/10/12に解禁された。 前回のRTX30xx、RX6000シリーズの発売時には、初日の争奪戦で破れちょっとした後にRTX3080を買い、その後VRAM容量を求めてRX…

概要 少し前、SteelSeriesから横12ボタンのMMO用無線マウスが新発売された。前から出ているのは気づいていたのだが、値段が高いしG600もRazer Naga Proも持っているので買わなかった。 akiba-pc.watch.impress.co.jp 今回アマゾンのタイムセール祭りで税込み…

概要 私の居住地は現在徳島である。 住んでいる集合住宅の都合上、光回線のプロバイダーはSTNet ピカラという、ここに来るまで聞いたこともなかった元四国電力系のプロバイダーを利用している。元々1Gbpsの契約をしていて速度的に不満はなかったのだが、なん…

概要 以前こちらの記事で書いたように、DirectXを介して機械学習系の演算を行うことで、CUDAが使えるnvidiaのGPUに限らず、DirectX12に対応するあらゆるGPUにおいて機械学習を高速化できるというmicrosoftのDirectMLというプロジェクトがある。(ただし、Dire…

概要 意外とKaggleでColabやTPUを使う情報が少ないので、Kaggle NotebookをTPU対応させたりそれをColab対応させたりするときのTipsをご紹介します。基本はTensorflowに関する記述です。 strategyを定義してmodel.fitのときにstrategy.scope()のブロックで実…

まとめ (2022/10/21追記) Google Colab ProのGPU割当の仕様は大きく変わりました。従って下の記述はほぼ無意味です。 未だにV100とA100が自由に選択できないガチャ要素はあるようですが、基本的にはトークン制で使いたいGPUを選べるようになったそう。次の記…

概要 FF14プレイヤーなら一度は耳にするであろう、「ウルトラワイドモニターは視界が広くてプレイしやすい」との噂。 今まで23インチ FHD(EIZOのFlexscan), 27インチWQHD(NECのLCD-PA271W), 31インチ4K(Acer ET322QK C)と着実にモニタをサイズ＆解像度アップ…

概要 こないだ人生で初めてスマホを落として割ってしまった。タッチ切れは起こっておらず画面内指紋認証も問題なく効いており使い続けられるものの、割れた画面を見るたびなんとなくテンションが下がる。 使っていたのはLGのG8Xというやつで、スナドラ855、…

概要 買ってからちょうど一年くらい立ったRazer Naga Pro。 hashicco.hatenablog.com 前の記事で書いたとおり、正直2万円したわりには特にサイドボタンの動作が不安定でありあまり満足感は高くなかった。 更に半年くらい前からサイドボタンの5番の調子が悪く…

概要 今まで2年くらい500GBのPCIe3.0 m.2 SSDを使ってきたのだが、微妙に容量不足なのともっと速いSSDが欲しかったのでここ最近2TBクラスのSSDの値段をウォッチしていた。 Read 7000MB/s越えで2TBがあるラインナップということで大体この辺の商品の値動きを…