まえがき 言語モデルを自分でガッツリ使う経験が今まで無かったので、勉強がてら先週火曜日まで開催されていたKaggle - LLM Science Exam というコンペに参加してました。 www.kaggle.com そこそこ頑張った結果、過去最高の成績(49th/2663, Top2%)を取ること…

まえがき Ryzen9 7950X3Dを買ったのがちょうど半年前になるのだが、CPUクーラーは5600X用に購入したScytheの忍者5を流用して使っていた。 忍者5は非常に静かで安い割にそこそこ冷えるのでお気に入りであったのだが、流石に7950X3Dを冷やすには不十分でCinebe…

前記事: hashicco.hatenablog.com 後記事: hashicco.hatenablog.com 前書き 前記事において、P40を買い増して機械学習用マシンをマルチGPUにした。 しかし、普通のRyzenで構成していたがために、PCIeの帯域が足りず片方のGPUがx4接続になってしまっていたの…

!!注意!!： この記事で取ったベンチマークは、片方のGPUのみECC有効となっていたことが判明しました。PCIeのレーン数も双方のGPUで異なっており、非常にアンバランスな条件で測定した結果となっておりますので、マルチGPUの効果を見るのにはあまり適しており…

前書き 我が家には10GbE搭載のQNAP TS-332XというNASを導入済みである。8TBのHDD2枚でRAID1を組んでおり、10Gの速度を活かすためにリード/ライトのSSDがキャッシュを設定している。 https://www.qnap.com/ja-jp/product/ts-332x hashicco.hatenablog.com 単…

概要 最近久しぶりにKaggleに復帰して、Image Matching Challenge 2023というコンペに参加しました。結果、92位/464グループ という成績でギリギリ銅メダルを獲得でき、晴れてKaggle Competitions Expert(コンペで銅メダル以上2個獲得)となることができまし…

続編書きました: hashicco.hatenablog.com 背景 このブログを始めた2020年頃に、NVIDIA Tesla K40mを使った安価な機械学習用GPUマシンを紹介した。 hashicco.hatenablog.com その後このマシンは勉強用に色々と活用していたのだが、2020年時点でもアーキテク…

この間PCを新調したばかりなのだが、ちょっとしたトラブル。 以前も別記事でXit Wirelessをチューナとして使っていることを書いたが、またXit Wirelessでのコンテンツ視聴ができなくなった。 hashicco.hatenablog.com 今回は依存DLLの不足ではなく、起動まで…

端書 ブログでもちょこちょこ書いているように、GPU(RX6900XT→RTX4090)、CPU(5600X→5800X3D)などメインマシンのパーツを割りと頻繁に変えながら使ってきたのだが、マザボやCドライブの変更を伴わなかったので1年半近くOSをクリーンインストールしていなかっ…

概要 ほぼタイトル通り。PyTorchのDataLoaderではnum_workersを指定したときの並列化のために、裏側でmultiprocessingを使っていることが原因のようです。 Windowsにおいてmultiprocessingはif __name__=="__main__"ブロックの中で実行されることが想定され…