Python の urllib.robotparser が失敗するときの対処法

プログラミング Python

Python の urllib.robotparse を使ってrobot.txtをパースしようとしたらハマったのでメモ。 Python でクローラーを作成していて、URLへのアクセス許可やクロールする際の遅延時間を urllib.robotparse で取得しようとしたら、なぜか技術評論社の robots.txt …

#Python #Scraping

rloginでviの表示が崩れるときの対処法

プログラミング

職場のSolarisで別のマシンにrloginでリモートログインして作業していたら、viの表示が崩れる（スクロールができないなど）という現象が起きた。 調べてみると、telnetやsshにはリアルタイムに端末のサイズを取得できる機能があるが、その他の接続形式ではそ…

Pythonでスクレイピングの練習

Python プログラミング

スクレイピングに興味があったので、PythonによるWebスクレイピング 第2版を読んでいる。 GithubでJupyter notebooksが公開されていて（REMitchell/python-scraping: Code samples from the book Web Scraping with Python）、実際にコードを動かしながら読…

#Python #BeautifulSoup

WSL2 を有効化したら VirtualBox が動作しなくなったので戻した

プログラミング

WSL2を有効化したところ、VirtualBoxに入れていたUbuntuが起動しなくなってしまった。 （ログイン画面までは表示されるが、ログイン後にデスクトップ画面がいつまでたっても表示されない。） VirtualBoxのバージョン: 6.1.8 Windows10のバージョン: Windows1…

無印良品 USBデスクファンの分解と掃除

生活

無印良品のUSBデスクファンを分解して清掃した。