カテゴリー別アーカイブ: Python

NginxとuWSGIのタイムアウト設定変更してやんよ!!!

2019

8

13

長い分析処理などかける場合に、ローカル環境なら問題ないですが httpサーバーを経由しての実装となるとwebサーバー側で1分以上の接続は強制的にタイムアウトされてしまいます。 静的ページならNginx部分だけで問題ないで ...

続きを読む⇒

Pythonでスクレイピングフレームワークのscrapy入門してやんよ!!!

2019

5

2

スクレイピングと一言に言っても実際は結構なロジックとモジュールなどを組み合わせて作り上げます。 ・requestsモジュールでサイトにhttpでアクセス ・seleniumなどUIテストツールで自動的にwebページ内を操 ...

続きを読む⇒

CentOS7でpyenv環境のpythonコマンドをcron実行してやんよ!!!

2019

2

12

さくらVPSで構築したCentOS7でpythonファイルをcron実行する際にちょっと手間取ったので記録。 実行環境 ・CentOS7 ・httpサーバーはNginx  (ドキュメント用のディレクトリは/usr/sha ...

続きを読む⇒

PythonでヘッドレスChromeをシークレットモードで開いてやんよ!!!

2018

12

6

RPAなどの自動操作システム開発時などに色々と捗るChromeのヘッドレスブラウザですが、ひょんな事から拡張アプリをデフォ装備&シークレットモードで開く事があったので記録 自動操作に必要な各モジュールをインポート ヘッド ...

続きを読む⇒

PythonでスクレイピングしたデータをDB登録してやんよ!!!

2018

5

2

特定のサイトからデータを収集して自身のサイトで利用する場合、 自身のサイトにアクセスしたユーザーのリクエストの度にスクレイピングするのは相手側にとってとっても迷惑に話で、そんな奴はいつアクセス制限かけられても文句は言えま ...

続きを読む⇒

seleniumのChromeヘッドレスブラウザで拡張機能を自動実行させてやんよ!!!

2018

4

21

seleniumでヘッドレスChromeブラウザを立ち上げながら自動操作をしていく流れの中で Chrome拡張機能を噛ませたいシチュエーションがあったんですが、結構ハマったのと 色々なシーンでの可能性を見出したのでメモ。 ...

続きを読む⇒

Pythonの基本文法まとめてやんよ!!!

2016

2

5

最近何かと話題のPythonですが、そろそろ本格的に学んでいきたいと思います。 ”コードの可読性が高い”が売りということでまずは基本的な文法を覚えていきます! あ、ちなみにPythonは2系と3系の2つのバージョンが存在 ...

続きを読む⇒

トップへ