Blogトップ
今回は、「django.db.utils.IntegrityError: (1364, "Field 'フィールド名' doesn't have a default value")」のエラーについての説明していきたいと思います。 私の場合は、ブログ記事などを投稿しようとした時に上記のエラーに遭遇し…
Django
更新日：2023/03/02
今回はPython標準ライブラリのcsvモジュールを使用して、CSVファイルの読み込みや書き込み、そしてファイル内のデータを取得していきたいと思います。 題名にもあるようにheader（ヘッダー）が有り無しかでデータの取得も困難になると思われるので、それらの回避方法やヘッダーを利用したデータの取得…
Python
今回は、チャットボットの祖であるELIZAプログラムをPythonのWebフレームワークのDjangoを使って構築していこうと思います。 ELIZA（イライザ）とは、Wikipediaを見てもらえれば分かる通り初期の自然言語処理プログラムの１つであり、心理療法士として会話を行えることが有名です。…
今回はscikit-learnモジュールのFeatureUnionを使用して、機械学習モデルなどに与える際のデータの前処理を自動化させていきたいと思います。 データの前処理は、概ねpandasを利用して（Pythonを使っている方は）欠損値の処理や外れ値の処理、カテゴリー属性を数値に置き換えたりな…
機械学習
更新日：2024/07/09
今回は、scikit-learnのPipelineモジュールを使用して、scikit-learnのモジュールである変換器や機械学習モデルを一括処理させる実装を行っていきたいと思います。 一度Pipelineにモジュールをまとめ上げてしまえば、Pipeline独自のメソッドを利用していつでもハイパー…
今回は自作変換器にscikit-learnのTransformerMixinクラスを継承して、適合と変換を一括で処理できるfit_transformメソッドを使えるようにしていきたいと思います。 この記事の後半で話題にしますが、fit_transformメソッドが使えるようになることで、sciki…
今回は、機械学習ライブラリのscikit-learnからBaseEstimatorを継承して自作変換器のハイパーパラメータを取得していきたいと思います。 ハイパーパラメータ？と思う方もいらっしゃると思いますが、機械学習ではパラメータ（決定係数）を定めるためにハイパーパラメータを順次設定していきます…
今回は機械学習ライブラリscikit-learnのOneHotEncoderを使用して、カテゴリー属性の数値化を行っていきたいと思います。 カテゴリー属性を数値にする理由は、機械学習モデルは文字列を読み込むことができないため、代わりとなる値に置き換える必要があります。 イメージとしては、panda…
今回は機械学習ライブラリのscikit-learnから、SimpleImputerという機能を使用してデータ内の欠損値や値を置き換えて、置き換える為に計算された統計値をいつでも使用できるように保管していきたいと思います。 もちろんデータ分析ライブラリのPandasを使って欠損値の除外や置き換えは簡…
今回は第５回カリフォルニア住宅価格の予測最終回ということで、これまで行ってきたデータの前処理や最良の機械学習モデルを使って、住宅価格の予測システムを作成していきたいと思います。 第３～４回の記事を見て頂ければ、第５回の処理コードはほぼコピペで進めるはずです。 こちらが過去記事です。 【第１回カリ…
※誤ってscaler.fit_transform(X_test)とテストセットに対して平均と標準の計算をし直してしまったため（正確にはscaler.transform(X_test)）、依然と結果は大きく変わりましたので、後半の内容を変更させて頂きました。 今回はカリフォルニア住宅価格の予測第４回…
※誤ってscaler.fit_transform(X_test)とテストセットに対して平均と標準の計算をし直してしまったため（正確にはscaler.transform(X_test)）、依然と結果は大きく変わりましたので、後半の内容を変更させて頂きました。 今回はカリフォルニア住宅価格の予測第３回…
© 2019-2024 ZerofromLight