python | nibuiroフラグメント β

Mar 19, 2020

Solved: CondaHTTPError: HTTP 000 CONNECTION FAILED

こう…, python環境ってなんで改めて構築しようとするたびに詰まるのですかね？

D:\>conda update --all
Collecting package metadata (current_repodata.json): failed

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/main/win-64/current_repodata.json>
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.

If your current network has https://www.anaconda.com blocked, please file
a support request with your network engineering team.

'https://repo.anaconda.com/pkgs/main/win-64'

1

2

3

4

5

6

7

8

9

10

11

12

13

D:\>conda update --all

Collecting package metadata (current_repodata.json): failed

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/main/win-64/current_repodata.json>

Elapsed: -

An HTTP error occurred when trying to retrieve this URL.

HTTP errors are often intermittent, and a simple retry will get you on your way.

If your current network has https://www.anaconda.com blocked, please file

a support request with your network engineering team.

'https://repo.anaconda.com/pkgs/main/win-64'

今回のエラーはこれ. DLLが衝突する場合, パスに”<%PYTHON_HOME%\Library\bin>”が足りない場合が私の環境における問題でしたので環境変数のPATHからpython関係以外のものをすべて除いたうえで/Library/binを追加して解決しました.
以上です.

Jan 9, 2020

Solved: ERROR conda.core.link:_execute(700)

By kogane in environment Tag python

今思えば--freeze-installedでよかった…
発生要因は軽い気持ちの P I P .

spaCyのインストールをしようとしましたら.

ERROR conda.core.link:_execute(700): An error occurred while uninstalling package '<unknown>::mkl-2019.3-intel_203'.
Rolling back transaction: done

ValueError('Attempted to make prefix record for unknown package type: mkl-2019.3-intel_203',)
()

1

2

3

4

5

ERROR conda.core.link:_execute(700): An error occurred while uninstalling package '<unknown>::mkl-2019.3-intel_203'.

Rolling back transaction: done

ValueError('Attempted to make prefix record for unknown package type: mkl-2019.3-intel_203',)

()

で突き返されました.

conda uninstall mkl
conda clean -all
conda remove --force mkl
conda install -c intel --force-reinstall mkl

1

2

3

4

conda uninstall mkl

conda clean -all

conda remove --force mkl

conda install -c intel --force-reinstall mkl

何をしてもダメ.
がしかし, 何をしてもダメなことはない.
そんなにソイツが目障りなら認識から外してしまえばいい.

${CONDA_PREFIX}/conda-meta/<package-name-and-version>-<hash>.json

管理しているパッケージの情報はここにあるとのこと. 削除します.

conda install -c intel --force-reinstall mkl

1	conda install -c intel --force-reinstall mkl

完璧. 念のため--force-reinstallオプションをつけましたがいらないかもしれません.

Sep 22, 2018

setup.py install⇒uninstall

By kogane in environment Tag python

アーインストール♪　アーインストール♪
こーのー星の無数の…

　はい、ということでsetup.pyから直接インストールしてしまった場合についての対処法です。pipというすばらしいパッケージ管理システムを通さずにインストールしてしまうとまぁ大変。次からはやめましょう。

windows版xargs

Windows（オプション必要かも<(_ _)>）:

python setup.py install --record files.txt
type files.txt | xargs del

1 2	python setup.py install --record files.txt type files.txt \| xargs del

Linux:

python setup.py install --record files.txt
cat files.txt | xargs rm -rvf

1 2	python setup.py install --record files.txt cat files.txt \| xargs rm -rvf

こちらのコマンドでアンインストールできないこともないですが、強引な操作となる為、意図しないファイルを削除してしまうことがあります。使用には十分気を付けてくださいねー。

setup.pyから直接インストールしない方法

pip install wheel
python setup.py bdist_wheel
cd dist
pip install <yor_package_name>.whl

1

2

3

4

pip install wheel

python setup.py bdist_wheel

cd dist

pip install <yor_package_name>.whl

Sep 19, 2018

Anacondaとjupyter notebook

By kogane in environment Tag python

話自体は昔のことなんですがね？
WindowsであるAnaconda環境からjupyterを立ち上げたいと思うじゃないですか？
ググりますね？

「Anacondaから開いたプロンプトでjupyter notebookうてばいけるよ！」

「できました！」

「I can not! Ahhhh!!!」

C:\Users\%USERNAME%\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%

1	C:\Users\%USERNAME%\Anaconda3\Scripts\jupyter-notebook-script.py %USERPROFILE%

…ということで、スクリプトを直接実行してみましたらできました。

C:\Users\%USERNAME%\Anaconda3\Scripts\spyder-script.py

1	C:\Users\%USERNAME%\Anaconda3\Scripts\spyder-script.py

Spyderについても同様です。
パスは(ry

…が、しかしね？この話にはまだ続きがありまして、

python -m ipykernel install --user --name=<your_directory_name> --display-name=<your_env_name>

1	python -m ipykernel install --user --name=<your_directory_name> --display-name=<your_env_name>

`--name`	ipykernel（IPython Kernel for Jupyter）のインストールディレクトリの名称を設定。IPythonってのは対話型CLI。
`--display`	jupyter notebookでの表示名

こちらの方法でもイケるのですよ。…むしろこっちが正しい(笑)。
ただ「IPython-notebook-extensions」がエラーを起こす…かもしれない。

ほいでは。ﾉｼ

Aug 15, 2018

Tensorflow 1.0をかじる

By kogane in Artificial Intelligence Tag NAI, python, Tensorflow

プリセットを利用する

tf.estimator

　抽象度の高いAPI。高位の機械学習APIともいう。データの入力には下記のfeature-columnsを用いる。
　このクラスは以下を内包している。

BaselineClassifier: A classifier that can establish a simple baseline.
BaselineRegressor: A regressor that can establish a simple baseline.
BestExporter: This class exports the serving graph and checkpoints of the best models.
BoostedTreesClassifier: A Classifier for Tensorflow Boosted Trees models.
BoostedTreesRegressor: A Regressor for Tensorflow Boosted Trees models.
DNNClassifier: A classifier for TensorFlow DNN models.
DNNLinearCombinedClassifier: An estimator for TensorFlow Linear and DNN joined classification models
DNNLinearCombinedRegressor: An estimator for TensorFlow Linear and DNN joined models for regression.
DNNRegressor: A regressor for TensorFlow DNN models.
Estimator: Estimator class to train and evaluate TensorFlow models.
EstimatorSpec: Ops and objects returned from a model_fn and passed to an Estimator.
EvalSpec: Configuration for the “eval” part for the train_and_evaluate call.
Exporter: A class representing a type of model export.
FinalExporter: This class exports the serving graph and checkpoints in the end.
LatestExporter: This class regularly exports the serving graph and checkpoints.
LinearClassifier: Linear classifier model.
LinearRegressor: An estimator for TensorFlow Linear regression problems.
ModeKeys: Standard names for model modes.
RunConfig: This class specifies the configurations for an Estimator run.
TrainSpec: Configuration for the “train” part for the train_and_evaluate call.
VocabInfo: Vocabulary information for warm-starting.
WarmStartSettings: Settings for warm-starting in Estimators.

tf.feature-columns

　estimatorへ入力する特徴列（データ）の定義。特徴列の型、サイズ、構造を定義し、生成する。

オリジナルモデルを構築する

tf.Variable

　重みやバイアスといった学習対象の変数を格納する。

Weight (W)
Bias (B)

tf.placeholder

　学習に必要なデータを供給する。テストデータの入力の際はnumpy行列をそのまま渡す。

train_x
train_Y

　
参考:
・https://towardsdatascience.com/deploy-tensorflow-models-9813b5a705d5
・https://www.kaggle.com/liampetti/deep-neural-network-using-tensorflow
・https://www.kaggle.com/fuzzyfroghunter/getting-started-with-tensorflow
・https://stackoverflow.com/questions/41116782/tensorflow-how-to-get-prediction
・https://stackoverflow.com/questions/36693740/whats-the-difference-between-tf-placeholder-and-tf-variable