みらいテックラボ

音声・画像認識や機械学習など, 管理人が興味のある技術の紹介や実際にトライしてみた様子などメモしていく.

Google Colaboratory (1) ― ファイルをアップロード/ダウンロードする

最近, 機械学習を始めてみようという方に, 勉強環境としてGoogle Colaboratory[1]をおススメすることがよくある.

Google Colaboratory概要
機械学習の環境構築がほぼ不要(TensorFlow, Keras, PyTorch, Chainer等インストール済)
GPUを含めて無料で利用可能(連続12hまで)
Google Driveと連携可

こう書くと, 誰でもまずは使ってみようと思うだろう.
確かに, 環境構築など必要なく, すぐにチュートリアルなどを試せて便利.


関連記事:
Google Colaboratory (1) ― ファイルをアップロード/ダウンロードする
Google Colaboratory (2) ― FuseでGoogle Driveをマウントする


だが, 使っていると不便な点も少々ある.
よく聞かれるのが, 「PCのデータセット等をColab上のプログラムで扱いたい場合に, どうやればよいかわからない」 といったことである.

そこで, 今回は最も簡単なローカルのファイルをアップロード/ダウンロードする手順を紹介する.


1. ローカルファイル[2]
1.1 アップロード

from google.colab import files

uploaded = files.upload()
for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))

実行すると, ファイル選択が表示されるので, アップロードしたいファイルを選択すればよい.
複数のファイルを選択し, アップロードすることも可能.

f:id:moonlight-aska:20180804103716p:plain

1.2 ダウンロード

from google.colab import files

with open('example.txt', 'w') as f:
  f.write('some content')

files.download('example.txt')

実行すると, ファイルがダウンロードされ, 既定の保存先に保存される.

OS ダウンロード先
Windows \Users\<username>\Downloads
Mac: /Users/<username>/Downloads
Linux /home/<username>/Downloads


これで, データセットをPCからColabへ, また, 学習結果をColabからPCへ移すことができるようになった.

ここ には, いくつか他の方法も紹介されているので, 参考にするとよい.
次回は, Google Driveをマウントする手順を紹介する.

----
参照URL:
[1] Hello, Colaboratory - Colaboratory - Google
[2] External data: Drive, Sheets, and Cloud Storage - Colaboratory





ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編


つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~

つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~


PythonとKerasによるディープラーニング

PythonとKerasによるディープラーニング