amazon-web-services - 将文件从 s3 导入到 jupyterlabs

Question

我有一个文件想要导入到 Sagemaker Jupyter 笔记本 python 3 实例中以供使用。确切的代码是“import lstm”。我可以将文件存储在 s3 中(这可能是理想的)或本地存储，无论您喜欢哪种。我已经在互联网上搜索了一段时间，但无法找到解决方案。我实际上只是想从 Suraj Raval 的 youtube channel 运行/理解这段代码:https://github.com/llSourcell/Bitcoin_Trading_Bot 。当我运行时，“import lstm”行失败，我正在尝试找出如何使其工作。

我尝试过:从 s3://... 导入 lstm。失败的我尝试了一些 boto3 方法但无法使其工作。

import time
import threading
import lstm, etl, json. ##this line
import numpy as np
import pandas as pd
import h5py
import matplotlib.pyplot as plt
configs = json.loads(open('configs.json').read())
tstart = time.time()

我只是希望能够将 lstm 文件和所有其他文件导入到 Jupyter 笔记本实例中。

Answer 1

我认为您应该在 SageMaker 实例中克隆 Github 存储库，而不是从 S3 导入文件。我能够通过克隆从 SageMaker 复制比特币交易机器人笔记本。您可以按照以下步骤操作

将 Github 存储库克隆到 SageMaker Notebook

1. 从 AWS SageMaker 控制台打开 JupyterLab。
2. 从 JupyterLab 启动器中打开终端。
3. 将目录更改为 SageMaker

cd ~/SageMaker

克隆比特币交易机器人 git repo

git clone https://github.com/llSourcell/Bitcoin_Trading_Bot.git
cd Bitcoin_Trading_Bot

现在您可以打开笔记本 Bitcoin LSTM Prediction.ipynb 并选择 Tensorflow Kernel 来运行该笔记本。

将文件从本地计算机添加到 SageMaker Notebook

要将文件从本地计算机添加到 SageMaker Notebook 实例，您可以使用 file upload JupyterLab 中的功能

将文件从 S3 添加到 SageMaker Notebook

要将文件从 S3 添加到 SageMaker Notebook 实例，请使用 AWS CLI 或 Python SDK 上传/下载文件。

例如，使用 AWS CLI 将 lstm.py 文件从 S3 下载到 SageMaker

aws s3 cp s3://mybucket/bot/src/lstm.py .

使用boto3 API

import boto3
s3 = boto3.resource('s3')
s3.meta.client.download_file('mybucket', 'bot/src/lstm.py', './lstm.py')