6.1. S3バケットへの通知設定(SNS)の追加¶
作業の目的 [why]¶
S3バケット"sesincoming-<ドメイン名>"に通知設定を追加する。
作業対象 [what]¶
- S3バケット
標準時間¶
8分
前提条件¶
作業権限条件 [who]¶
本作業は、以下の作業権限を有する人が行います。
作業権限条件: S3への権限
S3に対してフル権限があること。
作業権限条件: SNSへの権限
SNSへのRead権限があること。
作業環境条件 [where]¶
本作業は、以下の作業環境で行います。
作業環境条件1: OSとバージョン
Amazon Linuxの以下のバージョンで動作確認済
コマンド:
cat /etc/issue | head -1
結果(例):
Amazon Linux AMI release 2016.09
作業環境条件2: シェルとバージョン
bashの以下のバージョンで動作確認済
コマンド:
bash --version -v | head -1
結果(例):
GNU bash, バージョン 4.2.46(1)-release (x86_64-redhat-linux-gnu)
作業環境条件3: AWS CLIのバージョン
以下のバージョンで動作確認済
- AWS CLI 1.11.117
コマンド:
aws --version
結果(例):
aws-cli/1.11.166 Python/2.7.12 Linux/4.4.11-23.53.amzn1.x86_64 botocore/1.7.24
バージョンが古い場合は最新版に更新しましょう。
コマンド:
sudo -H pip install -U awscli
開始条件¶
作業に必要なモノ・情報 [resource]¶
作業開始には、以下が全て揃っていることが必要です。
リソース1: S3バケット名
- 作成するS3バケットの名称です。
- 今回は"sesincoming-<ドメイン名>"とします。
作業開始には、以下が全て揃っていることが必要です。
リソースx: SNSトピック名
- 通知先のSNSトピックの名称です。
- 今回は"sesincoming-2017-10-09"とします。
タスクの実施¶
0. パラメータの指定¶
まず変数の確認をします。
変数の確認:
cat << ETX 0.a. AWS_DEFAULT_PROFILE: actual: ${AWS_DEFAULT_PROFILE} expect: <S3のフル権限を許可されているプロファイル> 0.b. AWS_DEFAULT_REGION: actual: ${AWS_DEFAULT_REGION} expect: ap-northeast-1 0.1. S3_BUCKET_NAME: actual: ${S3_BUCKET_NAME} expect: sesincoming-<ドメイン名> 0.2. S3_NOTIFICATION_EVENT actual: ${S3_NOTIFICATION_EVENT} expect: s3:ObjectCreated:* 0.3. SNS_TOPIC_NAME actual: ${SNS_TOPIC_NAME} expect: sesincoming-2017-10-09 0.4. S3_NOTIFICATION_ID actual: ${S3_NOTIFICATION_ID} expect: s3:ObjectCreated-All-sesincoming-2017-10-09 ETX
変数が入っていない、適切でない場合は、それぞれの手順番号について作業を行います。
0.a. プロファイルの指定¶
プロファイルの一覧を確認します。
コマンド:
cat ~/.aws/credentials \ | grep '\[' \ | sed 's/\[//g' | sed 's/\]//g'
結果(例):
iamFull-prjz-mbpr13 <S3のフル権限を許可されているプロファイル>
変数の設定:
export AWS_DEFAULT_PROFILE='<S3のフル権限を許可されているプロファイル>'
0.4. 通知IDの指定¶
通知IDを指定します。
変数の設定:
S3_NOTIFICATION_ID="s3:ObjectCreated-All-${SNS_TOPIC_NAME}" \ && echo ${S3_NOTIFICATION_ID}
再確認¶
設定されている変数の内容を再確認します。
変数の確認:
cat << ETX 0.a. AWS_DEFAULT_PROFILE: actual: ${AWS_DEFAULT_PROFILE} expect: <S3のフル権限を許可されているプロファイル> 0.b. AWS_DEFAULT_REGION: actual: ${AWS_DEFAULT_REGION} expect: ap-northeast-1 0.1. S3_BUCKET_NAME: actual: ${S3_BUCKET_NAME} expect: sesincoming-<ドメイン名> 0.2. S3_NOTIFICATION_EVENT actual: ${S3_NOTIFICATION_EVENT} expect: s3:ObjectCreated:* 0.3. SNS_TOPIC_NAME actual: ${SNS_TOPIC_NAME} expect: sesincoming-2017-10-09 0.4. S3_NOTIFICATION_ID actual: ${S3_NOTIFICATION_ID} expect: s3:ObjectCreated-All-sesincoming-2017-10-09 ETX
1. 前処理¶
1.1. 処理対象の状態確認¶
主処理の実施は、以下の状態であることを前提とします。
前提と異なることが判明した場合、直ちに処理を中止します。
事前条件1: S3バケット"sesincoming-<ドメイン名>"が存在する。
「S3バケット"sesincoming-<ドメイン名>"が存在する。」ことを確認します。
コマンド:
aws s3api list-buckets \ --query "Buckets[?Name == \`${S3_BUCKET_NAME}\`].Name"
結果(例):
[ "sesincoming-<ドメイン名>" ]
事前条件2: S3バケット"sesincoming-<ドメイン名>"に通知設定が存在しない。
「S3バケット"sesincoming-<ドメイン名>"に通知設定が存在しない。」ことを確認します。
コマンド:
aws s3api get-bucket-notification \ --bucket ${S3_BUCKET_NAME}
結果(例):
(出力なし)
1.2. 主処理に必要な情報の取得¶
SNSトピックのARN取得
変数の設定:
SNS_TOPIC_ARN=$( \ aws sns list-topics \ --query "Topics[?contains(TopicArn, \`${SNS_TOPIC_NAME}\`)].TopicArn" \ --output text \ ) \ && echo ${SNS_TOPIC_ARN}
結果(例):
arn:aws:sns:ap-northeast-1:<AWS_ID>:sesincoming-2017-10-09
設定文字列の生成
変数の設定:
S3_NOTIFICATION_STRING="TopicConfiguration={Id=${S3_NOTIFICATION_ID},Event=${S3_NOTIFICATION_EVENT},Topic=${SNS_TOPIC_ARN}}" \ && echo ${S3_NOTIFICATION_STRING}
結果(例):
TopicConfiguration={Id=s3:ObjectCreated-All-sesincoming-2017-10-09,Event=s3:ObjectCreated:*,Topic=arn:aws::sns:ap-northeast-1:XXXXXXXXXXXX:sesincoming-2017-10-09"
2. 主処理¶
通知設定の追加¶
変数:
cat << ETX S3_BUCKET_NAME: actual: ${S3_BUCKET_NAME} expect: sesincoming-<ドメイン名> S3_NOTIFICATION_STRING: actual: ${S3_NOTIFICATION_STRING} expect: TopicConfiguration={Id=s3:ObjectCreated-All-sesincoming-2017-10-09,Event=s3:ObjectCreated:*,Topic=arn:aws:sns:ap-northeast-1:<AWS_ID>:sesincoming-2017-10-09} ETX
コマンド:
aws s3api put-bucket-notification \ --bucket ${S3_BUCKET_NAME} \ --notification-configuration ${S3_NOTIFICATION_STRING}
結果(例):
(出力なし)
3. 後処理¶
完了条件の確認¶
主処理は、以下を満たしたときに成功したものとします。
完了条件1: S3バケット"sesincoming-<ドメイン名>"に通知設定が存在する。
「S3バケット"sesincoming-<ドメイン名>"に通知設定が存在する。」ことを確認します。
コマンド:
aws s3api get-bucket-notification \ --bucket ${S3_BUCKET_NAME} \ --query 'TopicConfiguration.Id'
結果(例):
"s3:ObjectCreated-All-sesincoming-2017-10-09"
完了条件2: S3バケット"sesincoming-<ドメイン名>"の通知設定が想定に内容になっている。
「S3バケット"sesincoming-<ドメイン名>"の通知設定が想定に内容になっている。」ことを確認します。
コマンド:
aws s3api get-bucket-notification \ --bucket ${S3_BUCKET_NAME}
結果(例):
{ "TopicConfiguration": { "Topic": "arn:aws:sns:ap-northeast-1:<AWS_ID>:sesincoming-2017-10-09", "Id": "s3:ObjectCreated-All-sesincoming-2017-10-09", "Event": "s3:ObjectCreated:*", "Events": [ "s3:ObjectCreated:*" ] } }
参考:¶
設定が成功すると以下の通知がSNS経由で届きます。
From: | no-reply@sns.amazonaws.com |
---|---|
Subject: | Amazon S3 Notification |
本文(例):
{"Service":"Amazon S3","Event":"s3:TestEvent","Time":"2017-10-09T01:23:45.678Z","Bucket":"sesincoming-<ドメイン名>","RequestId":"xxxxxxxxxxxxxxxx","HostId":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx="}