はじめに

Lambdaでは処理時間の制限（最大15分）やメモリ制限により、大量データの一括処理や重たいバッチ処理には不向きなケースがあります。

そこで今回は、AWS BatchとECS Fargateを組み合わせて、必要なときだけスケーラブルに起動するバッチ処理基盤を構築する方法を紹介します。

この構成のメリット

✅ サーバーレスでインフラ管理不要
✅ 処理時間の制限なし（Lambdaの15分制限を超えられる）
✅ 使った分だけの料金（処理していない時はコスト0円）

構成概要

以下のような構成で、LambdaからAWS Batchをトリガーし、ECS Fargateでタスクを一時的に起動します。

+-------------+          +---------------+          +-------------------+
|   Lambda    +--------->+  AWS Batch    +--------->+ ECS Fargate Task  |
+-------------+          +---------------+          +-------------------+
       ↑                         |                          |
       |                         v                          v
  [トリガー]               +-------------+              [処理実行]
                          |  Job Queue  |
                          +-------------+

各コンポーネントの役割

Lambda: バッチ処理のトリガー（API GatewayやEventBridgeから呼び出し）
AWS Batch: ジョブのスケジューリング・起動管理
ECS Fargate: コンテナ実行環境（インスタンス不要）
ECR: Dockerイメージを登録

実際のユースケース例

数十万件のCSVデータを集計・変換してS3に出力
データベースへの一括登録処理
外部APIとのバルク連携
画像や動画の一括変換処理

実装に必要なAWSサービスと設定

1. Amazon ECR（Elastic Container Registry）

目的: バッチ処理のDockerイメージを保存する

設定手順:

ECRでリポジトリを作成
Dockerイメージをビルドしてプッシュ

# イメージのビルドとプッシュ例
docker build -t my-batch-app .
docker tag my-batch-app:latest [アカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/my-batch-app:latest
docker push [アカウントID].dkr.ecr.ap-northeast-1.amazonaws.com/my-batch-app:latest

TypeScriptでバッチ処理を実装する場合のDockerfile例:

FROM node:18-alpine
WORKDIR /app
COPY package*.json ./
RUN npm ci --only=production
COPY . .
CMD ["node", "dist/index.js"]

2. IAMロールの作成

目的: バッチジョブの実行に必要な権限を付与

必要なロール:

Batch Service Role: AWS Batchサービス用
ECS Task Execution Role: タスク実行用（ECRからイメージ取得など）
ECS Task Role: アプリケーション用（S3アクセスなど）

3. AWS Batchの設定

① Compute Environment（計算環境）の作成

設定内容:

タイプ: Fargateを選択
最大vCPU: 必要に応じて設定（例: 256）
サブネット: VPCのサブネットを指定
セキュリティグループ: 適切なものを選択

② Job Queue（ジョブキュー）の作成

設定内容:

優先度: 1000（デフォルト）
計算環境: 上記で作成したものを選択

③ Job Definition（ジョブ定義）の作成

設定内容:

プラットフォーム: Fargate
実行ロール: 作成したECS Task Execution Role
ジョブロール: 作成したECS Task Role
イメージ: ECRにプッシュしたイメージのURI
vCPU: 必要に応じて（例: 4）
メモリ: 必要に応じて（例: 8GB）

4. Lambdaからバッチジョブを起動

Lambda関数の実装例（TypeScript）:

import { BatchClient, SubmitJobCommand } from '@aws-sdk/client-batch';
import { APIGatewayProxyHandler } from 'aws-lambda';

const batchClient = new BatchClient({ region: 'ap-northeast-1' });

export const handler: APIGatewayProxyHandler = async (event) => {
    try {
        // バッチジョブを送信
        const command = new SubmitJobCommand({
            jobName: 'my-batch-job',
            jobQueue: '作成したジョブキュー名',
            jobDefinition: '作成したジョブ定義名',
            containerOverrides: {
                environment: [
                    { name: 'INPUT_FILE', value: 's3://my-bucket/input.csv' },
                    { name: 'OUTPUT_FILE', value: 's3://my-bucket/output.csv' }
                ]
            }
        });

        const response = await batchClient.send(command);

        return {
            statusCode: 200,
            body: JSON.stringify({
                jobId: response.jobId,
                message: 'バッチジョブを開始しました'
            })
        };
    } catch (error) {
        console.error('Error submitting batch job:', error);
        return {
            statusCode: 500,
            body: JSON.stringify({
                message: 'バッチジョブの開始に失敗しました'
            })
        };
    }
};

必要なパッケージのインストール:

npm install @aws-sdk/client-batch
npm install --save-dev @types/aws-lambda

5. （オプション）その他の設定

S3バケット

バッチ処理で使用するデータの格納場所
入力ファイル・出力ファイルの保存先

EventBridge

定期的なバッチ実行が必要な場合
Cron式でスケジュール設定可能

実装時のポイント

コスト面

Fargateは使用した分だけ課金
Spot Fargateを使えばさらに安く（最大70%OFF）

処理時間

Lambdaと違い時間制限なし
数時間かかる処理も実行可能

スケーラビリティ

同時に複数のジョブを並列実行可能
Compute Environmentの設定で最大同時実行数を制御

よくあるトラブルと対処法

問題	対処法
ジョブが開始されない	VPCの設定、セキュリティグループを確認
イメージが取得できない	Task Execution Roleの権限を確認
S3にアクセスできない	Task Roleの権限を確認

まとめ

AWS Batch + ECS Fargateの組み合わせは、Lambdaでは対応しきれない重量バッチ処理において、非常に強力な選択肢です。

特に以下のような場合におすすめです:

処理時間が15分を超える
大量のメモリが必要
既存のDockerアプリケーションを活用したい

サーバーレスでありながら、柔軟で強力なバッチ処理基盤として、ぜひ活用してみてください。