初めまして！株式会社PREVENTのデータサイエンス部でデータエンジニアとして活動している俵です。 データサイエンス部には3つの職種（データサイエンティスト、データエンジニア、データアナリスト）がありますが、主にデータ分析基盤の設計・構築 ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

株式会社 POL にてエンジニアをしております山田高寛です。 最近は株式会社 POL で運営している、理系学生に特化した採用サービス LabBase のインフラ構成の Kubernetes への移行をこそこそとやっております（こちらも後日記事化します！）。 今回、この LabBase ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

Amazon Web Services（以降、AWSと略す）が提供するAWS Step Functions（以降、Step Functionsと略す）とは、AWS LambdaやAWS BatchをはじめとしたAWSの各サービスを、ワークフローという形で連携・自動化できるサービスです。 ワークフローの各ノードに既存のサービスを配置 ...

クラウド上でのシステム構築を検討している方の中で、重要なデータを期間内にまとめて処理するバッチ処理制御の仕組みを多くの方が必要としています。そのような場合にお勧めなのがジョブ管理です。 しかし、オンプレミスで運用していたようなジョブ ...

米アマゾン・ウェブ・サービスが年次イベント「AWS re:Invent」を2022年11月28日（米国時間）から5日間にわたり開催した。今回のre:Inventで目立った発表は「データの管理・活用」「機械学習と業務SaaS（ソフトウエア・アズ・ア・サービス）」「サーバーレス ...

「アプリケーション開発をトランスフォーム（変革）する」。映画「トランスフォーマー」のTシャツに身を包んだ米Amazon Web Services（AWS）のWerner Vogels CTO（最高技術責任者）は2016年12月1日（米国時間）、「AWS re:Invent」の基調講演でそう宣言（写真1）。

Amazon Web Services（AWS）の「AWS Glue」とMicrosoftの「Azure Data Factory」はどちらもETL（データの抽出、変換、読み込み）のクラウドサービス（以下、クラウドETL）だ。両者はよく似た機能を提供しており、データパイプライン（さまざまなデータソースからデータを ...