Glue ETL jobs でCSVを前処理してParquetに変換する

Tech blog

こんにちは、基盤整備グループの上西です。

AWSのGlue Crawlersでクローラーを実行する際にCSVファイルのままだと、date型にしたいデータがstringデータのままであったり、ダブルクォーテーションで囲った文字列がスペースで切れて隣のカラムのデータを上書きしてしまうなどの不都合が生じることがあるため、CSVファイルをParquetファイルとして出力したいことがありました。

ParquetファイルはCSVファイルに比べて容量が小さくカラム毎に型を定義することができるので、Glueデータカタログでデータベースとして扱いやすい特徴があります。

クローラー実行後にGlueのデータカタログからスキーマの編集でdate型にキャストするという方法もありますが、後述する今回の要件に適合しないためGlue ETL jobsを使用する方法にしました。

続きを読む

クラウドロガーを利用した可用性の高いシステムの構築

現場ロイド

弊社ではモバイル回線とクラウドロガーを組み合わせて様々なサービスを提供しております。
モバイル回線を使用することで、遠く離れた場所から遠隔で端末を操作することや数㎞離れた端末間でお互いを制御するようなシステムの構築も可能となります。

その一方でキャリアの回線網の障害や端末設置場所の電波状況等の様々な要因により通信が不通になるケースも発生し得るため、遅延の発生が許容できないシステムにおいて問題となる場合があります。

本ブログでは、モバイル回線下で即時性が必要な案件に対して可用性の高いシステムを構築する一例として、弊社で担当したシステムをご紹介します。
続きを読む

UIKitとSwiftUI、どちらを使うべき?

Tech blog

こんにちは!クラウドソリューション開発部の今野です。

私自身、Swiftで開発をしたことがあるため、今回はSwiftのフレームワークについて紹介していきます。

Swiftのフレームワークには色々あるのですが、代表的なものとして2つあります。

おそらくiPhoneアプリを開発している方であれば聞いたことがあるかもしれません。

その名も

UIKitとSwiftUIです。

最近は「時代は変われど実績のあるUIKitは健在!」「将来に投資するためにSwiftUIを使おう!」「結局どちらを使えば良いんだーっ!」という話がよく出てきますが、

大切なのは用途だと思います。

木工用ボンドでプラスチックのパーツを接合しようとしているのと同じ(実体験)

そこで今回は、UIKitとSwiftUIのメリットとデメリットを挙げていきます。

Swiftのフレームワークで検討中の方、必見です。
  続きを読む

個人情報の暗号化対応について

Tech blog

こんにちは。クラウドソリューション開発部の石田です。
先日、個人情報の暗号化処理を対応しました。
この記事では、暗号化とは何か?どのような対応をしたのか備忘録として記載をしていきます。

続きを読む

Amazon Linux2023にzabbixエージェントインストール

Tech blog

こんにちは、基盤整備グループの上西です。
Amazon Linux2023がリリースされてから数か月経ちますが、Zabbixエージェントをインストールして監視した系のブログ等が少なく、公式を見てもそれっぽい記述はなかったため、我々調査隊はAmazonの奥地へと向かった――。
 
 

続きを読む

GoogleスプレッドシートでBacklog複数プロジェクトの課題情報を一括出力

Tech blog

みなさん、こんにちは。
デバイスソフトウェア開発部のnomuraです。

プロジェクト管理・タスク管理ツールは数多く存在しますが、当社では直感的で使いやすいBacklogを採用しています。
Backlog単体でもプロジェクトの進捗管理やスケジュール確認が可能ですが、日々のプロジェクト全体の状況を簡潔にサマリー表示するために、Googleスプレッドシートを活用しています。
この記事では、Googleスプレッドシートを使用してBacklogの課題情報を一括出力する方法についてご紹介いたします。
 
続きを読む

サマリーページカスタマイズ事例紹介

Tech blog

こんにちは、クラウドソリューション開発部の鈴木です。

弊社の提供サービス、FASTIO のLOGGERアプリに「サマリーページカスタマイズ」という機能があります。
その名の通りロガーアプリに実装されているサマリー画面をカスタマイズして表示を変える機能で、通常のサマリー画面ですと最新の計測値とグラフが表示されているのですが、サマリーページカスタマイズを設定するとグラフィカルに表示することができます。

今回は私が今までに対応したカスタマイズ事例をいくつか紹介したいと思います。

続きを読む

様々な制度を利用した、育児と仕事の両立について

未分類

みなさん、こんにちは。
開発部の寺田です。

技術の話題ではありませんが、趣向を変えて新米ママエンジニアの日常という観点で執筆します。
昨年6月から出産のため産前産後休業と育児休業を取得し、今年の7月から復職しました。
このたび育児と仕事を両立するうえで、わたしが利用した又は利用している国の休業制度と社内制度をご紹介いたします。

続きを読む