Posts

Go言語 気になることのメモ。 Goにおける列挙型(enum)の表現 Go言語には、多くの他のプログラミング言語に存在する列挙型(enum)はありません。しかし、Goでenumのような機能を実現する方法があります。 基本的な列挙型の表現 以下のコードは、色を表現するColor型を定義する例です。 // 後で触れますが、これは推奨されない方法です。 type Color int const ( Red Color = iota Blue Yellow ) この例では、Colorという新しい型を定義し、int型をベースとしています。これは、iotaが整数を生成するためです。この定義により、Redは0、Blueは1、Yellowは2という値を持つことになります。 多くの場合、このような数値から具体的な文字列を取得したいという要求があります。そのため、以下のようにStringメソッドを定義します。 func (c Color) String() string { switch c { case Red: return "Red" case Blue: return "Blue" case Yellow: return "Yellow" default: return "Unknown" } } 注意点と改善方法 上記の方法は、一見すると問題なく動作するように見えますが、実は問題点があります。 Goにおけるint型のゼロ値は0です。このため、Color型のゼロ値も0となります。上記の例では、ゼロ値がRedに対応してしまうため、何も指定しない場合のデフォルトがRedとなってしまいます。 この問題を解決するためには、ゼロ値をUnknownとして定義するか、iota+1で数え始める方法があります。 type Color int const ( UnknownColor = iota // ゼロ値をUnknownとして定義 Red Blue Yellow ) const ( Red Color = iota + 1 // 1から数え始める Blue Yellow ) 個人的には、uintで定義するのが好きです。 uint型を使用することで、負の値を持たない列挙型を作成できる。 追加情報 Stringerインターフェース: Stringメソッドは、Goの組み込みインターフェースであるStringerインターフェースを実装しています。これにより、fmt....

セキュリティ概論 自学用。 認証と認可 ①認証(Authentication, AuthN) ログイン時にユーザ名やパスワードを用いて自分を証明すること MFA(多要素認証)などもある。 方法 知識認証 IDとパスワードを用いる 生体認証 顔認証 所持情報 電話番号 デバイス ②認証(Authorization, AuthZ) 認証されたユーザーが特定のリソースやサービスにアクセスする権利があるのか ユーザーがシステム内で何ができるのか

ソフトウェア概論 自学用メモ。 関数の副作用 関数や手続きがシステムの状態を変える現象を指す。また、システム外部とのやり取りも含む。 具体的な例: グローバル変数の変更：関数内でグローバル変数の値を変える。 ファイル操作：ファイルの読み込みや保存。 データベース操作：データの追加、更新、削除など。 画面出力：ユーザーインターフェースへの情報の表示。 純粋関数と副作用 純粋関数：与えられた入力に基づいて結果を返すだけの関数。外部の状態に影響を与えない。この性質のため、テストがしやすく、再利用性が高い。また、動作が予測しやすい。 副作用の利点・欠点: 利点：実際のアプリケーションでは、データの永続化やユーザーとのインタラクションなど、副作用が必要な操作が多い。これにより、具体的なタスクを実行する。 欠点：副作用を持つ関数は、他の部分との依存関係が強くなることがある。そのため、テストやデバッグが難しくなることがある。また、不具合の原因となることも。 副作用のある関数のテスト方法 Mock：副作用を持つ部分（例：データベースや外部API）を模倣する。これにより、テスト中に実際の副作用を発生させずに関数の動作を検証できる。モックを使うと、特定の戻り値やエラーを模倣して、関数の反応をテストすることができる。 Stub：関数やメソッドの実装を一時的に置き換える。これにより、テスト中の動作を制御できる。スタブを使うと、関数がどのように呼び出されたか、何回呼び出されたかなどの情報を取得できる。 Spy：関数やメソッドの呼び出しを監視する。スパイを使うと、関数がどのように、何回、どの引数で呼び出されたかを検証できる。 状態のリセット：テストの前後でシステムの状態を初期化する。これにより、一つのテストが他のテストの結果に影響を与えることを防ぐ。 統合テスト：システムの複数の部分が連携して正しく動作するかを検証する。モックやスタブを使わず、実際の環境での動作を確認する。 値渡しと参照渡しの違いとその影響（Go言語の例） プログラミングにおいて、関数やメソッドに変数を渡す方法として、値渡しと参照渡しがある。これらの方法は、関数内での変数の扱い方や副作用の有無に影響を与える。 1. 値渡し (Pass by Value) 引数として変数のコピーが関数に渡される。 関数内で引数の値を変更しても、関数の外部にある元の変数の値は変わらない。 副作用が発生しづらい。 例： package main import "fmt" func f(x int) { x = 10 } func main() { a := 5 f(a) fmt.Println(a) // 5が出力される } structの場合も同様。...

2022年やったこと 2023年に注力することを整理するために、2022年の取り組みを振り返ってみる。 Mage Mageというデータパイプライン（ワークフロー）のツールに関する日本で最初の紹介記事を書いてみたりもした。 ちょうどワークフローツールの比較をしているときに、AirflowやPrefectなどとの比較をしているうちに存在を知って、Zennで紹介した。 この記事について、MageのCEOから感謝のメッセージを直接もらったりもしていて、印象に残っている。 これから伸びてほしいと思うし、自分も開発に加わっていこうという気持ちもある。 Snowflake Snowflakeに関して記事をZennで発信したり、　terraform-provider-snowflakeというOSSにもいくつものPRがマージされた。結果的に、上位コントリビュータの欄に出てくるようになった。 気になるところを見つけてはPRを出していたので、年末ごろにはSnowflakeのエンジニアとマネージャーから、今後のproviderについて議論したいという連絡も受けた。 他にも、普段の業務で扱っているデータエンジニアリングの知識をもとに、Snowflakeを使ってデータ基盤を一式構築するための知見をZennの本として公開した。 上にあげたようなものをはじめ、2022年は特にSnowflakeでたくさん遊んだなぁ（貢献したなぁ）という気持ちで終了しました。 社内でもチーム内外問わず質問のDMをいただけるようになったり、関連する話をたくさん相談されることになったので取り組んだことに対しては満足しています。 今後の動きについては後述します。

Github ActionsでAWSと連携する Terraformなどを使ってリソース管理をしたい場合に、github actionsと連携する方法。 OpenID connectを使う https://docs.github.com/ja/actions/deployment/security-hardening-your-deployments/configuring-openid-connect-in-amazon-web-services プロバイダー URL の場合: https://token.actions.githubusercontent.com を使います “Audience” の場合: 公式のアクションを使っている場合は、sts.amazonaws.com を使います。 readonly role & policy readwrite role & policy をそれぞれ作成する githubのcredentialにアカウント番号など設定したり、aws-configureが動くように設定する必要がある。

ffmpegを使って動画を軽量化する。 ffmpeg ffmpegは動画や音声を加工するためのツール。 Macの標準の画面収録で作成される.movという形式の動画ファイルは容量が大きいので.mp4に変換することでクラウドにアップロードしたりしている。 特に学会発表とかで動画を用意しておかないといけない時にアップロード上限などに収まらない時に使っていた。 基本的にこれで良い brew install ffmpeg ffmpeg -i original.mov transformed.mp4 original.movが変換前の動画。Macで画面収録した時に生成される。 transformed.mp4が変換後の動画。結構圧縮できることがある。

Pytest Pytestを使用する場合に、テスト用/本番用のデータベースを分離する際に行なった方法などをメモしておく。 Pytest Pytestを使っていて分かったのは、Pytest自体がテスト関数に対して暗黙的にdecoratorなどを使っているため、自分で実装したdecoratorがぶつかってしまうことがあった。 decoratorをPytestと一緒に使うことはあまり好ましいとは思えなかった。 decoratorに渡さないといけない引数などが把握しにくかったり、勝手にPytestから引数を意図せず渡してしまうことになる。 代わりにcontext.managerを活用して、テスト時にテスト用のデータベースに切り替えるという実装をした。 関係するツールなど SQLite Pytest まず、データベースのテストのためのfixtureを作成する。擬似コードは以下のよう。 import pytest @pytest.fixture def fixture_prepare_records(): with sqlite.session_manager(use_test=True) as session: # (1) データベースへのinsert # (2) テスト関数の実行 yield with sqlite.session_manager(use_test=True) as session: # (3) データベースからのdelete def test_slot_dialog_repo(fixture_prepare_records): with sqlite.session_manager(use_test=True) as session: # (4) selectなどを使ったテスト 必要なデータのinsert test関数の実行 使用したデータのdelete fixtureで用意したデータを使ってselectなどのテスト（引数としてfixture_prepare_recordsを渡しているところがポイント） context.managerで実装したsqliteの向き先の変更は以下のよう。デフォルトでは本番DBのパスを向けるようにしている。 import contextlib @contextlib.contextmanager def session_manager(use_test: bool = False): if use_test: # (1)テスト用のパスをセットする Params.set_test_env() # (2)SQLiteとの接続用のClient sqlc = SQLiteClient() session = sqlc....

Makefileの基本設定について Makefile ディレクトリにMakefileとしてファイルを作成する。 # 上部に共通で使用する変数を書く。 cd $(TARGET)などのように使う VARIABLE = hoge TARGET = target .PHONY: command-name command-name: ## comment of this command # ここにコマンドを書く cd dir_name .PHONY: help help: ## Display this help screen @grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) | awk 'BEGIN {FS = ":.*?## "}; {printf "\033[36m%-20s\033[0m %s\n", $$1, $$2}' Usage make helpでコマンド一覧を表示することができる。 make command-nameという方法で実行することができる。 makeのみを入力した場合は、一番上のコマンドが実行される。つまり、上の例だとmake command-nameを実行したときと同じである。

Github PagesとHugoでProfileページを作って公開する。 はじめ方 $ brew install hugo $ hugo new site $(siteName) テンプレートとしてPaperModを使用する。 $ cd $(siteName) $ git submodule add https://github.com/adityatelange/hugo-PaperMod.git themes/PaperMod --depth=1 ─╯ $ git submodule update --init --recursive config.ymlを更新する。 公開方法 Repository home -> Settings -> Pages からデプロイ方法にGithub Actionsを指定する。 config.ymlのbaseURLの下あたりに、publishDir: "public"を追加する。 更新方法 hugo server -Dでローカルでサーバが起動する。 hugo new post/${pageTitle}.mdで新しいページを作成する。 そして、マークダウンファイルを更新する。 公開したい場合はdraft: falseに変更する。 Google search console sitemap.xmlをサイトマップに登録する。