CircleCI

この記事は 10X アドベントカレンダー2023 という企画の1日目（12/1）の記事です。 こんにちは、10Xでソフトウェアエンジニアをしている 岡野（@operandoOS）です。 今回 10Xで3回目となるアドベントカレンダー企画の1日目をありがたく担当させていただきます💪 目次 目次 10X アドベントカレンダー2023ってなに？ さてさて、本題へ CIは絶対に速い方がいい CIを高速化するテクニックの紹介 キャッシュの利用 マシン性能の調整 ジョブの並列実行とテスト分割 最適なテスト分割 ジョブの実行順序・依存関係の最適化 不要なジョブ・ステップを削除する テストコードの実行速度を上…

[CircleCI] 新規リポジトリのセットアップ Bitbucketで新規リポジトリを作成して、CircleCIと連携させる流れについて忘備のためメモ。 Bitbucketで新規リポジトリを作成する。 CircleCIの[Projects]で該当のリポジトリに対し、[Set Up Project]をクリックし、[Faster]を選択して[Set up Project]を押下する。 git cloneでリポジトリをローカルにcloneする。 git branch -aで、全リポジトリを確認する。 > git branch -a * master remotes/origin/HEAD -> o…

こんにちは。 メディアサービス開発部 Webアプリケーション開発課のフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるバックエンド方面のテックリードとして働いています。 最近はNext.jsで書かれた運用者向けの管理画面までも自分たちで改修するようになってきました。 本記事ではCircleCIにおいて、モノレポ構成のリポジトリで必要なテストのみ実行するようなconfigファイルの書き方についてお話します。 モノレポ構成のリポジトリでは必要なテストだけを実行したい 複数のソフトウェアが相互に連携して動くよ…

こんにちは。サーバーサイドエンジニアの三村（@t_mimura）です。 主に保険薬局と患者さまを繋ぐ「かかりつけ薬局」化支援アプリ kakariのサーバーサイド開発（Ruby on Rails）を担当しています。 今回はRailsシステムのCI時間をコスト追加なしで半減した話をします。 目次 前提 対象プロジェクト CIの状況 改善結果 改善内容 前提知識: CIのキャッシュ機能 webpack buildのキャッシュを活用 RuboCopのキャッシュを活用 ESLintのキャッシュを活用 Jestのキャッシュを活用 RSpec Jobをテスト特性ごとに分割 CircleCIのリソースクラスと…

最近ちょっとCircleCIを触ることがあって、久しぶりに設定していたらaws-cliというOrbsがOIDCに対応していました。よくよく見てみるともう1年くらい前に対応してたみたいなんですが、全然キャッチアップできておらず…。せっかくなので最近の設定を試してみます。 Orbsが対応していなかった時のconfig.yml circleci.com OrbsがまだOIDCに対応していなかった時は、aws sts assume-role-with-web-identityを実行して、シークレットやトークンを取得していました。以下のコードを自分で実装してた感じですね。 github.com 最近の設…

こんにちは。ホワイトプラスでエンジニアをやっている古賀です。 lenet ではCIの一つとしてCircleCI を使っており、静的解析・フォーマットチェック・ユニットテスト（フロントエンド・バックエンド）などを実行しています。 CIにpush するたびに全てのテストを実行すると、変更差分に関係のないテストが実行されてしまい、コードベースが大きくなると非効率な面が際立ちます。 昨年従量課金プランへ移行するのに合わせて、主にモノレポで採用されている差分ビルド（変更差分に関係あるテストのみ回す）を取り入れ、CIの効率化を図っています。 ここでは、CircleCIのセットアップワークフローを使って差分…

CI/CDを当たり前にした状態で開発をしていると短い時間で連続的にPushすることも時としてあるのではないでしょうか。 短い時間で複数Pushしたときは最新の状態で1回だけ実行されれば期待している効果を得ることができますが、Push単位でワークフローが実行されるため、ただの消化試合的なものが生まれてしまいます。 もちろん、リソース無制限で完全無料な何かであればそこまで気にすることはないと思いますが、大体のサービスは一定の利用を超えると従量課金として費用が発生します。 あまりお金のことに関わることが少ないと、コスト意識を持つことは難しいかもしれませんが、少しでも効果の薄い処理は減らした方がよいと…

はじめに こんにちは、株式会社BuySell Technologies テクノロジー戦略本部 開発3部 Tech MK グループ（テックマーケティンググループ）の土屋です。 私は今年の8月1日から入社し、グループ会社である「株式会社タイムレス」の専属エンジニアとして、Webサイト制作全般を担当しております。 私が入社するまで、一部の運営サイトは前任者に委ねられていました。 しかし、私が入社したタイミングでは前任者の方は既に退職しており、手探りの中、Tech MK グループのメンバーによって保守・運用されている状況でした。 一人のエンジニアに依存していた状況を、チーム全体で効率的に運用できるよう…

こんにちは、技術広報の @luccafort です。 京都は朝晩はようやく涼しくなって、秋の訪れを感じるようになってきました。 ぼくは汗かきなのでこの気温が続いてほしい今日このごろです。 さて、秋といえば皆さんなにかお分かりですね？そう、技術書典の季節です！ 我々「まねふぉ執筆部」も先日、ようやく印刷所にデータ入稿できました。 いつもいつも締め切り直前は修羅場になるのですが、なぜ計画通り執筆できないのか世界の謎ですね、摩訶不思議。 よっしゃ！！！ようやく校了したぞ！11月3日に池袋サンシャインでぼくと握手！まねふぉ執筆部 | Money Forward TechBook #9 #技術書典 ht…

未来の自分宛。大体の場合オンボーディングとして既存のメンバーがサポートしてくれるが、そうじゃないところもある。いずれにせよ以下の内容は必ず押さえておきたい。 必要なアカウント 作業に入った直後に必要なサービスのアカウントがなく、アカウント発行には稟議が必要で今すぐ着手できない事が結構な頻度で発生する。全てをカバーするのは難しいかもしれないがなるべく最初に発行してもらう。受け入れ側の仕事な気がするがコチラから尋ねる事も大切。 データストア メインのデータベースはコレで、キャッシュはコレで…といった具合にどのデータストアに何が入るのかを簡単にまとめておく。開発が始まってからどこに何が保存されている…

エンジニアリング本部 プラットフォームエンジニアリングチームの徳富です。我々のチームでは、CIパイプラインの効率化と開発体験の向上を目指し、CircleCIからGitHub Actionsへの移行を進めてきました。移行によってテスト・静的解析（以降CIと記載する）の実行時間をp95で9分短縮しましたが、この移行にはいくつかの課題もありました。今回は移行の背景や移行時の苦労について紹介します。 本記事のまとめ CircleCIからGitHub Actionsに移行し、CI実行時間をp95で9分短縮 並列実行やテスト結果の連携における課題を解決し、効率化を実現 テスト結果のPR通知や分割テストの仕…

10/6(日) 睡眠時間8時間45分 2,741歩 豆苗を窓に飾って育て始めた。部屋に植物を置きたいが、鑑賞のためだけに育てるのは少々めんどくさい…と思っていたが、生えすぎた草は食べることが出来る豆苗はとてもエコ！ 胃袋までよろしくね。 やったこと Scala 休憩 Refind Self ごはん やったこと Scala 今日こそは逃げ続けてきたビルドをしなければいけない。 睡眠はたっぷりとった、食料は確保してある。天気は曇り、暑すぎず寒すぎず半裸で過ごせる程度の快適な温度。さぁ、開発の始まりだ！ 目的は、Scalaアプリの起動をCloud Runで1秒以内にすること。自分でそれっぽいDock…

自動化は私の忍耐力の限界を補完してくれます。 はじめに 本書「Continuous Deployment」は、継続的デプロイメントの実践に焦点を当てた包括的なガイドです。継続的デプロイメントは、ソフトウェアパイプラインを完全に自動化し、手動介入を必要としない手法です。この方法により、クオリティーゲートを通過したすべてのコードコミットが自動的に本番環境にデプロイされます。 私は、ソフトウェア開発の現場で、オンプレミスの手動デプロイから始まり、Makefileによる自動化、JenkinsやCircleCI、GitHub Actions、GitLab CI/CD、AWS CodePipeline、C…

桐生あんずです。先日 TokyuRuby会議15 に参加して LT発表をしたりアジの南蛮漬けを持って行ったりしました。 tokyurubykaigi.github.io TokyuRuby会議は初参加でしたが、ここ数年ずっと TL の様子だけは観測していて「参加者がご飯とお酒を持参して飯王・酒王を決める企画がある」という情報だけはずっと覚えていました。 また、久々にLT参加したい気持ちもありプロポーザルを出してみたところ。無事抽選が通り話すことになりました。 LT当選していた、頑張って話します（実は社会人になってからLT初めてなので結構ドキドキしている） #tqrk15— 桐生あんず (@an…

はじめに Rerun failed testとは? 実装ポイント 前提 環境 config.ymlの実装 circleci tests runを利用する before after ハマりポイントその1 - junit.xmlが出力されないケースの考慮 ハマりポイントその2 - テスト再実行時に persist_to_workspace ステップで指定されたディレクトリにコンテンツが見つからず、並行実行が失敗する before after 成功ログ まとめ 最後に はじめに こんにちは。サーバーサイドエンジニアの佐野きよ(@Kiyo_Karl2)です。 CircleCIにはRerun faile…

gigazine.net これまで観測誤差だと片付けられてきた、宇宙に関する理論と実際の観測記録の間にある食い違いが、ジェイムズ・ウェッブ宇宙望遠鏡といった最新鋭の観測技術により誤差ではなかったことが判明しつつあります。 宇宙論は転換点を迎えている、あと数年で「人類は新しい物理学に遭遇するかもしれない」と天体物理学者 - GIGAZINE 長年にわたり、世界中の天文学者の間で論争となってきたこの矛盾の全容が明らかになり、人類が既存の宇宙観の再考を余儀なくされる時が目前に迫っていると、専門家が提唱しました。 宇宙論は転換点を迎えている、あと数年で「人類は新しい物理学に遭遇するかもしれない」と天体…

桐生あんずです。 会社のチームのリポジトリの CI/CD を CircleCI から GitHub Actions に移行した際に遭遇した GitHub Actions周りの細かい詰まり所を2点紹介します。 その1: GitHub Actions の CI用に secrets を追加する時は dependabot secrets にも環境変数の設定を入れよう GitHub のリポジトリの設定で dependabot secrets を設定していなかったことでdependabot が作成する PR の RSpec のワークフローがずっと失敗していしまっていた。 そもそも GitHub Actio…

9/24(火) 睡眠時間5時間 6,737歩 昨日のコーディングはポモドーロテクニックによって集中力を持続させようと、Amazonで買ったアナログのタイマーまで用意して臨んでいた。 右下の破損跡はおそらく配達時に出来たモノようこそ傷有り時計さん 25分コーディングして、5分休憩は…特にすることも無いので全力でダンス。 ニコニコ動画の「インド人は繁栄しました」をループで5分間流しながら、半裸で頭を揺らし腕を動かし飛んで跳ねて踊っていた*1。25分のコーディングの方が実質休憩時間。 このループで行けば集中できる！ と直感したのだが、3セット目にしてジャンププラス沼に浸かってしまい失敗。そのまま洗い…

9/23(月) 睡眠時間7時間 2,159歩 昨晩は日記を書いた後に、結局『One Step From Eden』で遊んでしまった。私のHHKBキーボードは矢印キーがファンクションキーと併用でないと使えない配置のため最初は移動にも苦労するが、キーコンフィグを編集してVimと同じhjklで十字移動できるようにしたらまとも戦えるようになった。 ヘーゼルで召喚物デッキを作り、とりあえずテラブル撃破。思考停止で召喚物をキャストし続けてもシールドが増えつつ攻撃が出来てありがたい。 やったこと 漫画 CircleCI・Cloud Run構築 ごはん やったこと 今日は昼より少し早く起床。すっかり秋の寒さを…