はてなブックマーク

はじめに こんにちは！レバレジーズのデータ戦略室に所属しているブライソンです。弊社は、コミュニケーションツールとしてSlackを使用しているのですが、最近便利なSlackボットを作成したので、その紹介をしようと思います。メンションをすると、スレッドの先頭にあるURLを抽出して、記事の内容を要約してくれるボット、通称「要約くん（Mr.Summary）」です。 要約くんの作成にあたって、権限周りの問題で乗り越える壁が多かったのですが、それらの話は今回の記事のスコープに入れません。純粋に、なぜ作りたいと思ったのか、どのように実装したか、導入した結果どうだったのか、などをまとめようと思います。この記事が皆さんのSlackボット作成の一助になれば嬉しいです。 ChatGPTに生成させた要約くんのアイコン なぜ作ったのか 皆さんは、技術ブログや、他社のプレスリリース、テック企業の発表記事などから情報収

はじめに レバレジーズのデータ戦略室で室長をしている阪上です。 これまでレバレジーズの運営する人材紹介系サービスの事業部内で、業務効率化のためにレコメンドエンジンを開発することが多かったので、つまずいたいくつかの壁について記します。 論文などに裏付けされた書籍に書かれているような観点もあれば、知行合一というか、アルゴリズム開発をやってみて初めて気づける観点もあると思いますので、少しでも参考になれば嬉しいです。 レコメンドエンジンの目的 事業会社としてお客様に求人情報などを提案することが行われていますが、一人の人間が覚えることができる求人情報の数は限られています。 また、求人情報の検索をするにも非構造化データでもある求人情報から目当てのものを見つけるのに時間がかかります。 お客様に合った条件の求人を見つけるのはサービス提供としてマストですが、そのために時間をいたずらにかけることは賢明ではあり

はじめに こんにちは。レバレジーズ株式会社データアナリティクスグループの田代です。 今回は弊社マーケティング部の新入社員約20名を対象とする新卒研修の講師を任されたので、そのレポートを共有します。 新卒研修を行うことになった背景 データ戦略室が発足した2019年から、毎年新卒を対象にデータ利活用の研修を行っています。今年も研修の依頼を受け、マネージャーからの指名で、研修コンテンツの作成および研修講師を私が担当することになりました。 新卒研修はデータ戦略室のブランディングや新卒のデータ利用能力向上のための重要な仕事だと考えていたので、当時入社半年の私に任せてもらえたことはとても光栄でした （以前書いた記事にも同じことを書いていました）。 新卒研修のコンテンツ要望から考えた狙い 「統計研修」という研修タイトルは決まっていましたが中身は何も決まっていませんでした。ただ、マーケティング部の部長や研

はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12

はじめに こんにちは。レバレジーズ データ戦略室の辰野です。 前回の投稿からいつの間にか1年以上経過していました。引き続きデータマネジメントやデータガバナンスに関連する仕事をしていたのですが、今回は私が昨年度末に取り組んだ、Dataformを利用したデータ分析基盤の構築についてお話させていただきます。 Dataformとは Dataformとは、現在Google Cloudで利用できるデータモデリングツールの一つです。ELT（抽出、読み込み、変換）処理における、T（変換）の部分を管理できます。主な機能として、下記があります。 SQLワークフローを開発、実行できる テーブル同士の依存関係を管理できる テーブルの品質テストができる これらの機能を利用することで、すべてのデータプロセスを管理することが可能です。 （参考：Google Cloud,Dataform の概要） Dataformを導入

はじめに レバレジーズのデータ戦略室で室長をしている阪上です。専門性向上を目的として、データサイエンスに関する論文輪読会を行っています。5ヶ月続けてみて色々と学びがあったので、簡単にこれまで読んだ論文の中で興味深いものを紹介しようと思います。 論文輪読会とは 週に1回30分の持ち回りで仕事で役に立ちそうなデータサイエンス系の論文を紹介するという取り組みで、専門性を向上させることを目的にしています。 通常の業務もあることから、各人の負担になり過ぎないように論文の概要を数分程度で述べ、特別に資料を作成するなどを想定しないものとして進めています。論文紹介のあとは、皆でその論文で扱われている手法に関して議論をします。主に半分以上の時間は議論に使われています。 以下のようにスプレッドシートに気になる論文を貼り付け、コメントを記した上で報告者がその論文の面白いポイントを述べるような形式で進めています。

はじめに データ戦略室ビジネスアナリティクスグループの濵田です。2022年4月にレバレジーズに新卒入社してちょうど1年が経ちました。 今回は「ここ1年で何をしてきたか」と「新卒の目から見たデータ戦略室」という2つのテーマで話したいと思います。 データ戦略室での1年間を本の紹介をはさみつつ時系列順で振り返ります。 ひたすらSQLを書き続ける2カ月間 データ戦略室に配属されてすぐは武者修行としてSQLを大量に書いていた記憶があります。 当時のレバレジーズではデータウェアハウスとしてTreasureDataをメインで利用しており、全社的にTreasureDataからBigQueryへの移管が決まったことで大量のクエリ書き換えが発生していました。 この書き換えを一部自分が担当することになったのですが、 TreasureDataとBigQueryで使える関数が全然違う問題(特にmax_by) サブク

はじめに こんにちは。 データ戦略室では、「レバレジーズ全社のデータ活用水準を底上げし、データが事業の競争優位性を生み出す状態を作り出す」というミッションの元、データを取得するところからデータ活用のビジネス接続まで、それぞれが専門性を活かして日々業務を行っています。今回の記事では、昨年1年を振り返ってどういった仕事をしてきたのか、今後どういったことに取り組んでいくのかということを各グループのリーダーに記載していただきました。今回の記事を通して、データ戦略室の雰囲気や会社に対して担っている役割が少しでも伝われば幸いです。 データ戦略室全体について 昨年は正社員で中途・新卒合わせて5人の方に入社していただき、業務委託でも2名の方に参画していただきました。2022年1月時点と比較して、組織の規模が1.5倍以上に大きくなっており、会社の成長スピード以上の速さで人員拡大を行っています。また、データ戦

はじめに データ戦略室ビジネスアナリティクスグループの丸山です。 最近、「データの民主化」という言葉を良く耳にします。 データの民主化とは、データサイエンティストやデータアナリストに限らず、特別な知識を持たない社員全員がデータを活用できる環境を構築することです。 データの民主化を実現するために、多くの企業は「分析基盤をどのように設計するか」「メタデータをどのように運用するか」「SQLやBIツールの使用方法など、分析に必要な言語・ツールを習得してもらうには何をすべきか」など分析に関する様々な課題に直面していることかと思います。 その一方で、分析による意思決定を全社的に浸透させるためには、「正しい示唆を得るために実施すべき分析を設計できるスキル」を社員全員が持つことも重要であると考えています。 しかし、この種のスキルについてはデータの民主化を推進するという文脈であまり触れられてないように思えま

はじめに 初めまして、データ戦略室データサイエンスグループの徳田です。 以前のブログでMarketing Mix Modeling（MMM）を取り上げましたが、弊社では日々手探りの状況でMMMに取り組んでおります。Uber、FaceBook、Googleなどの企業の事例や論文から学びつつ、業務をおこなっております。今回は、その中でUberのMMM論文の紹介をしていきます！なお、MMMの詳細を知りたい方は、前のブログを見ていただければと思います。 目次 UberのMMMの取り組み 背景 方法 結果 論文を読んだ所感 参考文献 UberのMMMの取り組み 今回紹介するのは、こちらの論文（Title:Bayesian Time Varying Coefficient Model with Applications to Marketing Mix Modeling）です。本論文のポイントとしては

はじめに 初めまして、データ戦略室データアナリストの井上と申します。このブログで過去に登場した井上とは別の井上です。レバレジーズ内においてSplatoon最強の男です。 先日、大変ありがたいことに、AWS様が主催するAWS で実践！Analytics Modernization ～事例祭り編～の登壇依頼をいただき、オンラインにて「日本一のITフリーランスDBを世間に大公開してみた」というタイトルで発表いたしました。 弊社のレバテックフリーランスというサービスでは、レバテックにご登録いただいている企業様、IT技術者様にマイページ「レバテックプラットフォーム」をご利用いただいております。情報収集やレバテックとのやりとりや契約管理だけでなく、企業様によるIT技術者検索やスカウト、IT技術者様による案件検索や応募まで、フリーランスの全てがレバテックプラットフォームで完結します。 この度、そのレバテ

データ戦略室で使用しているSQLのコーディング規約をご紹介します はじめに こんにちは。データ戦略室の森下です。今回はデータを使う際に切っても切り離せないSQLについて、レバレジーズのデータ戦略室で作成および運用しているコーディング規約についてお話します。 レバレジーズのデータ戦略室では今回ご紹介する規約を策定していますが、データ活用のフェーズや環境によって多分に変わる部分でもありますので、とある一社の運用方法として参考にしていただければ幸いです。 レバレジーズのSQL実行環境について Google BigQueryを初めとするカラムナデータベースにデータを格納し、SQLを用いてデータを抽出することが多いです。そのため、今回ご紹介するSQLコーディング規約には、RDBに対するパフォーマンスチューニングに関連するようなことは規約に入っていません。 コーディング規約について コーディング規約は

これまでデータ戦略室がやってきたこと 1年目 (2019年)：データ組織立ち上げ データ戦略室は、レバレジーズにおけるデータ分析の効率化と全社のデータドリブン戦略推進のため、2019年2月に発足しました。 発足当時、弊社内には統一のデータ活用基盤が存在しませんでした。データ活用したい人が自分自身でデータの収集・分析を行っていたため、使える人が限られ、活用の質もバラバラだったように思います。 そのため、データ戦略室では｢正しくデータを扱える環境の整備｣｢整備したデータ環境の現場導入｣を目指し、主に下記のような業務を進めていました。 (主な業務例) 各所に点在するデータや活用事例の収集・整理 データを集計・分析するためのデータ定義統一 事業で必要になるデータの抽出、またそれを基にした事業理解・データフロー理解 事業KPIモニタリング用のBIダッシュボード開発・導入 管理専任者が不在だったデータ

目的と背景 レバレジーズのデータ戦略室で室長をしている阪上です。 今回は、最近仕事で使うことがあり、調べているMarketing Mix Modeling（MMM）について簡単に紹介したいと思います。この分野に関して、あまり国内で盛り上がっていないように感じたため、僭越ながら少しでも関心を持つ方が増えることを願って記しました。 今回は具体的に自社でどのような分析を行ったかについては記しておりませんが、今後、別の記事で用意したいと思います。 MMMとは Marketing Mix Modeling（MMM）は各種メディアへの支出が、企業の売上にどのように影響を与えるのかを理解するために、あるいは最適なメディア投資を行うための支出の配分を決めるために使われます。主に回帰分析などの手法を用いて、時系列データである売上を同じく時系列データである各種メディアのインプレッションなどで説明づけるというア

はじめに こんにちは！データ戦略室の小山です。 今日は普段のブログとややテイストを変えて、「データ組織の日常あるある」に関しての記事を書きます。 データに関する仕事をしている人ならきっとなんとなく共感してもらえるリアルなあるあるを7つ用意しました。 普段データを使って試行錯誤している方は多かれ少なかれ共感していただけるのではないかと思いますし、普段そこまでデータに関わる仕事をしていない方は新たな領域としてデータの世界を知っていただける内容になるのではないでしょうか。 ややニッチなものもありますが、楽しくゆるっと読んでいただきつつ、ビジネスでのデータ活用に興味を持って貰える人が増えたら嬉しいなと思います！ 1. 分析で使いたいカラムほど欠損だらけ データベースにカラムは存在するが、中身のデータを見てみたらほとんど入っていないパターンですね。使いたいデータに限って欠損が多い気がしますが、これに

レバレジーズのデータ戦略室で室長をしている阪上です。今回はレバレジーズの運営するメディアの取材における課題について紹介したいと思います。 課題 レバレジーズが運営しているメディアで取材が数多く行われているのですが、取材音声の文字起こしをこれまで人手のみで行なっていました。1時間の取材の場合、1時間以上に文字起こしに時間がかかったりするため、記事を書く上での重要な情報資源ながら、人に対する負担が大きい状態でした。そこで、現場の悩みを解決したいと思いました。 仕組みの説明 まず、求められる要件を以下の通りです。 求められる要件 文字起こしをして欲しい。 Googleドライブにアップロードしたら自動で文字起こしされ、結果もGoogleドライブに返して欲しい。 文字起こし結果を一定の文字数で改行して欲しい 朝の8時から夜の21時までは処理を受け付けて欲しい、1~2時間以内に処理結果が欲しい 様々な

はじめに データ戦略室ビジネスアナリティクスグループの井上です。 これまでデータ戦略室では、チーム内ではもちろんのこと、現場の営業・マーケター・エンジニアに向けてもたくさんの勉強会を行ってきました。 データの業務に携わっている人の中には、企業の中でのデータドリブン文化の構築を同時に担っている方も多いのではないでしょうか。実際に私もそういった役割を担っています。 そこで、実際に0から組織へのデータ活用を浸透を行う中で、データ戦略室としてこれまでにどのような社内勉強会を行ってきたかをまとめたいと思います。今後データ活用を企業文化として浸透させようとしている組織の方の参考になれば嬉しいです。 データ活用のために求められること 現場の営業・マーケター・エンジニアの人たちが｢データを活用しよう｣と思ったときに、必要になりそうな知識やスキルについて簡単にまとめてみました。 データ蓄積 どのようなロジッ

はじめに こんにちは。データ戦略室データエンジニアリンググループの森下です。 普段はデータエンジニアとして、主にデータ活用基盤の保守運用や機能追加、ツール開発やデータ抽出・可視化といった業務を行っています。もともと機械学習への興味はありましたが、本記事の内容以前では、業務で使用したことはありませんでした。今回、初めて機械学習の業務を経験する事ができ、非常に多くのことを学ぶことができました。本記事は未経験者の奮闘記となりますので、これから機械学習を学ぶ方・業務に活かす方にとって参考になれば幸いです。 経緯について データエンジニアとしてデータ活用基盤の構築や保守運用をしていく中で、機械学習へのデータ活用は自然と考える部分です。しかし、書籍やチームの勉強会で機械学習について少しずつ学んではいるものの、業務で機械学習を使用したことはありませんでした。 そのような状況の中で、機械学習の業務に携わり

※長いです。あと、画像少ないです(すみません)。。(約6,700字：読了5分~10分) 目次リンクを置いておくので、特定の情報を探している方はリンク遷移してご覧ください！ 本記事について インハウスでデータ活用をする際の業務フロー いろんなデータポジション集めてみた データサイエンティスト データアナリスト データエンジニア データアーキテクト 機械学習エンジニア(AIエンジニア) データコンサルタント データマネジメント/データガバナー その他の職種 なぜポジションがこんなにたくさんあるのか おまけ 本記事について こんにちは！データ戦略室の小山です。 データアナリストとして事業部のデータ活用浸透に取り組んだ後、現在はデータ戦略室全体のプロジェクトマネジメントや組織運営を担っています。 突然ですがみなさん、｢データ系の職種っていまいちよくわからんな｣と思ったことはないでしょうか？？ 最近

■人材紹介業におけるデータ入力・データ活用の課題 レバレジーズのデータ戦略室で室長をしている阪上です。今回はレバレジーズの運営する人材紹介系サービスにおけるデータ活用の課題について扱いたいと思います。 一般的に人材紹介業は、「企業での就業を目指す人材」と「人材を欲している企業」のマッチングを行っています。しかしながら、経済学におけるマッチング理論が扱うような、「各々の人材がつけた、行きたい企業ランキングTop100」、「各々の企業がつけた、欲しい人材ランキングTop100」などの顕示的な選好のデータはありません。 そこで、マッチングをうまく実現するためには選好データではなく、営業管理システムなどに蓄積されたデータを使う必要があります。人材も企業も納得した状態、すなわち、「内定の承諾という状態を生み出した人材と企業のペアのデータ」と、「内定の承諾に至らなかったペアのデータ」を分析することで、

■ なぜブログを始めるのか はじめまして、レバレジーズのデータ戦略室で室長をしている阪上と申します。 私自身はデータ分析に7年ほど携わってきましたが、レバレジーズにデータ戦略室というデータ専門組織ができたのは2年前です。発足当時は3名だった組織も現在は業務委託含めて9名とメンバーが徐々に増えてきました。 各人がデータを活用する観点からビジネス上の課題と向き合い、経験してきたことや取り組んできたことを社外に発信していく手段はないかとチーム内で考えた結果、ブログという形で公開していこうと決めました。 私たちはチーム設立時に、他社のデータ組織の記事やリアルな他社事例などを参考にして、前に進むことができたと思っています。(ご協力してくださった皆様、その節はありがとうございました！) 私たちの経験してきたことが、他の会社のデータ組織やこれからデータ組織を作ろうとしている方々にとって少しでも力になれば