progos対策のメモ

システムエンジニアのPROGOS対策メモ レアジョブスピーキングテスト(PROGOS)の攻略法|対策とコツ【受講500回超え】

Google Cloud の ML関連ラーニングコンテンツ

Coursera www.coursera.org Machine Learning with TensorFlow Google Cloud 日本語版 How Google does Machine Learning 日本語版(7時間) Launching into Machine Learning 日本語版(16時間) Intro to TensorFlow 日本語版(19時間) Feature Engineering 日…

nohupのめも

基本 $ nohup command & 実行したものを確認 $ jobs nohup と & の つけ忘れ ctrl + z で一時停止 bq %1 でバックグラウンドにする disown %1 nohup.out 以外にlogを書く $ nohup command 2> foobar.log &

Airflow DAG の Hello World

import logging import airflow from airflow import DAG from airflow.operators.python_operator import PythonOperator args = { "owner": "shase", "start_date": airflow.utils.dates.days_ago(2), } def hello(): logging.info("hello world") dag = D…

精神医学気になる本

www.amazon.co.jp www.amazon.co.jp

エリック・シュミットいい話

元グーグルCEO エリック・シュミットが見初めた「ミスターAI」 元日本法人社長・村上憲郎 | Agenda note (アジェンダノート) 私が携わったのは主に第2世代のAIでしたから、最新の技術については知らないことも多々ありました。だから面接でも、そのことを正…

google さん

https://lp.cloudplatformonline.com/rs/808-GJW-314/images/Session05_Cloud%20OnBoard%20for%20DNP.pdf

scio

参考資料 https://spotify.github.io/scio/examples/TemplateExample.scala.html Hello World build.sbt name := "app" version := "0.1" scalaVersion := "2.13.7" resolvers += "confluent" at "https://packages.confluent.io/maven/" libraryDependencie…

Cloud Run で IP制限

オオシママサト on Twitter: "Cloud RunでIP制限どうやるんだろーと思って、ググり始めて30分ぐらいでいつのまにかできてしまった!なんて簡単なんだ・・ Cloud Armor + GCLB + url-map + Serverless NEG + Cloud Runでできました" Cloud RunへのアクセスにI…

curl で json post する

文字列 curl -X POST -H "Content-Type: application/json" -d '{"foo":"foobar", "id":"123"}' localhost:8000/foobar/ JSONファイル(@つけるだけ) curl -X POST -H "Content-Type: application/json" localhost:8000/foobar/ -d @sample.json

scio

DataflowのFlexテンプレートとScioで動的なパイプラインを実現する - エムスリーテックブログ Scala + Scio で Apache Beam あるいは Google Cloud Dataflow に入門する - ブログ・ア・ラ・クレーム 実践Scio (基礎編) - kimutyam - Medium

FastAPI めも

ref サーバーアプリ開発環境(Python/FastAPI) | フューチャー技術ブログ

poetry めも

$ poetry new foo-project $ tree . ├── README.md └── foo-project ├── README.rst ├── pyproject.toml ├── tests │ ├── __init__.py │ └── test_foo-project.py └── foo-project └── __init__.py 3 directories, 6 files $ poetry config virtualenvs.in-p…

Vertex Model Monitoring

cloud.google.com queuery.com

embulk + scala

2015年 arata.hatenadiary.com www.zaneli.com scala 製 plugin github.com github.com

gcloudのコマンド

コマンド auth されている account 一覧(gcloud auth login すると増えていく) gcloud auth list config 一覧 gcloud config list configration 一覧 gcloud config configurations list 新しい configuration つくって set する gcloud config configuratio…

データウェアハウスの設計論をたどる

dev.classmethod.jp www.db-tech-showcase.com

WordCloudつくってみためも

とりあえず macabに食わせてみる cat input.txt | mecab jupyterでwordcloudつくる import MeCab from matplotlib import pyplot as plt from wordcloud import WordCloud with open('input.txt', mode='rt', encoding='utf-8') as fi: source_text = fi.rea…

VSCodeの YAML to JSON で相互変換

これ YAML to JSON - Visual Studio Marketplace JSONかYAMLを開く shift + command + P を押す 「YAML to JSON:Convert selection or document」と入力する いじょ

fargateでsonarqube動かしてみるテスト

ecs-cliの導入 brew install ecs-cli ~/.ecs/credentialsの内容 version: v1 default: default region: ap-northeast-1 ecs_profiles: default: aws_access_key_id: xxx aws_secret_access_key: xxx ECSクラスタ作成 手元の ecs-params.yml を参照している e…

Pythonでjson.dumpsで日本語が、Unicodeのコードになってしまうやつ

import json if __name__ == "__main__": payload = '{"abc" : "あいうえお"}' x = json.loads(payload) print(x) print(type(x)) y = json.dumps(x, ensure_ascii=False) print(y) print(type(y)) 実行結果 {'abc': 'あいうえお'} <class 'dict'> {"abc": "あいうえお"} <class 'str'> </class></class>…

Elasticsearch Query

itdepends.hateblo.jp

GCPの監査ログ

ref. https://cloud.google.com/logging/docs/audit?hl=ja 管理アクティビティ監査ログ リソースの構成またはメタデータを変更する API 呼び出しやその他の管理アクションに関するログエントリが含まれます。このログは、たとえば、ユーザーが VM インスタン…

Elasticsearch API

クエリパラメータ responseの整形 ?pretty カラムヘッダの表示 ?v INDEX操作 index一覧 GET /_cat/indices?v index作成 wip index削除 DELETE /{INDEX_NAME} 検索 無条件検索 GET /{INDEX_NAME}/_search 参考 #Elasticsearch の cat APIs にまじめに入門する…

サジェスト

日本語でのサジェストの難しさとElasticsearchを用いた実装例 · カウル Tech Blog Solrを用いて検索のサジェスターを作りました - ZOZO Technologies TECH BLOG

Elasticsearch + sudachi

DockerのElasticsearchにSudachiを手っ取り早く入れる - 今日もショートドリップをマグで。 DockerのElasticsearchにSudachiをみっちり入れる - 今日もショートドリップをマグで。 <備忘録> Elasticsearch、Kibana、Sudachi環境を構築する - Qiita Sudachiを…

MLOpsについて考えている

「ZOZO MLOps のチームリーディングとSRE(Engineering)」というタイトルで SRE Next 2020 に登壇しました

キャリアについて考えている

好きなslide https://www.slideshare.net/yusukey/devlove2012b

風邪薬の成分のメモ

咳止め(副作用が少ない) メジコン(デキストロメトルファン臭化水素酸塩水和物) 「デキストロメトルファン」に関する薬一覧[市販薬](16件)【QLifeお薬検索】 https://www.1101.com/kaze_a/2018-09-21.html 痰切り カルボシステイン 「カルボシステイン…

Postgresqlの運用チートシート

Role(User)作成と権限の付与 参照専用なroleの作成 CREATE ROLE read_only_role; GRANT USAGE ON schema foo_schema TO read_only_role; GRANT SELECT ON ALL TABLES IN SCHEMA foo_schema To read_only_role; ユーザの作成と参照専用roleの割当 CREATE ROLE…