zenn.dev qiita.com qiita.com

kotaroooo0-dev.hatenablog.com logmi.jp zenn.dev

version $ .venv/bin/streamlit --version Streamlit, version 1.41.1 install & hello python3 -m venv .venv .venv/bin/pip install streamlit hello.py を作成 $ cat hello.py import streamlit as st st.title("Hello World!") run .venv/bin/streamlit …

SQLから、 DROP TABLE xxx をするだけだと、メタデータは消えるが実データは消えない。 たとえば、S3 上に実データがある場合は、個別に以下のような感じで消す必要がある dbutils.fs.rm("s3://foobar//foobar.db/foobar_table", recurse=True) あと、DLT構…

イーサネットフィルタで、LAN側からのMACアドレスベールの拒否設定 設定するとき ethernet filter 1 reject-nolog aa:bb:cc:dd:ee:ff *:*:*:*:*:* ethernet filter 2 pass-nolog *:*:*:*:*:* *:*:*:*:*:* ethernet lan1 filter in 1 2 これ、filter 2 を設定…

【2020年版】元文系の京大生がおすすめする機械学習の参考書Beginaid 2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ M1で勉強した本の振…

git diff git add したのと差分をみる git diff --cached 参考 忘れやすい人のための git diff チートシート #Git - Qiita

コマンド neovim tab 新しいtabを開く :tabe [ファイル名を指定] ファイル名しなければ no nameファイルが作成される。その場合は、:w foobar.txt などと保存。 gt 右のtabに移動 Gt 左のtabに移動 分割・移動 左右分割 :vs 汎用移動 [ctrl + w][ctrl + w] …

www.ashisuto.co.jp dev.classmethod.jp

見出し行を抜いて、csv ファイルをすべて結合（同じスキーマの場合） gawk 'FNR > 1' *.csv 両方のファイルにある項目を抽出する gawk 'NR==FNR { lines[$0]; next } $0 in lines' file_a.txt file_b.txt foobar.yaml の table: の内容と、tables.txt の内容…

システムエンジニアのPROGOS対策メモ レアジョブスピーキングテスト（PROGOS）の攻略法｜対策とコツ【受講500回超え】 【攻略法】レアジョブのスピーキングテストPROGOS内容・対策

Coursera www.coursera.org Machine Learning with TensorFlow Google Cloud 日本語版 How Google does Machine Learning 日本語版(7時間) Launching into Machine Learning 日本語版(16時間) Intro to TensorFlow 日本語版(19時間) Feature Engineering 日…

基本 $ nohup command & 実行したものを確認 $ jobs nohup と & の つけ忘れ ctrl + z で一時停止 bq %1 でバックグラウンドにする disown %1 nohup.out 以外にlogを書く $ nohup command 2> foobar.log &

import logging import airflow from airflow import DAG from airflow.operators.python_operator import PythonOperator args = { "owner": "shase", "start_date": airflow.utils.dates.days_ago(2), } def hello(): logging.info("hello world") dag = D…

www.amazon.co.jp www.amazon.co.jp

元グーグルCEO エリック・シュミットが見初めた「ミスターAI」 元日本法人社長・村上憲郎 | Agenda note (アジェンダノート) 私が携わったのは主に第2世代のAIでしたから、最新の技術については知らないことも多々ありました。だから面接でも、そのことを正…

https://lp.cloudplatformonline.com/rs/808-GJW-314/images/Session05_Cloud%20OnBoard%20for%20DNP.pdf

参考資料 https://spotify.github.io/scio/examples/TemplateExample.scala.html Hello World build.sbt name := "app" version := "0.1" scalaVersion := "2.13.7" resolvers += "confluent" at "https://packages.confluent.io/maven/" libraryDependencie…

オオシママサト on Twitter: "Cloud RunでIP制限どうやるんだろーと思って、ググり始めて30分ぐらいでいつのまにかできてしまった！なんて簡単なんだ・・ Cloud Armor + GCLB + url-map + Serverless NEG + Cloud Runでできました" Cloud RunへのアクセスにI…

文字列 curl -X POST -H "Content-Type: application/json" -d '{"foo":"foobar", "id":"123"}' localhost:8000/foobar/ JSONファイル（@つけるだけ） curl -X POST -H "Content-Type: application/json" localhost:8000/foobar/ -d @sample.json

DataflowのFlexテンプレートとScioで動的なパイプラインを実現する - エムスリーテックブログ Scala + Scio で Apache Beam あるいは Google Cloud Dataflow に入門する - ブログ・ア・ラ・クレーム 実践Scio (基礎編) - kimutyam - Medium

ref サーバーアプリ開発環境(Python／FastAPI) | フューチャー技術ブログ

$ poetry new foo-project $ tree . ├── README.md └── foo-project ├── README.rst ├── pyproject.toml ├── tests │ ├── __init__.py │ └── test_foo-project.py └── foo-project └── __init__.py 3 directories, 6 files $ poetry config virtualenvs.in-p…

cloud.google.com queuery.com

2015年 arata.hatenadiary.com www.zaneli.com scala 製 plugin github.com github.com

コマンド auth されている account 一覧(gcloud auth login すると増えていく) gcloud auth list config 一覧 gcloud config list configration 一覧 gcloud config configurations list 新しい configuration つくって set する gcloud config configuratio…

dev.classmethod.jp www.db-tech-showcase.com

とりあえず macabに食わせてみる cat input.txt | mecab jupyterでwordcloudつくる import MeCab from matplotlib import pyplot as plt from wordcloud import WordCloud with open('input.txt', mode='rt', encoding='utf-8') as fi: source_text = fi.rea…

これ YAML to JSON - Visual Studio Marketplace JSONかYAMLを開く shift + command + P を押す 「YAML to JSON:Convert selection or document」と入力する いじょ

ecs-cliの導入 brew install ecs-cli ~/.ecs/credentialsの内容 version: v1 default: default region: ap-northeast-1 ecs_profiles: default: aws_access_key_id: xxx aws_secret_access_key: xxx ECSクラスタ作成 手元の ecs-params.yml を参照している e…