前言AutoVacuum 在 Postgresql 是一個很重要的機制(甚至可以說最重要也不為過)，但裡面有些地方需要了解今天就帶大家初探 資料 & 測試資料資訊本次執行 Sample Data CREATE TABLE T1 ( ID INT NOT NULL PRIMARY KEY ...
Redis Cluster 介紹
前言在巨量資料下，資料庫合理的分片(DB sharding)可以幫助我們承受更高量的資料量(前提Index還有設定都調教到很好在考慮 sharding) 而在 Redis 世界裡也有 redis cluster 來做 sharding 事情，今天就來跟大家分享介紹 我使用是 bitnami redi ...
Ndepend 靜態分析 .Net 專案好物
前言當一個專案越來越大，在開發新產品時同時要兼顧程式碼品質會越來越困難，今天要介紹的 Ndepend 是一個很優秀靜態分析 .Net 專案好物 會幫我們產生一個 DashBoard 來了解目前專案大致上分析後的問題，並提供建議解法和處理方向，讓我們提前更快速抓出未來或目前存在 bug，減少發生需要晚 ...
AWS Postgres RDS Proxy
前言在 Postgresql 世界裡每建立一個 Connection，都會有一個 process 來服務該請求，Postgresql 沒有 ThreadPool 概念所以在 Connection 使用量大時會發生一些問題 資源浪費 超過同時間超過 max_connection 後面連接會無法連接 ...
LRU 演算法解說
前言資料結構跟演算法是程式設計師的內功，在中小型系統懂這兩樣東西效用可能有限，但在大型系統中熟不熟用資料結構跟演算法做出來的效益會天差地遠 對於常使用的物件和變數我們會放置在 Redis 上( cache server )，但記憶體有限，我們想放的東西無限，造就無法將所有物件都存放在 Redis 或 ...
資料庫查詢核心概念-地圖理論
前文我認為 DB query optimizer (QO) 產生執行計畫並執行查詢和 使用地圖找尋最佳路徑很類似 下面會跟大家分享我心中 地圖理論 希望可以對於想了解 DB 運作的人更快上手 看見全貌在了解一個事情跟技術，我們需要先用宏觀的角度來看待事情 下圖是 postgresql DB 運作核心 ...
利用Redlock演算法實現自己的分佈式鎖
前言我之前有寫透過 lock or CAS 來防治，Racing condition 問題，但如果這個問題延深到多台服務器甚至是 micor-services 架構我們要怎麼處理資料問題呢? 下面程式在單體服務或應用程式不會出問題，但如果服務器有多台問題可就大了，因為下面的 lock 只限於單體 S ...
postgresql 執行計畫重要因子 (成本因子調教)
前言執行計畫代表此次查詢要怎麼樣的演算法查詢我們的資料，而成本是決定使用哪個執行計畫的重要因素 在 postgreSQL DB query optimizer 會選擇成本最低的執行計劃，當作查詢資料使用算法 在 Sql-sevrer 成本計算封裝在程式內部，我們無法透過一些因子來調整，但 postg ...
AWS Lambda 初體驗 by .net core
前言AWS 在有眾多服務，其中我對於 Lambda 最有興趣 (因為 .net 有一個 Lambda 表達式 ) 最近申辦帳號可以使用 12 個月部分免費服務(有條件限制)，看我還不玩爆 AWS XD 經過了解得知 Lambda 是一個 EDA 架構並幫我們解決開發時需要煩惱硬體上配置(記憶體要多少 ...
postgresql WAL (Write-Ahead Logging) 機制
前言WAL 是一種 Tx Log實踐機制 WAL 核心概念是先寫 tx log，在把資料寫資料，資料的修改必须發生在寫入 Tx Log之後，使用 WAL 紀錄資料庫系統在commit transaction 使用 WAL 機制後我們不需要在每次 Commit Transaction 後就把資料 fl ...