신입 때 프로덕션 DB 날린 썰 푼다 (스압)
익명댓글 10
입사 3개월 차였음
테스트 데이터 정리하라는 일을 받았음
로컬이랑 스테이징 DB에 쌓인 더미 데이터 지우는 거
사수가 쿼리 예시를 줬는데 대충 이런 거였음
DELETE FROM orders WHERE created_at < '어떤 날짜'
터미널 탭을 여러 개 띄워놓고 있었는데
그중 하나가 운영 DB 읽기 전용 계정... 인 줄 알았던 거임
근데 그날 아침에 다른 작업한다고 쓰기 권한 있는 계정으로 접속해놨던 탭이었음
엔터 침
몇 초 뒤에 슬랙에 알람이 미친 듯이 울림
주문 목록이 비어있다고 CS팀에서 난리남
그때 손이 덜덜 떨리면서 탭 위에 써있는 호스트명을 봤는데
prod라고 써있었음
바로 사수한테 갔음. 얼굴 하얘져서
사수가 한 3초 보더니 "백업 몇 시 거 있지?" 하고 바로 인프라팀에 전화함
다행히 백업이 있었고 그 이후 주문은 로그로 복구함
서비스는 1시간 반 정도 꼬였음
그날 저녁에 팀장님이 나 불러서 혼날 줄 알았는데
"이건 네 잘못보다 신입이 운영 DB 쓰기 권한 갖고 있던 게 문제다" 하심
그 주에 권한 체계 싹 바뀜
지금은 5년 차인데 아직도 DELETE 칠 때 WHERE 절 먼저 쓰고 SELECT로 개수 확인부터 함
그리고 운영 터미널은 배경색 빨간색으로 해둠
신입들 이거 진짜 해두셈
댓글 10
prod라고 써있었음 <- 읽는 내가 식은땀 남
팀장님 인성 레전드네
운영 터미널 빨간 배경 진짜 좋은 습관임 우리 팀도 함
백업 없었으면 어떻게 됐을지 상상도 하기 싫다
그날 밤에 그 상상하느라 잠 못 잠
신입한테 운영 쓰기 권한 주는 회사가 문제 맞음
나도 비슷한 거 해봄 UPDATE에 WHERE 빼먹어서 전체 회원 이름이 같은 이름 됨
트랜잭션 걸고 확인 후 커밋하는 습관도 추천
이 썰 볼 때마다 정신 차림