요즘 당근 AI 개발

 

p.90
반복 업무에서 '생각을 줄일 수 있다'는 것만으로도 팀원들은 만족해했습니다.

• 도구는 만들었다보다 쓰였다가 중요하다.
• 팀원들의 피드백을 반영하며 조금씩 개선하는 과정이 진짜 자동화다.
• 정형화된 반복 업무부터 시작해서, 운영팀이 자율적으로 사용하는 도구가 될 수 있다.

  실제 업무를 하면 반복 업무들이 무수히 많다.
  사람들은 반복 업무에 숙달되어 간다. 이것이 바로 비효율의 숙달화이다.
  비효율은 효율적인 방법으로 개선해야 업무 생산성이 극대화 된다.
  비효율의 숙달화를 경계하자.

 

p.92
비개발자도 운영자도 문제 정의만 잘하면 AI 시대에 가장 강력한 문제 해결자가 될 수 있다.
앞으로 저는 이 경험을 더 확장해보고 싶습니다.
운영 정책 설계, 사기 대응 시스템, 사용자 보호 설계 등 실무의 문장들이 흐르는 곳에서 LLM이 더 많이 쓰일 수 있도록요.
더 많은 운영자들이 생각하는 데 집중할 수 있는 환경을 만드는 데 기여하고 싶습니다.

내가 요즘 자동화를 하는 영역
Jira 티켓 생성
Confluence Wiki 문서 자동 생성
GitHub PR 목록 주기적으로 슬랙 전송

 

p.96
LLM이 아무리 똑똑한들, 우리 시스템의 실제 데이터에 접근할 수 없다면 그저 말 잘하는 챗봇에 불과합니다. LLM이 실제 업무에서 강력한 힘을 발휘하려면 우리가 사용하는 시스템과 직접 소통하고 상호작용할 수 있어야 합니다.
MCP는 바로 이 단절된 LLM과 외부 세계를 잇는 견고한 다리 역할을 합니다.

MCP와 RAG 조합이라면 꽤 쓸만한 AI 자동화 툴을 만들 수 있을 것 같다.
아직은 공부해야 할 것들이 많다.
시간이 주어진다면 이 둘을 제대로 공부해서 회사 업무의 다양한 영역에 적용해 보고 싶다.

 

p.113
15시~17시에 @identityServiceTeam 모두 들어갈 수 있는 회의실을 예약해주고, 참석자들에게 슬랙 알람 발송해줘. 와 같은 복잡한 작업도 자동화 할 수 있다.

• 국가별 가입자 수 변화 분석 리포트
• 에러 실시간 분석 '에러박사'
  • 센트리 활용

 

p.117
센트리 MCP는 센트리 이벤트의 상세 정보를 가져옵니다.
에러가 언제, 어디서, 어떤 상황에서 발생했는지 파악할 수 있습니다. MCP를 통해 다음과 같은 JSON 응답을 받을 수 있습니다.

• 에러박사의 효과
• 새벽 대응 횟수 감소 : 대부분의 에러가 긴급하지 않다는 걸 바로 확인 가능
• 에러 분석 시간 단축 : 평소 1시간 걸리는 분석 시간을 10분 내외로 단축
• 온콜 스트레스 대폭 감소 : 불필요한 걱정 없이 푹 잘 수 있게 됨

 

p.137
LLM을 서비스에 적용하는 일은 단순히 모델을 붙이는 게 아니라, 질문을 제대로 던지는 일에서 시작된다는 점이었습니다.
결국 LLM이 진짜 일하는 도구가 되려면 다음 세 가지 질문에 명확히 답할 수 있어야 합니다.

• 이 서비스 혹은 문제에서, 우리가 얻고자 하는 정보는 무엇인가?
• 그 정보를 어떤 기준으로 판단하는가?
• 그 기준을 모델이 이해할 수 있도록 구조화하여 설명했는가?
  결국 LLM을 잘 쓴다는 건, 지금 필요한 정보를 정확히 알고, 그걸 얻기 위해 질문을 구조화하고, 프롬프트를 잘 설계하는 일입니다.

 

p.152
사용자가 질문을 입력하면, 다음 도식과 같이 LLM은 사용자의 질문을 분석해 사용자가 좋아할 만한 주제와 그 이유를 생성합니다.
이때 생성된 추천 주제를 기반으로, 텍스트 임베딩 모델이 비슷한 게시글을 찾아 추천 결과로 보여주는 방식입니다.

 

p.164
시맨틱 캐싱
시맨틱은 '의미' 라고 해석하면 된다.
예를 들어 "안녕하세요" 라는 문장에 대해 시맨틱 캐싱이 되어 있다면, "안녕하세요"나 "안녕하신가요?"처럼 형태는 다르지만 의미가 유사한 문장도 캐시 히트로 처리할 수 있습니다. ^9eed7e

• 문장을 의미 벡터로 바꾼 뒤, 비슷한 의미의 벡터가 이미 있으면 그 응답을 재사용하는 캐시, LLM 호출 비용 절감 효과 있음

 

적용할 점

• 옵시디언 노트 기반으로 RAG + LLM 구성을 시도해본다.
• LLM 비용을 줄이기 위해서 필요한 기술은? 바로 시맨틱 캐싱
• n8n 자동화 툴을 적극적으로 활용한다. LLM 붙여서 활용하자.