[웹 애플리케이션 이해] 동시 요청 - 멀티 쓰레드

김영한 강사님 "스프링 mvc" 내용 정리 + Java의 정석 일부 포함

프로세스와 쓰레드

포스팅 글 참고

[ASAC 6기] 프로그램, 프로세스와 스레드

멀티 쓰레딩의 장점

도스(DOS)와 같은 OS는 한번에 한가지 작업만 수행 가능.

윈도우와 같은 멀티태스킹이 가능한 OS는 동시에 여러 작업 수행 가능

• CPU의 사용률을 향상시킨다.
• 자원을 보다 효율적으로 사용할 수 있다.
• 사용자에 대한 응답성이 향상된다.
• 작업이 분리되어 코드가 간결해진다.

메신저로 채팅하면서 파일을 다운로드 받거나 음성 대화를 나눠야하는 상황이라면

싱글쓰레드: 파일을 다운로드 받는 동안에 다른 일을 전혀 할 수 없다.

멀티쓰레드: 메신저 + 파일 다운 + 음성 대화 동시에 가능

 

여러 사용자에게 서비스를 해주는 서버 프로그램의 경우 멀티 쓰레드를 사용하는 것이 필수이다.

하나의 서버 프로세스가 여러 개의 쓰레드를 생성해서 쓰레드와 사용자의 요청이 일대일로 처리되오록 프로그래밍해야한다.

 

만일 싱글 쓰레드로 처리한다면?

사용자의 요청마다 새로운 프로세스를 생성해야하는데 프로세스를 생성하는 것은 쓰레드를 생성하는 것에 비해 더 많은 시간과 메모리 공간이 필요하므로 많은 수의 사용자 요청을 서비스 하기 어렵다.

 

main 쓰레드

Java에서 main메서드의 작업을 수행하는 것도 쓰레드이다.

이를 main 쓰레드라고 한다.

 

프로그램을 실행하면 기본적으로 하나의 쓰레드를 생성하고, 그 쓰레드가 main 메서드를 호출해서 작업이 수행되도록 하는 것이다.

---

WAS에서 제공하는 멀티 쓰레드

클라이언트에서 서버로 요청을 하면 WAS에서 TCP/IP 연결이 된다. 그리고 서블릿을 호출하는데, 이때 누가 서블릿을 호출하는가?

바로 쓰레드가 호출한다.

• 쓰레드가 없다면 자바 애플리케이션 실행이 불가능하다
• 동시 처리가 필요하다면 쓰레드를 추가로 생성하면 된다.

다중 요청 - 싱글 쓰레드 사용

요청1에 대한 처리를 하는 쓰레드가 서블릿을 호출해서 작업을 수행하는 중이다.

작업 처리가 지연된다면 요청1에 대한 처리가 지연된다. 동시에 요청2가 들어오면 쓰레드가 요청1에 대한 처리를 하지 못한 상태이므로 요청2를 받지 못한다.

time out 등의 이유로 요청1, 2 처리를 모두 못하는 경우가 발생할 수 있다.

다중 요청 - 멀티 쓰레드 사용

1. 요청마다 쓰레드 생성

장점

• 동시 요청 처리 가능
• 리소스(CPU, 메모리)가 허용할 때까지 처리 가능
• 하나의 쓰레드가 지연되어도, 나머지 쓰레드는 정상 동작

 

단점

• 쓰레드는 생성 비용이 매우 비싸다.
  • 고객의 요청이 올때마다 쓰레드를 생성하면, 응답 속도가 늦어진다.
• 쓰레드는 컨텍스트 스위칭 비용이 발생
• 쓰레드 생성에 제한이 없다
  • 고객 요청이 많이 오면, 이에 맞게 쓰레드를 계속 생성 -> CPU, 메모리 임계점을 넘어서 서버가 죽는다

 

2. 쓰레드 풀

특징

• 필요한 쓰레드를 쓰레드 풀에 보관하고 관리
• 쓰레드 풀에 생성 가능한 쓰레드의 최대치를 관리. 톰캣은 최대 200개 기본 설정(변경 가능)

 

사용하는 방법

• 쓰레드가 필요하면, 이미 생성되어 있는 쓰레드를 쓰레드 풀에 꺼내서 사용한다.
• 사용을 종료하면 쓰레드 풀에 해당 쓰레드를 반납한다.
• 최대 쓰레드가 모두 사용중이어서 쓰레드 풀에 쓰레드가 없다면?
  • 기다리는 요청은 거절하거나 특정 숫자만큰 대기하도록 설정할 수 있다.

 

장점

• 쓰레드가 미리 생성되어 있으므로, 쓰레드를 생성하고 종료하는 비용(CPU)이 절약되고, 응답 시간이 빠르다.
• 생성 가능한 쓰레드의 최대치가 있으므로 너무 많은 요청이 들어와도 기존 요청은 안전하게 처리할 수 있다.

---

쓰레드 풀의 적정 수는?

애플리케이션 로직의 복잡도, CPU, 메모리, IO리소스 상황에 따라 모두 다르다.

성능 테스트 해보면서 적정 수를 찾는게 중요하다.

아파치 ab, 제이미터, nGrinder(추천) 라는 좋은 툴을 사용하여 성능 테스트 후 적용하는 걸 추천

 

OS 쓰레드, 자바 쓰레드

os 쓰레드: cpu자원을 독립적으로? 얼만큼 사용할 수 있는가? (cpu자원을 나눈 것이 쓰레드)

톰캣에서 사용하는 자바 쓰레드: 쓰레드를 얼만큼 사용할 것인지 명시, application.yml(.properties)

 

따라서 os 쓰레드 개수를 넘도록 자바 쓰레드를 설정하면 안됨.