민주의네모들

[AWS] AWS Network Firewall이란? - (2.3) 결합형 배포모델

mjoooo — Mon, 15 Feb 2021 18:14:15 +0900

AWS Network Firewall의 세가지 배포모델 중,
1) 분산형 2) 중앙 집중형 에 이어서 오늘은 3) 결합형 배포모델에 대해 알아보겠다.

(이전 배포 모델을 안보셨다면 보고 오시길 추천. 분산형과 중앙집중형을 모르고선 결합형을 이해할 수 없음.)

minjoos.tistory.com/10

[AWS] AWS Network Firewall이란? - (2.1) 분산형 배포모델

지난번에는 AWS Network Firewall의 개념에 대해 알아보았다. 지난번 포스팅을 안보았다면 or 개념을 잘 모르겠다면 이해를 위해 보고오자! https://minjoos.tistory.com/9 [AWS] AWS Network Firewall이란? - (1)..

minjoos.tistory.com

minjoos.tistory.com/12

[AWS] AWS Network Firewall이란? - (2.2) 중앙집중형 배포모델

오늘은 AWS Network Firewall의 개념, 분산형 배포모델에 이어서 중앙집중형 배포모델에 대해 정리해보겠다. 이전 포스팅을 안보셨다면 먼저 보고오기 고고 minjoos.tistory.com/9 [AWS] AWS Network Firewall이란..

minjoos.tistory.com

결합형은 이름에서 유추할 수 있듯이 분산형과 중앙집중형을 적절히 섞은 모델이다.

기억을 더듬어보자.

분산형은 필요한 각 VPC에 네트워크 방화벽을 배포한 구조였고

중앙집중형은 중앙의 Inspection VPC에 네트워크 방화벽을 배포한 구조였다.

즉 이 두 모델을 적절히 섞었다는 말은
중앙 Inspection VPC도 존재하고, 필요한 각 VPC에도 방화벽을 배포할 수 있다는 것이다.

아래 두가지 유형을 살펴보며 더 자세히 이해해보자.

이 그림을 보면 우측 상단에 Inspection VPC가 있고, Spoke VPC B에는 자체적인 Firewall endpoint가 존재한다.

자체적인 VPC가 없는 경우(중앙집중형, 위 그림에서는 Spoke VPC A의 경우)에는

외부 인터넷과 송수신하기 위해서는 Inspection VPC를 거쳐야했다.

하지만 Spoke VPC B의 경우에는 자체적인 인터넷 게이트웨이와 Firewall endpoint가 존재하기 때문에

트래픽은 추가적인 구성 없이도 바로 내부 인스턴스로 들어올 수 있다.

1번 그림에서 무엇인가 추가되었다.

추가된 것은 무엇일까? ~~(틀린그림 찾기 수준)~~

바로 Central Egress VPC에 자체적인 Firewall endpoint가 배포된 것이다.

장점이 무엇인가?

원래 vpc와 인터넷 사이의 송수신을 하기 위해서는 Inspection VPC의 네트워크 방화벽을 거치는 별도의 트래픽이 필요했다. 하지만 Central Egress VPC에 전용 Firewall endpoint를 구성함으로써

트래픽이 Inspection VPC를 거치지 않고 Spoke VPC A에서 Central Egress VPC로 직접 이동하므로

데이터 처리 비용을 절감할 수 있다.

결합형은 이렇듯

중앙집중형의 Inspection VPC와각각의 VPC에 필요시 네트워크 방화벽을 배포할 수 있는 분산형의 성질을 모두 갖고있는 모델이다.

여기서는 두 개의 유형밖에 살펴보지 않았지만,

어느 VPC에 얼마만큼의 방화벽 엔드포인트를 배포하느냐에 따라 그 종류는 무궁무진할 것이다.

그럼 여기서 배포 모델 설명은 마치겠다.

다음엔 실제로 방화벽 환경 구성 + 필터링 테스트로 돌아옵니다.

안뇽

[AWS] AWS Network Firewall이란? - (2.2) 중앙집중형 배포모델

mjoooo — Thu, 21 Jan 2021 15:25:01 +0900

오늘은 AWS Network Firewall의 개념, 분산형 배포모델에 이어서
중앙집중형 배포모델에 대해 정리해보겠다.

이전 포스팅을 안보셨다면 먼저 보고오기 고고

minjoos.tistory.com/9

[AWS] AWS Network Firewall이란? - (1) 개념

2020년 11월, AWS Network Firewall 서비스가 출시되었다. 아직 출시된지 얼마 되지 않은 서비스라, 사용할 수 있는 리전은 몇 되지 않지만 (미국 동부(버지니아 북부), 미국 서부(오레곤) 및 유럽(아일랜

minjoos.tistory.com

minjoos.tistory.com/10

[AWS] AWS Network Firewall이란? - (2.1) 분산형 배포모델

minjoos.tistory.com

Network Firewall의 배포 모델은 크게 세 가지로 나눌 수 있다.

1) 분산형

2) 중앙 집중형

3) 결합형

오늘은 이 중에 2) 중앙집중형!

2) 중앙집중형

중앙집중형 배포 모델은 말 그대로 검사를 수행하는 firewall이 한 곳(중앙)에 있다는 의미라고 생각하면 된다.

따라서 검사를 수행하기 위한 검사 전용 VPC가 따로 존재한다.

그 VPC를 Inspection VPC라고 부른다.

Inspection VPC는 Firewall endpoint가 있는 검사 전용 VPC이다.

Inpection VPC는 Transit Gateway Subnet과 Firewall Subnet으로 구성되는데,

Transit Gateway Subnet은 외부에서 Inpection VPC로 들어오는 트래픽을 Firewall endpoint로 연결해주는 역할을 한다.

또한 Firewall에서 검사를 받고 나가는 트래픽이 Transit Gateway로 다시 전송되어 외부와 연결된다.

즉 Transit Gateway는 네트워크 허브 역할을 한다.

중앙집중형 배포 모델의 Inspection VPC

위 그림의 트래픽 흐름을 살펴보자.

1. Transit Gateway로 트래픽이 들어옴
2. Transit Gateway ENI(Elastic Network Interface)가 Firewall endpoint에 트래픽 전송
3. Firewall endpoint는 AWS Network Firewall에 트래픽 전송
4. AWS Network Firewall에서 필터링 된 트래픽을 다시 Firewall Endpoint로 전송

5. Firewall Endpoint에서 Transit Gateway로 트래픽 전송
6. 외부로 전송

즉, 모든 트래픽은 Inspection VPC를 거치며, Inspection VPC로 들어와 검사를 받고 나가는 흐름을 가지고 있으며,
Transit Gateway는 그 흐름을 연결해주는 네트워크 허브 역할을 한다.

그럼 중앙집중형 배포 모델을 통해 어떠한 종류의 트래픽을 보호할 수 있는지,

그 유형을 살펴보겠다.

1. East-West Traffic Inspection Model (VPC에서 VPC로의 트래픽)

Spoke VPC A에서 Spoke VPC B로 가는 트래픽 흐름

이 그림은 Spoke VPC A에서 Spoke VPC B로 가는 트래픽이 어떠한 순서로 네트워크 방화벽을 거치는지를 나타낸 것이다.

1. Spoke VPC A에서 나온 트래픽은 AWS Traffic Gateway의 Spoke Inspection Route Table을 통해 Inspection VPC로 전송된다.
2. Inspection VPC의 Transit Gateway ENI가 트래픽을 Firewall endpoint로 전송한다.
3. Network Firewall의 필터링을 거친 트래픽은 AWS Traffic Gateway의 또다른 라우팅 테이블인 Firewall Route Table로 전송된다.
4. Firewall Route Table을 통해 Spoke VPC B로 전송한다.

따라서 이러한 형태의 중앙집중형 모델을 통해,
동일하거나 다른 AWS 계정의 VPC에서 VPC로의 트래픽을 보호할 수 있다.

2. North-South: 중앙 집중식 온프레미스 송신 및 수신

Spoke VPC A에서 온프레미스로 가는 트래픽 흐름

이 그림은 Spoke VPC A에서 온프레미스 네트워크로 가는 트래픽이 어떠한 순서로 네트워크 방화벽을 거치는지를 나타낸 것이다.

1. Spoke VPC A로부터 나온 트래픽이 AWS Transit Gateway의 Spoke Inspection Route Table로 전송된다.
2. Spoke Inspection Route Table을 통해 Inspection VPC로 전송된 트래픽은 Transit Gateway ENI를 통해 Firewall endpoint로 전송된다.
3. Firewall endpoint에서 Network Firewall을 통해 필터링 된 트래픽은 다시 AWS Transit Gateway로 전송된다.
4. 트래픽은 AWS Direct Connect 또는 AWS Site-to-Site VPN을 통해 온프레미스로 전송된다.

(AWS Transit Gateway는 Direct Connect 또는 Site-to-Site VPN을 통해 온프레미스에 연결할 수 있다.)

따라서 이러한 구조의 모델을 사용하면 VPC에서 온프레미스로 전송되는 트래픽도
네트워크 방화벽을 통해 보호할 수 있다.

3. North-South: 중앙 집중식 인터넷 송신

Spoke VPC A에서 Internet으로 송신되는 트래픽 흐름

아. 그림이 한층 복잡해졌다.

하지만 자세히 살펴보면 이전 그림에서 우측 하단의 Central Egress VPC하나가 추가로 생긴 것 뿐이다.

Private 영역에서 Public 영역과 통신하려면 NAT 게이트웨이가 필요하다.

NAT 게이트웨이를 사용하면 Private Subnet의 워크로드를 활성화하여 Public IP 공간의 인터넷 또는 AWS 서비스에 연결할 수 있게 된다.

Central Egress VPC는 Transit Gateway Subnet과 Public Subnet(인스턴스, NAT 게이트웨이 존재)로 이루어져 있다.

따라서 인터넷으로 송신위해 필요한 구성 요소를 포함한 VPC인 것이다.

위 그림의 트래픽 흐름을 살펴보자.

1. Spoke VPC A에서 AWS Transit Gateway로 트래픽이 전송됨.
2. 처리를 위해 Inspection VPC로 전달된 트래픽은 Transit Gateway ENI를 통해 Firewall endpoint로 전송됨.
3. Firewall endpoint에서 Network Firewall을 통해 필터링된 트래픽은 다시 AWS Transit Gateway로 전송됨.
4. Transit Gateway의 Firewall Route Table을 통해 Central Egress VPC로 전송되고, 인터넷 게이트웨이에 액세스할 수 있게 됨.

즉, 이러한 구조의 배포 모델을 사용하면

VPC에서 인터넷으로의 트래픽도 보호할 수 있다는 점을 알 수 있다.

4. North-South: 중앙 집중식 인터넷 수신

인터넷에서 Spoke VPC A로의 트래픽 흐름

자, 이번엔 반대로 Public 인터넷에서 private한 Spoke VPC A로의 트래픽이다.

이번에 새로 추가된 것은 중앙 하단의 Central Ingress VPC이다.

Central Ingress VPC는 외부 인터넷에서 들어오는 트래픽을 ALB(Applicatio Load Balancer)로 적절히 분배하고,

Transit Gateway로 트래픽을 보내는 역할을 한다.

따라서 Central Egress VPC가 인터넷으로 송신하기 위한 VPC였다면,

Central Ingress VPC는 인터넷에서 수신되는 트래픽을 위한 VPC인 것이다.

1. 외부의 인터넷으로부터 Central Ingress VPC의 Internet Gateway로 트래픽이 생성됨.
2. 들어온 트래픽은 ALB(Application Load Balancer)로 전달됨.
3. Transit Gateway ENI를 거쳐 AWS Transit Gateway로 전송됨.
4. AWS Transit Gateway는 검사를 위해 Inspection VPC로 전송됨.
5. Firewall endpoint에서 네트워크 방화벽을 통해 필터링된 트래픽은 다시 AWS Transit Gateway로 전송됨.
6. 라우팅 테이블을 통해 트래픽이 목적지 워크로드에 전달됨.

따라서 인터넷에서 워크로드 VPC로 수신되는 트래픽도 보호할 수 있다는 점을 알 수 있다.

이것저것 유형도 많고 복잡한 그림도 많았다.

하지만 결론은 이거다.

1. 중앙집중형 모델은 검사 전용 Inspection VPC가 있는 모델이다. 모든 트래픽이 Inpsection VPC에 있는 Network Firewall을 거치면서 검사된다.

2. 중앙집중형 모델을 어떻게 구성하느냐에 따라 검사할 수 있는 트래픽의 종류가 다양하다. (VPC-VPC, VPC-온프레미스, VPC-인터넷, 인터넷-VPC ...)

다음에는 분산형 모델과 중앙집중형 모델이 합쳐진

결합형 배포 모델에 대해 포스팅하겠다.

끝!

[TrendMicro] Apex One 백신 리뷰

mjoooo — Wed, 20 Jan 2021 14:03:30 +0900

백신은 개인용 백신만 써보고(ex. V3 ..)

백신을 써보더라도 그냥 노트북에 깔아놓고 평소에는 신경도 안썼다가

이번에 기업용 백신을 리뷰해볼 기회가 있어서 이렇게 블로그에 정리해보려고 한다.

이번에 리뷰할 기업용 백신은 트렌드마이크로 사의 Apex one이다.

무료 SaaS 평가판은 아래 링크에서 다운받을 수 있다.

www.trendmicro.com/ko_kr/business/products/user-protection/sps/endpoint.html

Apex One Endpoint Security Solution (OfficeScan, Redefined) | Trend Micro

하이파이 (high fidelity) 머신러닝 및 최신 랜섬웨어 보호 기능 등 광범위한 성능으로 엔드포인트를 보호합니다.

www.trendmicro.com

나는 위 링크에서 무료 평가판을 신청해 사용하였는데, 30일동안 사용 가능하다고 한다.

무료 평가판 신청을 마치면 메일로 관리서버(웹 콘솔) 링크를 보내준다.

링크를 타고 들어가 생성한 아이디와 비밀번호로 로그인하고
Google Authenticator로 2차 인증까지 설정해주면 준비 완료!

관리서버 첫 화면

관리서버로 로그인이 되면 맨 처음 위와 같은 화면이 뜬다.

대충 살펴보면, 우리가 보호하고자 하는 자산에 어떤 위협이 있었는지(ex. 랜섬웨어, APT공격 등)
보여주는 웹 콘솔인 것 같은 느낌이 든다.

결론적으로 관리서버는 보호되는 모든 엔드포인트 및 사용자를 관리하고,
모니터링하고, 어떤 보안 이슈가 있었는지를 보여주는 Apex 중앙 서버이다.

위와 같이 웹 콘솔 형태로 되어 있다.

그러면 이쯤해서 의문이 들 것이다.

그러면 이런 서버는 관리 및 결과 확인에 사용되는거고.. 실제로 위협 탐지는 누가하지?

관리서버에서 클라이언트 프로그램(agent)를 다운받아야 한다.

클라이언트 프로그램은 위협 탐지, security agent 시작 및 종료, 스캔 시작 및 업데이트 완료와 같은
이벤트정보를 실시간으로 관리 서버로 보낸다.

관리 서버는 그 정보를 보기 좋게 시각화하여 관리자에게 제공하는 것이다.

관리자는 관리 서버에서 agent 설정을 제어하고 사용자에게 특정 권한을 부여하는 등의 작업을 할 수 있다.

이제 관리 서버와 클라이언트 프로그램의 각 역할에 대해 이해가 좀 되었는가?

agent 다운로드는 관리 서버에서 다운받을 수 있다.

Security Agent 다운로드 경로

그럼 이제 클라이언트, 관리 서버를 차례로 살펴보며 어떤 기능이 있는지 살펴보자.

1) 클라이언트 (Apex One Security Agent)

다운로드 받으면, 아래 사진과 같이 에이전트 프로그램이 백그라운드로 실행된다.

해당 아이콘을 우클릭하여 "Security Agent 콘솔 열기"를 클릭하면 agent 프로그램을 열 수 있다.

Security Agent 메인 콘솔

메인 콘솔은 이렇게 생겼다.

원래 클라이언트가 수행하고 있는 탐지 결과를 확인하는 것은 관리 서버에서 훨씬 자세하게 볼 수 있지만

이렇게 agent 콘솔을 열어 간단하게 확인할 수도 있다.

agent 메인 콘솔은 지금 보호가 잘 이루어지고 있는지, 소프트웨어가 최신인지, 탐지된 바이러스/악성 프로그램이 없는지 등등을 한눈에 쉽게 확인할 수 있도록 되어있다.

메인 콘솔의

이런 버튼을 클릭하면 로그를 확인할 수 있다.

로그 데이터 확인 가능

날짜 범위와 로그 유형을 선택하면 그에 해당하는 결과를 볼 수 있다.

로그 유형은 Virus/Malware, Firewall, Suspicious Connection, Data Loss Prevention 등 아주 다양하다.

메인 콘솔의

버튼을 누르면 수동 스캔이 가능하다.

수동 스캔할 대상 선택

위 그림과 같이 스캔할 대상을 선택하여 수동으로 스캔할 수 있다.

스캔 중인 화면

스캔 완료 화면

스캔 중에는 progress bar와 함께 스캔된 파일과 탐지된 위협을 볼 수 있으며,

스캔이 끝나면 스캔 결과가 뜨고 관리자는 필요한 조취를 취할 수 있다.

2) 관리 서버 (웹 콘솔)

그럼 이제 관리 서버에 대해 알아보자!

관리 서버에서는 탐지된 위협에 대한 결과를 볼 수 있고 클라이언트에 대한 세부 설정을 할 수 있다.

1. Dashboard

Dashboard중, Summary 탭의 화면

관리자는 대시보드를 사용하여 여러 유형의 보안 위협에 대한 정보를 시각적으로 빠르게 확인할 수 있다.

대시보드는 몇 가지 탭과 위젯이 기본적으로 구성되어 있다.

탭: Summary, Threat investigation, Security Posture, Data Loss Prevention, Compliance, Threat Statistics
위젯: ex) Summary 탭 - Critical Threats, Ransomware Prevention, ...

apex one이 좋은 점은, 이 대시보드를 사용자가 커스터마이징하여 새롭게 생성하거나 변경할 수 있다는 점이다.

새롭게 만들어본 minjoo 대시보드

위 사진은 내가 임의로 'minjoo'라는 이름의 새로운 대시보드를 만들어본 것이다.

탭 구역의 + 모양을 클릭하여 새로운 대시보드를 생성할 수 있고,

원하는대로 대시보드를 구성할 위젯을 선택할 수 있다.

2. Detections

여기에서는 제품의 로그를 확인하고(Logs), 이벤트에 대한 알림을 설정하고(Notifications),
수집된 데이터를 사용하여 보고서를 만들 수 있다(Reports).

Logs
- Log Query
  - Apex Central에서 생성한 로그와 관리되는 제품의 로그 데이터를 쿼리한다.
  - System Events 종류, 대상, 시간을 설정하여 로그를 검색할 수 있다.

검색할 로그의 system event 종류 설정

로그를 검색할 대상 설정

로그를 검색할 시간대 설정

+ Log Aggregation Settings에서 로그 수집이 필요하지 않는 제품의 수집을 비활성화 할수도 있으며,
Log Maintenance에서 로그 이름에 따른 로그 양, 오래된 정도 등을 확인하여 한번에 삭제할 수도 있다.

Log Aggregation Settings

Log Maintenance

Notifications
- 다양한 유형의 보안 이벤트에 대해 개인 또는 수신자 그룹에게 알람을 설정할 수 있다.
- 이벤트 범주 설정

알람을 보낼 이벤트 범주 설정

Reports
- 여러 제품 콘솔에 로그온하지 않고도 등록된 모든 제품의 데이터를 통합하는 보고서를 생성, 다운로드 및 전송할 수 있다.
  - 요청시 일회용 보고서 생성
  - 사용자가 정의한 일정에 따라 보고서를 자동으로 생성하여 지정된 수신자에게 보내도록 예약 가능

3. Directories

여기에서는 사용자 및 엔드포인트 정보를 확인하며 그룹 관리를 할 수 있다.

Users/Endpoints

기본적으로 자동으로 분류되어 있고 사용자가 커스텀하여 분류할 수도 있다. (필터, 라벨링 등 활용)

제품(Products)에 대한 분류도 확인할 수 있다.

등록된 모든 관리 제품 서버에 대한 정보가 표시되며, 제품 설정을 구성하거나 로그 쿼리가 가능하다.

Products

4. Policies

여기에서는 그룹에 직접 지정할 수 있는 보안 정책을 생성할 수 있다.

Create Policy

정책을 생성할 때 아래와 같은 세부 사항을 지정할 수 있다.

Anti-malware scans (Scan Methods, Real-time Scan, Scheduled Scan, Manual Scan, Scan Now)
: 정기 검사 등의 설정 가능
Advanced Threat Protection (Behavior Monitoring, Predictive Machine Learning, Web Reputation, Suspicious Connection, Vulnerability Protection, Device Control, Application Control)
: 기능 설정
Detection & Response (Endpoint Sensor, Sample Submission)
Exceptions (Trusted Program List, Spyware/Grayware Approved List)
Agent Configurations (Update Agent, Privileges and Other Settings, Additional Service Settings)

3) 결론

결론은 간단하게 장점/단점으로 정리해보겠다.

장점
- 관리 콘솔이 웹으로 되어있어 접근성이 좋음.
- 웹 콘솔에 접근할 때 Google Authenticator(2차 인증)를 사용하여 보안성을 높일 수 있음.
- 사용자가 원하는 방향으로 커스텀할 수 있는 기능이 세부적으로 구현되어 있어 편리함. (대시보드, 그룹관리 등)
- 대시보드에서 확인하고 싶은 부분을 클릭하면 바로 로그를 볼 수 있게 넘어가는 등 직관적으로 사용할 수 있는 UI를 갖추고 있음.
단점
- 모든 것이 영어로 쓰여있다...
- 한번 로그인하면 관리 서버의 모든 것을 확인할 수 있었다. 서로 다른 관리자에 따른 접근 제어가 안되는 것 같다.

뭐 .. 대충 내가 느낀점은 이렇다.

사실 백신을 이렇게 면밀히 살펴보고 리뷰해본적은 처음이라

어떠한 기능이 다른 백신에도 있는 기능인지, 차별화된 기능인지 객관적인 판단을 불가능하여서

기능적인 부분보다는 사용자가 실제로 느낄 수 있는 최소한의 장단점만 추려보았다.

오늘의 리뷰 끝-!

[AWS] AWS Network Firewall이란? - (2.1) 분산형 배포모델

mjoooo — Tue, 19 Jan 2021 11:22:52 +0900

지난번에는 AWS Network Firewall의 개념에 대해 알아보았다.

지난번 포스팅을 안보았다면 or 개념을 잘 모르겠다면 이해를 위해 보고오자!

https://minjoos.tistory.com/9

[AWS] AWS Network Firewall이란? - (1) 개념

minjoos.tistory.com

오늘은 AWS Network Firewall의 다양한 배포 모델 중 분산형 모델에 대해 알아볼 것이다.

Network Firewall의 배포 모델은 크게 세 가지로 나눌 수 있다.

1) 분산형

2) 중앙 집중형

3) 결합형

이 중에서 오늘은 1) 분산형!

1) 분산형

분산형 Network Firewall

전체적인 구조부터 차근차근 이해해보자.

맨 위에는 외부와 통하는 트래픽을 뜻하는 구름 모양 이모지가 있고..

그 아래에는 한 리전 안에 총 네 개의 VPC(A~D)가 존재한다.
(위 VPC는 Network Firewall에 의해 보호되고 있으므로 Protected VPC라고 부른다.)

각 VPC 안에는 Firewall Subnet과 Protected Subnet, 총 2개의 서브넷이 있다.

Firewall Subnet에는 Firewall endpoint가 존재한다. 그냥 Network Firewall이라고 이해하면 쉽다.

Protected Subnet에는 Workload가 존재한다. 이 workload는 우리가 보호하고 싶은 것이라고 생각하면 된다. (ex. 인스턴스)

그래서 분산형 모델이 뭔데?

위 그림처럼 각 VPC안에 Network Firewall이 따로 따로 존재하는 것이다.

이렇게 구성할 경우, 각 방화벽 마다 다른 정책을 가질 수 있어 워크로드에 따른 접근제어를 다르게 할 수 있다.

또한 방화벽을 독립적으로 관리할 수 있으므로 구성 오류의 가능성이 줄어들고, 서로 영향을 미치는 범위가 제한되는 것이 장점이다.

이 분산형 모델이 활용되는 유형은 크게 두가지로 나눌 수 있다.

첫째, 워크로드와 인터넷 게이트웨이와의 트래픽을 보호할 수 있다.

분산형 배포 모델

위 그림처럼 네트워크 방화벽은 맨 위의 인터넷 게이트웨이와 아래의 워크로드 사이에 위치하여
그 사이의 트래픽을 보호한다.

둘째, AWS 서비스와 인터넷 게이트웨이 간의 트래픽을 보호한다.

분산형 배포 모델

위 그림은 이전 그림에서 protected subnet 안의 구성이 바뀌었다.

protected subnet 안에 ALB(Application Load Balancer), NAT Gateway가 들어가 있고,
워크로드는 private subnet으로 들어갔다.

여기서 집중할 것은 네트워크 방화벽이 이번에는
AWS 서비스들(protected subnet안의 ALB, NAT Gateway 등)과 인터넷 게이트웨이 사이에 위치하여
그 사이의 트래픽을 보호한다는 것이다.

이렇게 워크로드를 보호하기 위해
워크로드 - 인터넷 게이트웨이 사이에 위치시키거나
워크로드와 통신하는 AWS 서비스 - 인터넷 게이트웨이 사이에 위치시키는 등

다양한 형태로 네트워크 방화벽을 구성할 수 있다.

이 밖에도 훨씬 다양한 구성으로 네트워크 방화벽을 구성할 수 있을 것이다.

형태야 어찌됐건,

분산형 배포 모델은 보호를 원하는 VPC 안에 직접 Firewall Subnet을 배치하는 것이라는 것!

다음 포스팅에서는 네트워크 방화벽의 두번째 배포 모델인,

2) 중앙 집중형 배포 모델에 대해 포스팅하겠다.

오늘은 여기까지!

[AWS] AWS Network Firewall이란? - (1) 개념

mjoooo — Mon, 18 Jan 2021 17:35:28 +0900

2020년 11월, AWS Network Firewall 서비스가 출시되었다.

아직 출시된지 얼마 되지 않은 서비스라, 사용할 수 있는 리전은 몇 되지 않지만 ~~(미국 동부(버지니아 북부), 미국 서부(오레곤) 및 유럽(아일랜드))~~
곧 한국 리전에서도 쓸 수 있는 날이 올거라 생각하며.. 간단히 정리해보려 한다.

AWS Network Firewall은 무엇이냐..

말그대로 네트워크를 보호하는 방화벽이다! (단순)

더 자세히 말하자면 AWS VPC 기반 관리형 방화벽 서비스이다.
(AWS Network Firewall에 대해 잘 이해하려면 먼저 기본 방화벽과 VPC에 대한 개념을 익히고 오길 추천한다.)

아직도 모르겠다고? 아래 그림을 먼저 보자.

AWS Network Firewall 구조도

위 그림은 Network Firewall의 구조를 아주 간단하게 표현한 구조도이다.

내가 사용자가 되었다고 할 때, 내가 보호하고 싶은 것은 customer subnet에 있는 인스턴스들이다.

따라서 VPC 안에, Network Firewall과 통하는 Firewall endpoint를 놓고
Internet Gateway를 통해 들어오고 나가는 트래픽을 필터링하여 인스턴스를 보호하는 것이다.

Internet Gateway와 인스턴스 사이의 모든 트래픽은 firewall endpoint를 거치게 되며,
사용자는 인스턴스로 들어오길 원하는/원치 않는 트래픽을 허용/차단 할 수 있게 된다.

Network Firewall의 패킷 필터링

트래픽을 허용/차단하는 규칙의 집합을 Rule engines라고 부를 수 있다.

Network Firewall은 이 Rule engines를 통해, 들어오고 나가는 패킷을 규칙에 따라 Pass하거나 Drop한다.

이제 트래픽 흐름을 살펴보며 좀 더 자세히 이해해보자.

AWS Network Firewall 및 워크로드에 대한 트래픽 흐름

아.. 그림이 복잡해졌다.

하지만 쫄지 말자.

우리는 번호가 붙어있는 동그라미만 살펴보며 따라가면 된다.

1) Workload에서 트래픽이 나간다.
2) Firewall endpoint에서 AWS Network Firewall로 트래픽이 전달되며, 트래픽에 대한 필터링이 수행된다.
3) Internet Gateway로 전달된다.
4) NAT (네트워크 주소 변환)
5) 외부
6) Workload로 들어가고자 하는 트래픽이 Firewall endpoint를 거친다.
7) Firewall endpoint에서 AWS Network Firewall로 트래픽이 전달되며, 트래픽에 대한 필터링이 수행된다.
8) 트래픽이 Workload로 들어온다.

여기서 눈여겨 봐야할 것은 workload에서 나가고, workload로 들어오는 트래픽이 Network Firewall을 거친다는 것이다.

즉, workload(내부)와 인터넷 게이트웨이(외부) 사이에 방화벽 엔드포인트를 위치시킴으로써,

VPC의 모든 트래픽이 방화벽을 통해 필터링된다.

오늘은 여기까지!

굉장히 간단한 그림으로 네트워크 방화벽과 트래픽 흐름에 대해 알아봤는데,,

실제 클라우드 환경에서 우리가 사용하게 될 배포 모델들은 조금 더 복잡하다.

하지만 이 개념이 근-본 of 근-본이 되는 개념이니 확실하게 알아두면 좋을 것 같다.

다음 포스팅에서는 이 네트워크 방화벽의 배포 모델(유형)에 대해 알아보겠다!!!

[Webhacking] Webhacking.kr 웹해킹 25번 풀이

mjoooo — Thu, 7 May 2020 17:23:46 +0900

약 1년 전에 보안 동아리 활동하면서 풀었던 웹해킹..

FTZ, pawnable, LOB 등등 당시에는 뭐라도 해보겠다고 많이 풀었었는데 시간이 지난만큼 기억이 가물가물하다 ^^..

취준을 앞두고 있는 요즘 내가 무엇을 했는지 기록하는게 얼마나 중요한지 깨닫고

예전에 풀었던 문제들을 하나씩 리뷰해보려고 한다. (제발)

오늘은 webhacking.kr 의 25번 문제

문제를 눌러서 나오는 첫 번째 화면이다.

여러가지 파일 및 디렉토리의 권한 및 정보가 나와있다.

여기서 유심히 봐야할 것은 url이다. file=hello 라고 되어있는데 이를 보아하니 1. GET 방식으로 파일명을 받아오는 것 같다. 회색 창에는 hello world 라고 쓰여있는데 이는 hello.php라는 2. 파일이 회색 창에 출력되는 것이라고 유추할 수 있다. 또한 정확한 파일명은 hello.php인데 url 주소창에는 hello만 적혀 있으므로,

file 파라미터로 받아온 값에는 3. 자동으로 .php 를 붙혀 실행한다고 유추할 수 있다.

그러니 일단 flag.php 파일을 열기 위해 url의 file 파라미터로 'flag'를 입력해본다.

FLAG is in the code 라는 텍스트가 출력되었다.

따라서 flag.php의 소스코드 안에 답이 있을 것 같은데..

이 문제에서는 이를 위해 'php://filter'라는 PHP Wrapper를 사용한다.

PHP는 입출력, 오류 파일 기술어 등에 엑세스 할 수 있는 다양한 I/O 스트림을 제공하는데 이것을 PHP Wrapper라고 한다. 이 문제에서 그 중 'php://filter'라는 wrapper를 사용할 것이다.

'php://filter'는 아래의 명령으로 사용할 수 있다.

php://filter/convert.base64-encode/resource='파일명'

이 코드의 결과는 '파일명'의 소스코드를 base64로 인코딩한 것을 출력한다.

따라서 우리는 url에 php://filter/convert.base64-encode/resource=flag 를 덧붙혀준 뒤,

base64로 인코딩된 flag.php 소스코드 (출력값) 을 디코딩하여 소스코드를 알아낼 수 있다!

회색창에 출력된 base64로 인코딩된 flag.php 소스코드를 복사하여 디코딩을 해준다.

(base64 디코딩은 https://www.base64decode.org/여기서 해주었다.)

Base64 Decode and Encode - Online

Decode from Base64 or Encode to Base64 with advanced formatting options. Enter our site for an easy-to-use online tool.

www.base64decode.org

디코딩된 값을 확인해보면 이 문제의 FLAG는 'FLAG{this_is_your_first_flag}'임을 알아낼 수 있었다.

성공!

그런데 1년 전에 풀었던 문제와 조금 달라졌다..

분명히 .txt 가 붙는 환경에서 password.php 를 열어보는 문제였는데 ㅠㅠㅠ

보아하니 전체적으로 문제가 update된 것 같다..

리뷰하면서 조금씩 바뀐 문제를 다시 풀어봐야할듯

[python] Selenium으로 웹 페이지 크롤링하기 3 / 페이지 제어(blank에 값 입력, 버튼 클릭)

mjoooo — Wed, 11 Mar 2020 18:51:50 +0900

지난 포스팅에서는 웹 페이지에서 원하는 평문(text)과 표(table)를 크롤링하는 방법을 알아보았다.

(아래 링크 참조)

2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 / 평문(text)

[python] Selenium으로 웹 페이지 크롤링하기 / 평문(text)

1. Selenium 이란? 이번 포스팅에서는 selenium이라는 프레임워크를 통해 웹 페이지를 크롤링하는 방법에 대해 간단히 살펴보겠다. Selenium이란 주로 웹앱을 테스트하는 웹 프레임워크이다. webdriver의 API를 통..

minjoos.tistory.com

2020/02/24 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 2 / 표(table)

[python] Selenium으로 웹 페이지 크롤링하기 2 / 표(table)

지난 포스팅에서는 웹 페이지에서 원하는 평문(text)를 크롤링하는 방법에서 알아보았다. (아래 링크 참조) 2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 [python] Selenium으로 웹 페..

minjoos.tistory.com

오늘은 더 나아가 페이지를 코드로 제어하고 원하는 정보를 크롤링하는 방법에 대해 알아보겠다.

정보를 크롤링할 페이지는 임의로 정하였다.

from selenium import webdriver
from selenium.webdriver.support.ui import Select
import datetime

driver = webdriver.Chrome('./chromedriver')
driver.implicitly_wait(1)
driver.get('https://www.aia.co.kr/ko/our-products/medical-protection/non-par-denteal-health-plan.html')
driver.implicitly_wait(1)

위 코드에 나와있는 url은 보험사 홈페이지이다.

보험사 홈페이지에는 아래와 같이 개인 정보를 입력하고 자신에게 맞는 보험료를 설계해주는 서비스가 있다.

우리는 이제 코드로 위의 빈칸들을 채워넣고 버튼을 클릭해서 나오는 '나에게 맞는 보험료' 정보를 크롤링할 것이다.

방법은 생각보다 매우 간단하다.

checkbox = driver.find_element_by_xpath('//*[@id="aia1701849055"]/div/div[1]/div[3]/label/span/span')
name = driver.find_element_by_xpath('//*[@id="aia452730991"]')
birthday = driver.find_element_by_xpath('//*[@id="aia1804180016"]')
sex = driver.find_element_by_xpath('//*[@id="aia1701849055"]/div/div[1]/div[5]/div/div[1]/div/div[2]/div[1]/div[1]')
phoneNumber = driver.find_element_by_xpath('//*[@id="aia1724353200"]')
email = driver.find_element_by_xpath('//*[@id="aia1236626147"]')
prefer = driver.find_element_by_xpath('//*[@id="aia1701849055"]/div/div[1]/div[7]/div/div[1]/div/div[2]/div[1]/div[1]')
button = driver.find_element_by_xpath('//*[@id="btn391303096"]')
button2 = driver.find_element_by_xpath('/html/body/div[12]/section/div/div/div/div/div/div/div[4]/div[1]/div[2]/div/a[2]')

driver.implicitly_wait(3)
checkbox.click()
driver.implicitly_wait(1)
name.send_keys('손민주')
driver.implicitly_wait(1)
birthday.send_keys('19990107')
driver.implicitly_wait(1)
sex.click()
driver.implicitly_wait(1)
phoneNumber.send_keys('01012345678')
driver.implicitly_wait(1)
email.send_keys('tina_98@naver.com')
driver.implicitly_wait(1)
prefer.click()
driver.implicitly_wait(1)
button.click()
driver.implicitly_wait(1)
button2.click()

find_element_by_xpath()를 이용하여 각 blank의 위치와 버튼의 위치를 변수에 저장해놓는다.

(find_element_by_xpath() 사용법은 이전 이전 글인

2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기 / 평문(text)

에 자세히 나와있다.)

변수 저장 후, click()과 send_keys() 등의 메소드를 통해 제어한다.

코드를 자세히 살펴보면

이름, 생일을 입력하고 성별에 맞는 버튼을 클릭한다.

그리고 휴대폰번호, 이메일을 입력하고 기타 정보에 맞는 버튼을 클릭한다.

그러면 이제 정보 크롤링을 위한 모든 밑바탕이 완성되었다.

위 코드를 실행시키면 아래와 같이 나에게 맞는 보험 정보가 뜬다.

나는 이 중 일부의 정보를 크롤링해보도록 하겠다.

table = driver.find_element_by_xpath('//*[@id="collapse-large-945472484"]/div[2]/table')
tbody = table.find_element_by_xpath('//*[@id="collapse-large-945472484"]/div[2]/table/tbody')
rows = tbody.find_elements_by_xpath('//*[@id="collapse-large-945472484"]/div[2]/table/tbody/tr')
for index, value in enumerate(rows):
    if(index!=0):
        body=value.find_elements_by_tag_name("td")[1]
        print(body.text)

방법은 이전 포스팅에서 다뤘던 표(table) 크롤링하기 방법과 같다.

위 코드까지 포함하여 같이 실행시켜주면,

위와 같이 원하는 정보가 크롤링되는 것을 확인할 수 있다.

사실 이번 포스팅은 이전에 다뤘던 방법이 많이 활용되었고,

추가된 것은 어떻게 코드를 통해 blank에 원하는 값을 채워넣고, 버튼을 클릭하는 등의 모션을 구현하는지이다.

이것으로 파이썬으로 Selenium을 통해 웹 페이지 크롤링하기 시리즈(?)를 끝내도록 하겠다!

[pytorch] VGGNet으로 ImageNet 학습하기

mjoooo — Wed, 4 Mar 2020 15:30:38 +0900

1. VGGNet이란?

CNN 알고리즘들 중에서는 이미지 분류(Image Classification)용 알고리즘, 예를 들어 AlexNet, GoogleNet 등이 있다.

그 이미지 분류 CNN 모델들 중에 하나가 바로 VGGNet이다.

VGGNet은 몇 개의 층(layer)으로 구성되어 있는지에 따라, 16개 층으로 구성되어 있으면 VGG16,

19개 층으로 구성되어 있으면 VGG19라고 불린다.

VGGNet은 옥스포드 대학의 연구팀 VGG에 의해 개발된 모델로써,

2014년 이미지넷 이미지 인식 대회에서 준우승을 한 모델이다.

2012년, 2013년 우승 모델들은 8개의 층으로 구성되어 있는 반면,

2014년 VGGNet(VGG19)는 19층으로 구성되었고, GoogleNet은 22층으로 구성되었다.

그리고 2015년에 이르러서는 152개의 층으로 구성된 ResNet이 제안되었다.

따라서 VGGNet 모델부터 시작해서 네트워크의 깊이가 확 깊어진 것을 확인할 수 있다.

네트워크의 깊이 변화에 따른 top-5 error의 변화

VGGNet은 사용하기 쉬운 구조와 좋은 성능 덕분에 그 대회에서 우승을 거둔 조금 더 복잡한 형태의 GoogleNet보다 더 인기를 끌었다.

VGGNet의 original 논문의 링크는 아래에 걸어두겠다.

: https://arxiv.org/pdf/1409.1556.pdf

불러오는 중입니다...

2. VGGNet의 구조

VGGNet 연구의 핵심은 "네트워크의 깊이"가 성능에 어떤 영향을 미치는지를 확인하고자 한 것이다.

따라서 VGG 연구팀은 깊이의 영향만을 확인하고자, 컨볼루션 필터 커널의 사이즈를 가장 작은 3x3으로 고정했다.

VGGNet 구조 설명 표 [출처: original 논문]

VGG 연구팀은 총 6개의 구조(A, A-LRN, B, C, D, E)를 만들어 성능을 비교했다.

이들 중, D구조가 VGG16이고 E구조가 VGG19라고 보면 된다.

이들은 깊이가 11층, 13층, 16층, 19층으로 깊어지면서 분류 에러가 감소하는 것을 관찰했다.

즉, 깊어질수록 성능이 좋아진다는 것이다.

다음은 VGG16의 구조를 그림으로 나타낸 것이다.

VGG16 구조

그림에서 확인할 수 있듯이, VGG는 합성곱 계층(검정색)과 풀링 계층(빨간색)으로 구성된다.

다만, 합성곱 계층(검정색)과 완전연결 계층(파란색)을 합쳐서 모두 16층(VGG19의 경우 19층)으로 심화한 것이 특징이다.

인풋으로는 224 x 224 x 3 이미지(224 x 224 RGB 이미지)를 입력받을 수 있다.

인풋 값이 16개의 층을 지난 후 softmax 함수로 활성화 된 출력값들은 1000개의 뉴런으로 구성된다.

이 말은 즉, 1000개의 클래스로 분류하는 목적으로 만들어진 네트워크라는 뜻이다.

3. VGGNet으로 ImageNet 학습하기

3-1. Data 준비하기

일단 학습할 ImageNet dataset을 다운로드 받아야 한다.

http://image-net.org/download <- 여기에서 2012년도 dataset을 다운로드 받는다.

data의 크기가 워낙 크기 때문에 다운로드 받는데 3~5일이 걸렸다..

ImageNet

image-net.org

ImageNet Dataset 파일

이 데이터를 사용할 수 있게 data를 load해줘야 한다.

import torch
import torchvision
import torchvision.transforms as transforms

import torch.nn as nn
import torch.nn.functional as F

import matplotlib.pyplot as plt
import numpy as np

import json
import os

transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
    transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)),
])

trainset = torchvision.datasets.ImageNet('../../data/imagenet', split='train', download=None, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)

testset = torchvision.datasets.ImageNet('../../data/imagenet', split='val', download=None, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=False)

이렇게 trainset과 testset을 나눠서 torchvision.datasets.ImageNet으로 data를 load해준다.

(pytorch에서 지원하고 있는 dataset의 종류마다 torchvision.datasets 사용법이 다르니,

pytorch 공식 사이트인 https://pytorch.org/docs/stable/torchvision/datasets.html#imagenet 를 참고한다.)

위 코드를 실행시키면 아래와 같이 데이터셋이 train 폴더와 val 폴더로 분리되어 생성된다.

각 폴더 안에는 이렇게 데이터셋의 각 class가 폴더로 구성되어 있고,

각 class 폴더 안에는 그 class의 image 파일들이 있다.

위 사진은 class index가 "tench"(물고기 종류 중 하나)인 이미지들이다.

이제 학습시킬 data 준비가 완료되었다.

3-2. VGG 모델 구현하기

나는 vgg19 모델을 사용하였다.

vgg19의 코드는 다음과 같다.

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv = nn.Sequential(
            #3 224 128
            nn.Conv2d(3, 64, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(64, 64, 3, padding=1),nn.LeakyReLU(0.2),
            nn.MaxPool2d(2, 2),
            #64 112 64
            nn.Conv2d(64, 128, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(128, 128, 3, padding=1),nn.LeakyReLU(0.2),
            nn.MaxPool2d(2, 2),
            #128 56 32
            nn.Conv2d(128, 256, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(256, 256, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(256, 256, 3, padding=1),nn.LeakyReLU(0.2),
            nn.MaxPool2d(2, 2),
            #256 28 16
            nn.Conv2d(256, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(512, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(512, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.MaxPool2d(2, 2),
            #512 14 8
            nn.Conv2d(512, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(512, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.Conv2d(512, 512, 3, padding=1),nn.LeakyReLU(0.2),
            nn.MaxPool2d(2, 2)
        )
        #512 7 4

        self.avg_pool = nn.AvgPool2d(7)
        #512 1 1
        self.classifier = nn.Linear(512, 1000)
        """
        self.fc1 = nn.Linear(512*2*2,4096)
        self.fc2 = nn.Linear(4096,4096)
        self.fc3 = nn.Linear(4096,10)
        """

    def forward(self, x):
        #print(x.size())
        features = self.conv(x)
        #print(features.size())
        x = self.avg_pool(features)
        #print(avg_pool.size())
        x = x.view(features.size(0), -1)
        #print(flatten.size())
        x = self.classifier(x)
        #x = self.softmax(x)
        return x, features

간단히 쓱 훑어보아도 layer가 19개로 구성되어 있다는 것을 확인할 수 있다.

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

net = Net()
net = net.to(device)
param = list(net.parameters())

그리고 위 코드의 첫번째 줄을 통해 device라는 변수명에 GPU 디바이스를 지정/저장해준다.

torch.cuda.is_available() 은 GPU를 사용할 수 있는지 반환하는 메소드이다.

그다음, net=Net() 을 통해 Net을 초기화해주고,

net.to(device) 구문을 통해 해당 네트워크를 GPU에서 돌아가는 네트워크로 지정한다.

import torch.optim as optim

criterion = nn.CrossEntropyLoss().cuda()
optimizer = optim.Adam(net.parameters(),lr=0.00001)

idx2label = []
cls2label = {}
with open("./imagenet_class_index.json", "r") as read_file:
    class_idx = json.load(read_file)
    idx2label = [class_idx[str(k)][1] for k in range(len(class_idx))]
    cls2label = {class_idx[str(k)][0]: class_idx[str(k)][1] for k in range(len(class_idx))}

그 후 criterion과 optimizer를 정의한다.

criterion은 일반적으로 loss라고 부르며, 이를 통해 학습을 위한 loss값을 계산하게 된다.

Adam optimzer는 현재 자주 사용되는 옵티마이저로,

학습 시 현재의 미분값 뿐만이 아니라, 이전 결과에 따른 관성 모멘트를 가지고 있는 것이 특징이다.

그다음, imagenet_class_index.json 파일을 다운로드 받아 열어준다.

ImageNet은 총 1000개의 class로 구성되어 있고 단순히 "cat" "dog" 가 아니라 "n01440764" 와 같은

직관적으로 파악하기 어려운 index로 구분되어 있기 때문에 이를 알기 쉬운 label로 변환하는 작업이다.

다음은 imagenet_class_index.json 파일의 구조이다.

이 파일은 구글링으로 쉽게 다운받을 수 있을 것이다.

imagenet_class_index.json

3-3. VGG 모델 실행하기

실행 코드는 다음과 같다.

for epoch in range(3):  # loop over the dataset multiple times
    running_loss = 0.0

    if(epoch>0):
        net = Net()
        net.load_state_dict(torch.load(save_path))
        net.to(device)

    for i, data in enumerate(trainloader, 0):
        # get the inputs
        inputs, labels = data
        inputs, labels = inputs.to(device), labels.to(device)
        # zero the parameter gradients
        optimizer.zero_grad()
        outputs,f = net(inputs)
        loss = criterion(outputs, labels)

        loss.backward()
        optimizer.step()

        if(loss.item() > 1000):
            print(loss.item())
            for param in net.parameters():
                print(param.data)
        # print statistics
        running_loss += loss.item()
        if i % 50 == 49:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 50))
            running_loss = 0.0
    save_path="/data/data1/minjoo/workspace/vgg/imagenet_vgg16_result.pth"
    torch.save(net.state_dict(), save_path)
        #print("\n")

print('Finished Training')

class_correct = list(0. for i in range(1000))
class_total = list(0. for i in range(1000))
with torch.no_grad():
    for data in testloader:
        images, labels = data
        images = images.cuda()
        labels = labels.cuda()
        outputs,_ = net(images)
        _, predicted = torch.max(outputs, 1)
        c = (predicted == labels).squeeze()
        for i in range(16):
            label = labels[i]
            class_correct[label] += c[i].item()
            class_total[label] += 1

accuracy_sum=0
for i in range(1000):
    temp = 100 * class_correct[i] / class_total[i]
    print('Accuracy of %5s : %2d %%' % (
        idx2label[i], temp))
    accuracy_sum+=temp
print('Accuracy average: ', accuracy_sum/1000)

나는 빠르게 실행시키기 위해 epoch을 일단 3으로 해줬는데 더 많이 실행시킬수록 loss가 줄어드니 좋을 것이다.

그리고 1 epoch이 실행될 때마다 net을 저장해주고 다음 epoch을 돌 때 그 net을 불러온다.

이는 중간에 실행을 끊더라도 다시 실행시킬 때 처음부터 training되는 것이 아닌, 끊은 시점부터 training되도록 하기 위함이다.

아래 사진은 2 epoch째 실행되고 있는 사진이다.

처음에는 loss가 6.9였는데 1정도 줄어든 것을 확인할 수 있다.

training이 완료되면 accuracy를 계산하여 각 class의 정확도를 print해주고,

추가로 1000개 class의 accuracy의 평균도 계산하여 마지막에 print해준다.

* 참고한 사이트

https://poddeeplearning.readthedocs.io/ko/latest/CNN/VGG19%20+%20GAP%20+%20CAM/

VGG Net 과 CAM 구현 - POD_Deep-Learning

 VGG Net 과 CAM 구현 Initial import torch import torchvision import torchvision.transforms as transforms torch libary init torch.cuda.is_available() torch.cuda.is_available 값이 True 면, 현재 GPU를 사용한 학습이 가능하다는 뜻, False면 불가능 import torch import torchvision import

poddeeplearning.readthedocs.io

https://tutorials.pytorch.kr/

파이토치(PyTorch) 튜토리얼에 오신 것을 환영합니다 — PyTorch Tutorials 1.4.0 documentation

Shortcuts

tutorials.pytorch.kr

[python] Selenium으로 웹 페이지 크롤링하기 2 / 표(table)

mjoooo — Mon, 24 Feb 2020 16:00:02 +0900

지난 포스팅에서는 웹 페이지에서 원하는 평문(text)를 크롤링하는 방법에서 알아보았다.

(아래 링크 참조)

2020/02/14 - [이모저모] - [python] Selenium으로 웹 페이지 크롤링하기

[python] Selenium으로 웹 페이지 크롤링하기

minjoos.tistory.com

오늘은 평문이 아닌 특정 형태를 가지고 있는 정보들 중에서,

표(table)에 담긴 정보를 크롤링하는 방법에 대해 알아보겠다.

(사실 별거 없고 코드만 살짝 바뀔 뿐이다)

from selenium import webdriver
import datetime
driver = webdriver.Chrome('./chromedriver')
driver.implicitly_wait(1)
driver.get('http://www.kma.go.kr/info_open/info/open.jsp')
driver.implicitly_wait(1)

일단 import 해줄 것들을 해주고, 크롤링할 웹 사이트를 정해 url을 넣어준다.

나는 기상청 사이트 중 테이블이 있는 페이지로 정했다. (아래 사진 참조)

http://www.kma.go.kr/info_open/info/open.jsp

이제 위 사진에 보이는 table에 담긴 정보를 크롤링 할 것이다.

먼저 개발자도구(F12)를 열어 테이블 위치의 코드를 살펴본다.

테이블의 이름은 "table_information" 인 것을 확인할 수 있다.

table = driver.find_element_by_class_name('table_information')

따라서 find_element_by_class_name 메소드를 이용해 위 테이블을 table 변수에 담아준다.

이제 table이 어떻게 구성되어 있는지 살펴보자.

'table_information' 테이블 구성

테이블은 위와 같이 <table>안에 <tbody>, <tbdoy>안에 <tr>, <tr>안에 <td> 순으로 포함되어 있다.

각각이 무엇을 나타내는지 알아보고 싶다면,

개발자 도구 상단 왼쪽의 클릭 버튼을 활성화해주어(위 사진의 파란색 버튼) 마우스의 커서가 가리키는 부분의 코드를 바로 알 수 있게끔 해준다.

그렇게 하면 원하는 위치에 마우스를 갖다 대면 그 부분의 코드를 바로 찾을 수 있고, 반대로 특정 코드에 마우스를 갖다 대면 웹 페이지에 파란색으로 그 코드가 가리키는 부분이 표시된다.

결과적으로 각 <tbody>는 테이블 내용이 있는 body부분을 나타내는 것이고

<tr>...<tr> 부분은 그 테이블을 구성하는 각 열을 말한다.

<tr>안에 있는 <th> <td> 등은 그 열을 구성하는 각 행을 말한다.

따라서,

내가 위 테이블의 [주요업무] [목록] [세부내용] [공개주기] [공개시기] [경로] [담당부서] 중

[목록] 만을 크롤링 하고 싶다 하면 아래와 같이 코드를 짜면 된다.

tbody = table.find_element_by_tag_name("tbody")
rows = tbody.find_elements_by_tag_name("tr")
for index, value in enumerate(rows):
    body=value.find_elements_by_tag_name("td")[0]
    print(body.text)

여기서 잠깐, 목록은 2번째 행인데 왜 body=value.find_elements_by_tag_name("td")[0]이냐?

[1] 이어야 하는것 아닌가? 라고 생각할 수 있지만

개발자도구 코드를 잘 살펴보면 첫번째 행인 [주요업무]는 <td>가 아니라 <th>임을 알 수 있다.

우리는 find_elements_by_tag_name을 이용해 <td>인 것들 중, 첫번째인 [목록]을 출력해야 하므로

[0]이 되어야 하는 것이다.

위 코드를 실행시켜 보면

아래와 같이 출력이 된다.

이를 활용해서 하나의 열에 있는 정보를 프린트 하고 싶다 하면, 코드를 아래와 같이 살짝만 바꾸어 주면 된다.

table = driver.find_element_by_class_name('table_information')
tbody = table.find_element_by_tag_name("tbody")
rows = tbody.find_elements_by_tag_name("tr")[0]
body= rows.find_elements_by_tag_name("td")
for index, value in enumerate(body):
    print(value.text)

<tr>중 첫번째([0]) 열을 rows로 받아서 <td> 들의 text를 출력하는 코드이다.

위 코드를 실행시켜 보면

아래와 같이 잘 출력된다.

즉, 표(table)를 크롤링하기 위해 무엇보다 중요한 것은

개발자 도구로 테이블의 구조(예를 들어 <tbody>안에 <tr>이 있고, <tr>안에 ... )를 파악하는 것이며,

구조에 따라 코드를 조금씩만 바꿔주면 원하는 정보를 크롤링할 수 있다.

다음 포스팅에서는

blank에 값 입력, 버튼 클릭 등 웹 페이지를 코드로 제어한 후

나오는 정보를 크롤링하는 방법에 대해 알아보도록 하겠다.

[python] Selenium으로 웹 페이지 크롤링하기 1 / 평문(text)

mjoooo — Fri, 14 Feb 2020 16:01:41 +0900

1. Selenium 이란?

이번 포스팅에서는 selenium이라는 프레임워크를 통해 웹 페이지를 크롤링하는 방법에 대해 간단히 살펴보겠다.

Selenium이란 주로 웹앱을 테스트하는 웹 프레임워크이다.

webdriver의 API를 통해 브라우저를 제어하기 때문에 자바스크립트에 의해 동적으로 생성되는 사이트의

데이터를 크롤링할 때 매우 유용하게 사용되는 스크래핑 도구이다.

2. Selenium 사용법

selenium은 크롬이나 파이어폭스같은 각 브라우저의 webdriver API를 통해 브라우저를 제어한다.

따라서 자신이 쓰고자 하는 브라우저의 driver를 다운받아서 프로그래밍 언어를 통해 제어하는 것이 일반적이다.

나는 크롬을 주로 사용하기 때문에 chromedriver를 먼저 다운받도록 하겠다.

https://chromedriver.chromium.org/downloads

Downloads - ChromeDriver - WebDriver for Chrome

WebDriver for Chrome

chromedriver.chromium.org

여기서 chromedrvier를 다운받을 수 있는데 여기서 주의해야 할 점은,

자신의 pc에 있는 크롬 브라우저의 버전에 맞는 driver를 다운로드 받아야 한다는 것이다.

https://chromedriver.chromium.org/downloads

이렇게 여러가지 버전이 있으니 자신의 크롬 브라우저 버전을 확인 후, 버전에 맞는 driver를 다운받는다.

(크롬 버전은 메뉴> 도움말> Chrome 정보 에서 확인이 가능하다.)

(혹시 최신 버전이 아니라면 이 기회에 최신 버전으로 업데이트 해보자!)

chrome 버전 확인

그렇게 해서 다운로드 받은 알집 파일의 압축을 풀면 chromedriver.exe 파일이 나온다.

이 파일을 내가 작업할 디렉토리에 넣는다.

그리고 selenium을 설치해야 하는데, 늘 그렇듯 터미널에서 pip 명령어로 다운받아 준다.

나는 예전에 설치를 해놓았기 때문에 already satisfied라고 떴다.

그럼 이제 코딩을 시작하면 된다!

3. 파이썬을 통한 크롤링 방법 (feat. Selenium)

from selenium import webdriver
import datetime
driver = webdriver.Chrome('./chromedriver')
driver.implicitly_wait(1)
driver.get('https://minjoos.tistory.com/')

기본 세팅은 여기까지이다.

먼저 import 해줘야 할 것들을 Import 해주고,

마지막 줄에 본인이 크롤링 하고 싶은 웹 페이지의 url을 넣어준다.

(implicity_wait()은 브라우저에서 사용되는 엔진 자체에서 파싱되는 시간을 기다려 주는 메소드라고 할 수 있다.

시간이 오래 걸리는 작업일수록 적절히 중간중간에 Implicity_wait()를 넣어주는게 좋다.)

여기까지 하고 실행을 시키면 'Chrome이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다'라는 문구와 함께

url로 넣어주었던 웹 페이지가 실행된다.

이제 개발자 도구를 통해 자신이 얻고 싶은 정보의 위치가 어디인지 파악한 다음, 코드에 넣는 작업을 해보겠다.

F12를 눌러 개발자 도구를 실행시키면, 페이지를 구성하고 있는 코드가 보인다.

그 중에서 맨 왼쪽 상단 버튼을 클릭하면 자신이 커서를 놓는 위치의 코드로 바로 이동할 수 있다.

'민주의네모들'에 마우스 커서를 올리니 개발자도구 창에서 해당 위치의 코드로 바로 이동했다

위 사진의 개발자도구 창을 보면 '민주의네모들'에 해당하는 위치의 class 이름이 "tit_post"임을 확인할 수 있다.

title = driver.find_element_by_class_name('tit_post')
print(title.text)

따라서 find_element_by_class_name() 메소드를 통해 title에 해당 정보를 넣어주고,

title.text로 프린트를 해준다.

그리고 파일을 실행시켜주면,

제목이 잘 출력되는 것을 확인할 수 있다.

class이름 이외에도, XPath를 이용해 크롤링을 할 수 있다.

해당 위치의 코드에 마우스 오른쪽 버튼을 클릭해서 Copy>Copy XPath한 후,

코드에 다음과 같이 붙여넣는다.

title = driver.find_element_by_xpath('//*[@id="dkHead"]/div[2]/div/a')
print(title.text)

이 때, 메소드는 find_element_by_xpath 이다.

그리고 파일을 실행시켜주면,

똑같이 잘 프린트 되는 것을 확인할 수 있다.

이를 활용해서 다른 요소도 프린트 해보겠다.

해당 XPath를 복사해서 코드에 넣어준 후, 파일을 실행시키면,

다음과 같이 잘 실행된다.

다음 시간에는 이렇게 하나의 text를 프린트하는 것 보다는

조금 더 심화된 내용인 table 크롤링 하기에 대해 포스팅하겠다.