이커머스 데이터 분석 실무 - 3회차

import requests

api_url = '<https://api-gateway.coupang.com/v2/providers/affiliate_open_api/apis/openapi/v1/products>'
params = {
    'keyword': '식품',
    'limit': 10
}
headers = {
    'Authorization': 'YOUR_API_KEY'
}

response = requests.get(api_url, headers=headers, params=params)
data = response.json()

for product in data['data']:
    print(product['productName'], product['price'])

Product Name 1, 10000 Product Name 2, 20000 Product Name 3, 15000 Product Name 4, 5000 Product Name 5, 25000 Product Name 6, 12000 Product Name 7, 30000 Product Name 8, 4500 Product Name 9, 7000 Product Name 10, 18000

웹 크롤링(Web Crawling)

정의: 웹사이트의 데이터를 크롤링이라는 자동화된 방법으로 수집하는 방법입니다.
도구 및 라이브러리: BeautifulSoup, Requests, Scrapy, Selenium 등을 사용합니다.

과정: 웹 페이지의 HTML 구조 및 태그를 파악하여 필요한 데이터를 추출하는 방식을 사용합니다.

import requests
from bs4 import BeautifulSoup
url = '[<https://www.coupang.com/np/search?component=&q=>](<https://www.coupang.com/np/search?component=&q=%EB%85%B8%ED%8A%B8%EB%B6%81>)라면'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
products = soup.find_all('div', class_='name')
for product in products:
print(product.get_text())

데이터베이스 쿼리(Database Query) - 트랜잭션 데이터

정의: 내부 데이터베이스에서 직접 SQL 쿼리를 통해 데이터 수집하는 방식입니다.
필요 조건: 데이터베이스 접근 권한, SQL 쿼리 작성 능력.

로그 데이터 (Log)

정의: 웹 서버, 애플리케이션 서버에서 발생하는 로그 파일을 분석하여 데이터를 수집하는 방식입니다.
활용 예시: 페이지 뷰, 클릭, 구매 등의 활동

import re
from collections import defaultdict

# 로그 파일의 경로
log_file_path = 'path/to/your/logfile.log'

# 로그 항목을 저장할 딕셔너리
log_data = defaultdict(lambda: {'page_view': 0, 'click': 0, 'purchase': 0})

# 로그 파일에서 로그 항목을 분석하는 정규 표현식
log_pattern = re.compile(
    r'(?P<ip>\S+) \S+ \S+ \[(?P<datetime>[^\]]+)\] "(?P<method>\S+) (?P<url>\S+) \S+" \d+ \d+ "(?P<referrer>[^"]+)" "(?P<user_agent>[^"]+)"'
)

# 로그 파일을 읽고 분석
with open(log_file_path, 'r') as file:
    for line in file:
        match = log_pattern.match(line)
        if match:
            log_entry = match.groupdict()
            url = log_entry['url']
            
            # URL을 기반으로 페이지 뷰, 클릭, 구매 활동을 집계
            if 'page_view' in url:
                log_data[url]['page_view'] += 1
            elif 'click' in url:
                log_data[url]['click'] += 1
            elif 'purchase' in url:
                log_data[url]['purchase'] += 1

# 결과 출력
for url, counts in log_data.items():
    print(f"URL: {url}")
    print(f"  Page Views: {counts['page_view']}")
    print(f"  Clicks: {counts['click']}")
    print(f"  Purchases: {counts['purchase']}")
    print()

그외의 데이터

소셜 미디어 데이터: 고객의 리뷰, 댓글, 좋아요 등을 분석하여 고객의 선호도와 피드백을 수집합니다.
고객 설문조사: 설문조사를 통해 직접적으로 고객의 의견을 수집합니다.

데이터 수집 도구

Google Analytics:

Untitled

웹사이트 방문자 수, 페이지 뷰, 전환율 등의 데이터를 수집합니다.

Amplitude:

Untitled

모바일/웹 사용자들을 분석하는 분석 도구입니다.

Mix panel:

Untitled

서비스에서 사용자가 어떻게 행동하는지 분석해주는, 사용자 행동기반의 제품 데이터 분석 툴입니다.

로그 데이터의 이해와 활용

로그 데이터란?

정의: 로그 데이터는 웹사이트나 애플리케이션에서 사용자의 행동을 기록한 데이터입니다. 예를 들어, 페이지 방문, 클릭, 검색 등의 활동이 포함됩니다.
구성 요소: 로그 데이터는 주로 타임스탬프, 사용자 ID, 이벤트 유형, 페이지 URL 등의 정보를 포함합니다.

로그 데이터 활용 방안

고객 행동 분석: 고객이 어떤 경로를 통해 구매에 이르는지 분석합니다.
마케팅 캠페인 효율성 측정: 특정 캠페인이 얼마나 많은 트래픽과 전환을 유도했는지 평가합니다.
웹사이트 성능 최적화: 페이지 로딩 시간, 오류 발생 등을 모니터링하여 웹사이트 성능을 개선합니다.

로그 데이터 예시

JSON 형태

[
    {
        "user_id": "user123",
        "timestamp": "2024-07-24T12:34:56",
        "action": "visit",
        "page": "homepage"
    },
    {
        "user_id": "user456",
        "timestamp": "2024-07-24T12:35:00",
        "action": "click",
        "page": "product_page",
        "product_id": "prod789"
    },
    {
        "user_id": "user123",
        "timestamp": "2024-07-24T12:36:10",
        "action": "search",
        "query": "laptop"
    }
]

TABLE 형태

| --- | --- | --- | --- | --- | --- |