10 Commits
6 changed files with 108 additions and 75 deletions
+2 -2
View File
@@ -24,8 +24,8 @@ android {
applicationId = "com.hotdeal.alarm"
minSdk = 31
targetSdk = 35
versionCode = 30
versionName = "0.3.0"
versionCode = 31
versionName = "0.3.1"
testInstrumentationRunner = "androidx.test.runner.AndroidJUnitRunner"
vectorDrawables {
@@ -121,4 +121,10 @@ interface HotDealDao {
*/
@Query("UPDATE hot_deals SET isFavorite = :isFavorite WHERE id = :id")
suspend fun setFavorite(id: String, isFavorite: Boolean)
/**
* 인기글 상태 업데이트 (기존 데이터도 HOT 마킹 가능하도록)
*/
@Query("UPDATE hot_deals SET isPopular = 1 WHERE id IN (:ids)")
suspend fun markAsPopular(ids: List<String>)
}
@@ -13,6 +13,8 @@ import kotlin.random.Random
/**
* 뽐뿌 스크래퍼
* - hotlist_flag=999 페이지에서 인기글 ID를 수집하여 HOT 뱃지 표시
* - 기존 hotpop_bg_color CSS 클래스도 폴백으로 감지
*/
class PpomppuScraper(client: OkHttpClient) : BaseScraper(client) {
@@ -25,18 +27,18 @@ class PpomppuScraper(client: OkHttpClient) : BaseScraper(client) {
override suspend fun scrape(board: String): Result<List<HotDeal>> = withContext(Dispatchers.IO) {
try {
// 1단계: 인기글(hotlist) 페이지에서 인기 게시물 ID 목록 수집
val hotPostIds = fetchHotPostIds(board)
Log.d("Ppomppu", "인기글 ID ${hotPostIds.size}개 수집됨: $hotPostIds")
// 2단계: 일반 게시판 페이지 스크래핑
val url = getBoardUrl(board)
Log.d("Ppomppu", "스크래핑 시작: $url")
// 요청 간격 랜덤화 (2~4초) - 차단 방지
val delayTime = Random.nextLong(2000, 4000)
Log.d("Ppomppu", "요청 대기: ${delayTime}ms")
delay(delayTime)
// Jsoup으로 직접 연결 (User-Agent 회전)
val userAgent = getRandomUserAgent()
Log.d("Ppomppu", "User-Agent: $userAgent")
val doc: Document = Jsoup.connect(url)
.userAgent(userAgent)
.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
@@ -47,70 +49,91 @@ class PpomppuScraper(client: OkHttpClient) : BaseScraper(client) {
.followRedirects(true)
.get()
Log.d("Ppomppu", "문서 파싱 성공, 길이: ${doc.html().length}")
val deals = mutableListOf<HotDeal>()
val rowElements: Elements = doc.select("tr.baseList")
Log.d("Ppomppu", "찾은 행 요소: ${rowElements.size}")
// 셀렉터로 요소 찾기 - 인기 게시물 감지를 위해 tr 요소 선택
val rowElements: Elements = doc.select("tr.baseList")
Log.d("Ppomppu", "찾은 행 요소: ${rowElements.size}")
var count = 0
rowElements.forEach { row ->
if (count >= 20) return@forEach
// 최대 20개까지만 처리
var count = 0
rowElements.forEach { row ->
if (count >= 20) return@forEach
try {
val titleElement = row.selectFirst("a.baseList-title") ?: return@forEach
val title = titleElement.text().trim()
if (title.isEmpty()) return@forEach
try {
// 인기 게시물 여부 확인 (hotpop_bg_color 클래스 존재 여부)
val isPopular = row.hasClass("hotpop_bg_color")
val href = titleElement.attr("href")
if (href.contains("regulation") || href.contains("notice")) return@forEach
// 제목 링크 찾기
val titleElement = row.selectFirst("a.baseList-title")
if (titleElement == null) return@forEach
val postId = extractPostId(href)
if (postId.isEmpty()) {
Log.w("Ppomppu", "postId 추출 실패: href=$href")
return@forEach
}
val title = titleElement.text().trim()
if (title.isEmpty()) return@forEach
// 인기글 판단: hotlist 페이지에 포함되어 있거나 CSS 클래스로 감지
val isPopular = postId in hotPostIds || row.hasClass("hotpop_bg_color")
val href = titleElement.attr("href")
val deal = HotDeal(
id = HotDeal.generateId(siteName, postId),
siteName = siteName,
boardName = board,
title = title,
url = resolveUrl(baseUrl, href),
createdAt = System.currentTimeMillis(),
isPopular = isPopular
)
deals.add(deal)
count++
val popularMark = if (isPopular) " [인기]" else ""
Log.d("Ppomppu", "[$count]$popularMark $title")
} catch (e: Exception) {
Log.e("Ppomppu", "파싱 에러: ${e.message}")
}
}
// 공지사항 제외
if (href.contains("regulation") || href.contains("notice")) return@forEach
val dealUrl = resolveUrl(baseUrl, href)
// postId 추출
val postId = extractPostId(href)
if (postId.isEmpty()) {
Log.w("Ppomppu", "postId 추출 실패: href=$href")
return@forEach
}
val deal = HotDeal(
id = HotDeal.generateId(siteName, postId),
siteName = siteName,
boardName = board,
title = title,
url = dealUrl,
createdAt = System.currentTimeMillis(),
isPopular = isPopular
)
deals.add(deal)
count++
val popularMark = if (isPopular) " [인기]" else ""
Log.d("Ppomppu", "[$count]$popularMark $title")
} catch (e: Exception) {
Log.e("Ppomppu", "파싱 에러: ${e.message}")
}
}
Log.d("Ppomppu", "파싱 완료: ${deals.size}")
Log.d("Ppomppu", "파싱 완료: ${deals.size}개 (인기: ${deals.count { it.isPopular }}개)")
Result.success(deals)
} catch (e: Exception) {
Log.e("Ppomppu", "스크래핑 실패: ${e.message}", e)
Result.failure(e)
}
}
/**
* hotlist_flag=999 페이지에서 인기 게시물의 postId 목록을 수집
*/
private suspend fun fetchHotPostIds(board: String): Set<String> {
return try {
val hotUrl = "${baseUrl}zboard.php?id=$board&hotlist_flag=999"
Log.d("Ppomppu", "인기글 페이지 조회: $hotUrl")
delay(Random.nextLong(1000, 2000))
val doc = Jsoup.connect(hotUrl)
.userAgent(getRandomUserAgent())
.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
.header("Accept-Language", "ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7")
.header("Referer", "https://www.ppomppu.co.kr/")
.timeout(15000)
.followRedirects(true)
.get()
val ids = mutableSetOf<String>()
doc.select("tr.baseList a.baseList-title").forEach { link ->
val href = link.attr("href")
val postId = extractPostId(href)
if (postId.isNotEmpty()) {
ids.add(postId)
}
}
ids
} catch (e: Exception) {
Log.w("Ppomppu", "인기글 목록 조회 실패 (폴백으로 계속): ${e.message}")
emptySet()
}
}
private fun extractPostId(href: String): String {
val afterNo = href.substringAfter("no=", "")
if (afterNo.isEmpty()) return ""
@@ -407,20 +407,17 @@ fun DealListScreen(
}
// Pull to Refresh 인디케이터
val progress = pullToRefreshState.progress
val showIndicator = pullToRefreshState.isRefreshing || progress > 0
val topPadding = paddingValues.calculateTopPadding()
if (showIndicator) {
PullToRefreshContainer(
state = pullToRefreshState,
modifier = Modifier
.align(Alignment.TopCenter)
.padding(top = 50.dp)
.zIndex(999f),
containerColor = MaterialTheme.colorScheme.surfaceVariant,
contentColor = MaterialTheme.colorScheme.primary
)
}
PullToRefreshContainer(
state = pullToRefreshState,
modifier = Modifier
.align(Alignment.TopCenter)
.padding(top = topPadding)
.zIndex(999f),
containerColor = MaterialTheme.colorScheme.surfaceVariant,
contentColor = MaterialTheme.colorScheme.primary
)
LaunchedEffect(pullToRefreshState.isRefreshing) {
if (pullToRefreshState.isRefreshing) {
@@ -116,11 +116,18 @@ class HotDealPollingWorker @AssistedInject constructor(
// 8. 알림 발송 상태 업데이트
dealDao.markAsNotified(newDeals.map { it.id })
// 9. 오래된 데이터 정리 (3일 이상 - 배터리/데이터 절약)
// 9. 인기글 상태 업데이트 (신규+기존 딜 모두 HOT 마킹)
val popularDealIds = allDeals.filter { it.isPopular }.map { it.id }
if (popularDealIds.isNotEmpty()) {
dealDao.markAsPopular(popularDealIds)
Log.d(TAG, "인기글 마킹: ${popularDealIds.size}")
}
// 10. 오래된 데이터 정리 (3일 이상 - 배터리/데이터 절약)
val threshold = System.currentTimeMillis() - (3 * 24 * 60 * 60 * 1000L)
dealDao.deleteOldDeals(threshold)
Log.d(TAG, "===== 핫딜 폴 완료 =====")
Log.d(TAG, "===== 핫딜 폴 완료 =====")
Result.success()
} catch (e: Exception) {
Log.e(TAG, " 오류: ${e.message}", e)
+3 -3
View File
@@ -1,7 +1,7 @@
{
"version": "0.3.0",
"versionCode": 30,
"updateUrl": "https://git.webpluss.net/sanjeok77/hotdeal_alarm/releases/download/v0.3.0/app-release.apk",
"version": "0.3.1",
"versionCode": 31,
"updateUrl": "https://git.webpluss.net/sanjeok77/hotdeal_alarm/releases/download/v0.3.1/app-release.apk",
"changelog": [
"사이트 및 키워드 순서 조절을 터치 드래그 앤 드롭(Drag & Drop) 방식으로 전면 업그레이드",
"앱 내 업데이트 시 다운로드 완료 후 설치 화면으로 안 넘어가는 버그 수정",