o ü±hh#ã @s<ddlZddlZddlZddlZddlZddlZddlmZmZm Z ddl m Z m Z ddl Z ddl mZddlmZe dd¡ ¡Zejedd e d ¡Zd Zed Zd ZddiZe d¡ZdedBdefdd„Zdedefdd„Zdedededefdd„Z dedededededef dd„Z!d ed!edefd"d#„Z"dEd'e j#d(ede j$fd)d*„Z%d'e j#deefd+d,„Z&d'e j#d-ede eeeeffd.d/„Z'de(fd0d1„Z)d2e(d3e(d4e(d5e*de e+eff d6d7„Z,deeeffd8d9„Z-d:edeeeffd;d<„Z.d:efd=d>„Z/dFdAe*d4e(d5e*defdBdC„Z0e1dDkre2e0ƒƒdSdS)GéN)ÚListÚDictÚTuple)ÚdatetimeÚtimezone)Ú BeautifulSoup)Ú get_clientÚ LOG_LEVELÚINFOz[%(levelname)s] %(message)s)ÚlevelÚformatÚmoef_org_pipelinezhttps://www.moef.go.krz;/mi/orgnzt/org.do?bbsId=MOSFBBS_000000000097&menuNo=9040100za[href*="orgId="]z User-Agentz*GovBot/1.0 (+https://work.jjickjjicks.com)z\d{2,4}-\d{3,4}-\d{4}ÚsÚreturncCsd |pd dd¡ ¡¡S)Nú Úõ )ÚjoinÚreplaceÚsplit©r©rú2/var/www/html/bot/app/crawler/moef_org_pipeline.pyÚ_cleansrcCst|ƒS)N)rrrrrÚ_normsrÚnameÚpositionÚ departmentcCs2t|ƒ›dt|ƒ›dt|ƒ›}t | ¡¡ ¡S©Nú|©rÚhashlibÚsha256ÚencodeÚ hexdigest)rrrÚbaserrrÚ _key_hashs r&ÚtaskÚphonec CsFt|ƒ›dt|ƒ›dt|ƒ›dt|ƒ›dt|ƒ› }t | ¡¡ ¡Srr )rrrr'r(r%rrrÚ _row_hashs4r)Úname_rawÚ position_rawc Cst|ƒ}t|ƒ}|r |s|S|}t d|¡d ¡}dd„||hDƒ}|D]S}|d|fD]}| |¡rBt|dt|ƒ …ƒ d¡}q-t dt |¡›dd |¡ d¡}t d t |¡›d d |¡ d¡}| |¡rxt|dt|ƒ …ƒ d¡}q%t|ƒ}|r|S|S) Nu [ \t(\[/·\-]rcSsg|]}|r|‘qSrr)Ú.0ÚcrrrÚ #sz,strip_position_from_name..ru -·/–—z\s*\(\s*z \s*\)\s*$rz\s*z\s*\([^)]+\)\s*$) rÚrerÚstripÚendswithÚlenÚrstripÚsubÚescape) r*r+ÚnÚpÚoriginalr%Ú candidatesÚcandÚsufrrrÚstrip_position_from_names &€""&€ r<ééçffffffæ?ÚsessÚurlc CsŒd}t|ƒD]=}z|j|t|d}| ¡|WStyC}z|}|d|} t d|d|| |¡t | ¡WYd}~qd}~ww|‚)N)ÚheadersÚtimeoutézGET retry %d/%d in %.1fs: %sé) ÚrangeÚgetÚHEADERSÚraise_for_statusÚ ExceptionÚloggerÚwarningÚtimeÚsleep) r@rArCÚtriesÚbackoffÚlastÚiÚrÚerNrrrÚ _retry_get-s ",€þrUcCs°t|tƒ}t|jdƒ}tƒg}}| t¡D]?}| dd¡pd ¡}|r(d|vr)q|  d¡r0|n|  d¡r9t |nt d|}||vrDq|  |¡|  || dd¡dœ¡q|S) Nú html.parserÚhrefrzorgId=Úhttpú/Útitle)ÚlinkrZ) rUÚLIST_URLrÚtextÚsetÚselectÚ SEL_LINKSrGr0Ú startswithÚBASEÚaddÚappend)r@rSÚsoupÚseenÚoutÚarWr[rrrÚfetch_org_links7s   ,  rir[c Cs*t||ƒ}|j}t|dƒ}g}| d¡D]{}| d¡rq| d¡}t|ƒdkr(qt|djddƒ}t|d jddƒ} t|d jddƒ} t|d jddƒ} t|d jddƒ} |d   d ¡} | rr|   d¡rr| d  dd¡  ¡} t | | ƒ}| }|s„|s„|s„| s„| s„q| |||| | dœ¡q|||fS)NrVztable trÚthÚtdérT)r0rErDr>éza[href^="tel:"]rWztel:r)rrrr(r')rUr]rr_ÚfindÚfind_allr2rÚget_textÚ select_oneÚhas_attrrr0r<rd)r@r[rSÚhtmlreÚrowsÚtrÚtdsrr*r+r(ÚresponsibilityÚtel_arrrrrÚparse_org_detailDs&   "  rycCs:z| d¡jddd ¡}|jpdWStyYdSw)NÚ moef_org_curÚkey_hashÚexact)Úcountr)Útabler_Úexecuter}rJ)ÚsbÚresrrrÚ _count_curYs   ÿr‚Ú stg_countÚ cur_countÚmin_absÚ min_ratiocCs\||krdd|›d|›fS|dkr,|t||ƒkr,dd|›dt||ƒ›d|›dfSdS) NFztoo_few_rows: z < rz ratio_drop: z (cur=ú))TÚok)Úint)rƒr„r…r†rrrÚ _validate`s$rŠcCs.| d¡ d¡ d¡ ¡jpg}dd„|DƒS)NrzÚ*éPÃcSói|]}|d|“qS©r{r©r,rSrrrÚ hóz%_load_current_map..)r~r_ÚlimitrÚdata)r€rtrrrÚ_load_current_mapfs r”Úrun_idcCs6| d¡ d¡ d|¡ d¡ ¡jpg}dd„|DƒS)NÚ moef_org_stgr‹r•rŒcSrrŽrrrrrrlr‘z!_load_stg_map..)r~r_Úeqr’rr“)r€r•rtrrrÚ _load_stg_mapjs(r˜c Cst|ƒ}t||ƒ}gg}}t tj¡ ¡}| ¡D] }||vr%| |¡q|  ¡D]0\}}||vs<||d|dkrZ| ||d|d|d|  d¡|  d¡|d|dddœ ¡q*|rr|  d ¡  |d d œ¡  d |¡ d d¡ ¡|r€|  d ¡ |¡ ¡dSdS)NÚrow_hashrrrr'r(T) r{rrrr'r(r™Ú valid_fromÚvalid_toÚ is_currentÚ moef_org_histF)r›rœr{rœ)r”r˜rÚnowrÚutcÚ isoformatÚkeysrdÚitemsrGr~ÚupdateÚin_r—rÚinsert) r€r•Úcur_mapÚstg_mapÚto_closeÚto_addÚnow_isoÚkÚvrrrÚ _apply_scd2ns(   € ý€*ÿr­çš™™™™™É?é Ú sleep_secc Cs.tƒ}tt ¡ƒ}| d¡ |dddœ¡ ¡d}d}z=t ¡˜}t |t ƒ}| d¡  |ddt |j dœ¡ ¡t |ƒ} t| d ƒD]p\} } t|| d ƒ\} } }| d¡  |d | | |dœ¡ ¡| r¢g}| D]2}t|d |d |dƒ}t|d |d |d| dd¡| dd¡ƒ}| d|i|¥||dœ¥¡qe| d¡  |¡ ¡|t| ƒ7}|d 7}t |¡qAWdƒn1s¼wY| d¡ ||dd|›dœ¡ ¡t|ƒ}t||||d\}}|s| d¡ dt tj¡ ¡|||dœ¡ d|¡ ¡| d¡ d|dœ¡ d|¡ ¡t  !d|¡|d|dœWSt"||ƒ| d¡ d d!i¡ d|¡ ¡| d¡ d!t tj¡ ¡||d"œ¡ d|¡ ¡t  #d#|||¡|d!||d$œWSt$y–}z0| d¡ d%t tj¡ ¡||t|ƒdœ¡ d|¡ ¡t  %d&|¡|d%t|ƒd'œWYd}~Sd}~ww)(NÚ crawler_runÚmoef_orgÚrunning)ÚidÚtargetÚstatusrÚ moef_org_rawÚlist)r•ÚkindÚpagerArsrEr[Údetailrrrr'rr(r•)r{r™r–Úmoef_org_snapshotÚ collectedzpages=)r•rtr¶Únote)r…r†Úfailed)r¶Ú finished_atÚpagesrtÚ fail_reasonr´)r¶r¾z [moef_org] validation failed: %s)r•r¶Úreasonr¶Úpassed)r¶rÀrÁrtz3[moef_org] run passed: run_id=%s, rows=%d, pages=%d)r•r¶rtrÁÚabortedz[moef_org] run aborted: %s)r•r¶Úerror)&rÚstrÚuuidÚuuid4r~r¥rÚrequestsÚSessionrUr\Úupsertr]riÚ enumerateryr&r)rGrdr2rMrNr‚rŠr£rržrrŸr r—rKrÆr­ÚinforJÚ exception)r°r…r†r€r•rÁr½r@Úlist_rÚlinksrRÚitemrtrArsÚpayloadrSr«Úhr„rˆrÃrTrrrÚrun_onces^     ÿ  ÿ, ôø$4"   28 €ýrÕÚ__main__)r=r>r?)r®r¯r?)3Úosr/rMrÈr!ÚloggingÚtypingrrrrrrÊÚbs4rÚapp.services.supabase_servicerÚgetenvÚupperr Ú basicConfigÚ getLoggerrKrbr\r`rHÚcompileÚPHONE_RErÇrrr&r)r<rËÚResponserUriryr‰r‚ÚfloatÚboolrŠr”r˜r­rÕÚ__name__ÚprintrrrrÚs>0    " & & 1ÿ