10월 2019 ~ 정보보안(Information Security) 기록 저장소

2019. 10. 30.

[python] 크롤링 데이터를 mysql에 삽입

이전 포스트(https://coashanee5.blogspot.com/2019/10/blog-post_29.html)는 공공기관의 채용공고 사이트의 검색결과를 수집하여 기업명과, 공고URL을 출력하였다. 이번 포스트에서는 수집한 내용을 데이터베이스에 넣어 보도록 하겠다. 1. 우선 mysql을 설치를 한 후, 데이터를 넣기 위한 데이터베이스를 만든다. create DataBase scraping; 2. 이번에는 데이터를 저장할 테이블을 생성한다. create Table job_offer (id BIGINT(7)...

2019. 10. 29.

[python] 공공기관 채용정보시스템의 채용공고 출력하는 파이썬코드

오전 8:06 python

공공기관 채용정보시스템에서 원하는 공고를 검색하여 크롤링하는 소스이다. # 공공기관 채용정보에서 정보통신 공고만 추려서 리스팅하는 소스 import requests from bs4 import BeautifulSoup from urllib.request import urlopen import re import ssl import datetime context = ssl._create_unverified_context() # url을 변수에 삽입하여 저장한다. url = "https://job.alio.go.kr/recruit.do?pageNo=1&param=&search_yn=Y"...

구글 블로거 꾸미기 -5 google blog 에서 소스코드 하이라이트 (highlight)

오전 6:37 google blog

블로그 성격상 소스코드를 작성할 일이 많은데, 소스코드를 멋지게 작성하는 방법을 소개한다. 1. Highlight.js 코드 구문 강조를 위한 자바스크립트 라이브러리이다. 자동으로 언어를 감지하여 알맞는 표식을 삽입한다. http://highlightjs.org/ 사이트에서 다운로드가 가능하다. 홈페이지에 보면 hosted와 custom package 두 가지 방법이 있다고 나와 있는데, google blog는 hosted 방식을 사용하면 된다. 아래 소스를 html 소스 중 <head></head> 안에 삽입하면 사용할 준비는 끝이다. <link rel="stylesheet" href="//cdn.jsdelivr.net/highlight.js/8.7/styles/monokai_sublime.min.css"...

2019. 10. 27.

구글 블로거 꾸미기 -4 글머리 기호(리스트) 기능 활성화

오전 6:44 google blog

구글 블로그에서 글을 작성할때 아래와 같이 '글머리 기호' 기능이 필요할 때가 있다. AAA BBB CCC 이런 기능을 말함 그러나 어처구니 없게도 글을 작성할때는 되는가 싶다가도 게시하면 글머리가 사라진다. 1. '글머리 기호(리스트)' 기능 활성화 - 테마 -> HTML편집 -> 검색 -> 아래와 같이 수정 - 수정 전 .widget ul {list-style: none;margin : 1.5em 0 0;} - 수정 후 .widget ul { list-style:...

구글 블로거 꾸미기 -3 피드 구독하기 기능 삭제

오전 6:01 google blog

처음 블로거를 시작하면 하단에 "피드 구독하기: 게시물(Atom) 이라는 정체를 알수 없는 기능이 보여진다. 페이지를 볼때는 "피드 구독하기: 댓글(Atom) 도 있다. 사실상 거의 필요없는 기능이라 생각되어 기능을 제거하기로 했다. 1. "피드 구독하기:게시물(Atom)" 이 표시되지 않도록 설정 - 테마 -> 템플릿 -> 맞춤설정 -> 고급 -> CSS추가 -> 아래 코드 삽입 .blog-feeds{display:none;} 2. "피드 구독하기:댓글(Atom)"이 표시되지 않도록 설정 - 테마...

구글 블로거 꾸미기 -2 우클릭, 드래그 방지

오전 5:43 google blog

자신의 블로그에서 우클릭, 드래그가 안되게 하고 싶어하는 경우가 있을 것이다. 1. 우클릭 방지 - 관리페이지 > 테마 > HTML 편집 - Ctrl + F 로 </body> 를 찾은 후 바로 위에 아래 코드를 삽입한다. <script language=javascript> <!-- var message=""; function clickIE() { if (document.all) { (message);return false;} } function clickNS(e) { if (document.layers||(document.getElementById&&!document.all))...

2019. 10. 26.

구글 블로거 꾸미기 -1 스킨, 나눔고딕 폰트 적용

오후 10:39 google blog

약 4년동안 나름 비주류인 구글 블로그를 하면서 많은 시행착오를 겪었었다. 지금도 고난(?)은 진행중이지만 나와 같은 시행착오를 겪고 있는 사람들에게 도움이 되었으면 하는 바램에 간단하게 나마 글을 작성한다. 1. 이미 만들어진 스킨을 이용하자. 구글 블로거는 HTML과 CSS 등을 기본적으로 요구하기 때문에 진입장벽이 타 블로그 보다는 높은 편이다. 그럼에도 불구하고 여러 스킨들을 제공하기 때문에 이를 적용하여 조금씩 수정해가면 나름 만족할 수준의 블로그를 만들 수 있을 것이다. http://newbloggerthemes.com/ http://btemplates.com/ 구글...

2019. 10. 18.

[python] selenium 설치 및 실행

오후 9:38 python , selenium

1. conda install selenium 2. 크롬 버전 확인 후 드라이버 설치(https://sites.google.com/a/chromium.org/chromedriver/downloads) 3. 주피터에서 다음과 같이 실행 ...

[python] 아나콘다(anaconda) 에서 jupyter notebook 실행시 에러 발생

오후 9:34 anaconda , python

문제. - 아나콘다 에서 jupyter notebook 을 실행 할때 해당 경로에 가서 명령어(C:\Users\dojang>C:\Users\dojang\Anaconda3\python.exe -m notebook --notebook-dir C:\project) 를 입력만 하면 되었다. (회사 환경에서는) - 그런데 집에서는 "ImportError: DLL load failed: 지정된 모듈을 찾을 수 없습니다." 라는 오류가 발생한다. 해법. - 문제의 원인은 찾지 못했지만 해결책은 찾았다. conda 환경을 갖추고 거기서 주피터를 실행한다 - cd C:\Users\ABC\Anaconda3\Scripts -> activate.bat -> jupyter.exe notebo...

2019. 10. 15.

[python] requests 로 로그인 후 크롤링

오전 1:54

requests 로 로그인 하고 BeautifulSoup으로 데이터 가져오기 import requests from bs4 import BeautifulSoup login_url = 'http://www.hanbit.co.kr/member/login_proc.php' user = '' password = '' # requests.session 메서드는 해당 reqeusts를 사용하는 동안 cookie를 header에 유지하도록 하여 # 세션이 필요한 HTTP 요청에 사용됩니다. session = requests.session() params = dict() params['m_id'] = user params['m_passwd'] = password # javascrit(jQuery) 코드를 분석해보니,...

2019. 10. 14.

[python] 파이썬 정규표현식 split 활용

오후 11:37 python

크롤링 할때 값에서 결과를 추출할때 정규표현식을 많이 쓴다. 사용예제는 다음과 같다. (생략) a_tag = bsObj.select["a.onclick"] for tag in a_tags: content = tag.attrs['href'] if 'http://' in content: a = re.split("[']", tag.attrs['href'] print(a[3...

[python] 네이버 open api 를 통한 크롤링 수집

오후 6:23 python

소스코드 ㅇㅇㅇ import urllib.request import json client_key = '키 값' client_secret = '시크릿 값' # 한글등 non-ASCII text를 URL에 넣을 수 있도록 "%" followed by hexadecimal digits 로 변경 # URL은 ASCII 인코딩셋만 지원하기 때문임 encText = urllib.parse.quote_plus("스마트폰") # print(encText) naver_url = 'https://openapi.naver.com/v1/search/news.json?query=' + encText # urllib.request.Request()는 HTTP Header 변경시에 사용함 # 네이버에서도...

2019. 10. 11.

[python] 네이버 검색 정보 크롤링해서 DB에 넣기

오후 6:40 python

import requests from bs4 import BeautifulSoup from urllib.request import HTTPError import pymysql import datetime headers = {'User=Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'} def blog_crawling(keywords): start_time = datetime.datetime.now() conn = pymysql.connect(host=xxxxxx', user='xxxx', password='xxxxx',...

[python] pythonista 에서 모듈 설치, stash

오전 2:52 python

모바일에서 파이썬 코딩하는 최고의 도구 pythonista 를 잘 사용하고 있다. pythonista 에서 모듈을 설치하고 싶을 때 다음과 같은 방법을 통해 모듈을 설치 할 수 있다. 1. stash 를 설치한다. https://github.com/ywangd/stash 에 installation 을 복사하여 pythonista에 추가 즉 import requests as r; exec(r.get('https://bit.ly/get-stash').text) 를 복사하여 pythonista에서 실행 실행 결과 ios에는 lunch_stash.py 가 실행되는데 이를 실행하면 프롬프트가 실행된다. pip install 모듈명 으로 원하는 모듈 설치 참고 htt...

2019. 10. 8.

[MySQL] 외부에서 mysql에 접속하자

오전 5:50 mysql

aws lambda 를 공부하다보면 외부에서 mysql에 접속해야 할 일이 있다. 그러기 위해 필요한 준비가 바로 '외부에서 나의 MySQL 서버로 접속하기' 이다. 그러면 이제 우리는 외부 접속용 계정을 만들고, 그 계정에 데이터베이스 접근 권한을 부여하고 서비스 재시작을 하면된다. 1. mysql 설정파일 수정(리눅스의 경우 /etc/my.cnf, 윈도우의 경우 my.ini) 필자는 windows 에 mysql을 설치했으므로 C:\ProgramData\MySQL\MySQL Server 8.0 폴더에서 my.ini를 수정한다. bind-address=0.0.0.0 설정이 되어 있다면 주석처리하고, 그렇지 않다면 건너뛴다. 2. 원격에서 mysql에...

피드 구독하기: 글 ( Atom )

정보보안(Information Security) 기록 저장소