Coding Life

안녕하세요 코딩연습생입니다

몇달간 운영하였던 자동 주식 분석 요약 프로그램을 종료 합니다

딥러닝을 공부하면서 RNN을 통해 분석을 하였고 그 결과를 매일 블로그에 포스팅하는 프로그램을 운영하였습니다

대략 6개월간 운영해본결과 예측 결과가 너무 낮고

변수에 대한 반응이 개선하기 어렵다 판단하여 프로그램 운영을 중지하고자 합니다~

운영 기간 동안 많은 분들이 재미로 봐주시고 뎃글도 달아주셔서 유지 기간 동안 꽤 재미 있었던거 같아요~

향후에 다른 프로젝트를 통해 또 다시 장기 포스팅을 할 계획이니 많은 관심 부탁드립니다

감사합니다~

안녕하세요

코딩연습생입니다~

이번 포스팅은 파이썬 언어를 통해 티스토리 API를 사용하여 자동 업로드를 구현해 볼려고 합니다

구현에 앞서 몇가지 준비사항들이 필요한데

1. Token 키를 알아야 합니다(이번 포스팅 내용)

2. 글을 올리려고 하시는 카테고리 ID를 알아야 합니다

3. 파일 첨부시 이미지 파일만 가능합니다

그러면 시작해 보도록 할께요

1. token 키를 확인하기

https://www.tistory.com/guide/api/manage/register

위의 사이트에 접속합니다

빨간색으로 표기된 부분을 모두 작성합니다

서비스명 : 블로그명을 입력합니다

서비스URL : 블로그 전체 주소를 입력합니다

서비스형태 : 웹서비스

서비스권한 : 읽기.쓰기

CallBack :  서비스 URL와 동일하게 입력합니다

그 다음 등록을 눌러주세요

등록이 완료가 되면 앱 관리 메뉴로 들어가서 상세 내용을 확인 합니다

앱 관리 -> 등록된 서비스명의 설정을 클릭

설정 메뉴에서 다음 값을 확인 할 수 있습니다

1. App ID, Secret Key

AppID와 Secret Key를 알았다면 익스플로러를 실행해서 다음 주소를 입력 합니다

https://www.tistory.com/oauth/authorize?client_id={AppID}&redirect_uri={서비스URL}&response_type=code&state=someValue

AppID와 서비스URL은 설정화면에 있는 정보를 넣어주시면 됩니다

위의 URL을 접속하시면 아래와 같은 화면이 나오게됩니다

이런 창이 드시면 허가하기를 눌러줍니다

새로운 창이 뜨면서 위의 url 주소 중 아래 빨간색 영역으로 표기된 부분을 잘 복사해 줍니다

code 값을 얻으셨다면 이제 마지막 단계만 하시면 Access Token을 얻으실수 있습니다

https://www.tistory.com/oauth/access_token?client_id={AppID}&client_secret={SecretKey}&redirect_uri={서비스URL}&code=코드&grant_type=authorization_code

해당 주소를 익스플로러에 입력해주시고 디버깅 모드를 여시면 아래와 같이 Access_token을 얻으실수 있습니다

다음번 포스팅에서는 이번에 얻은 Access_token을 사용하여 파이썬으로 카테고리 ID를 확인하는 방법을 포스팅

하도록 하겠습니다

안녕하세요

코딩연습생입니다~ㅎ

이번 포스팅은 제목에서 언급한것 처럼 Python에서 pymssql을 사용한 mssql DB 데이터를 Select하는 방법을

포스팅해 보도록 하겠습니다

첫번째는 파이썬을 설치 해야 합니다

https://www.python.org/downloads/

해당 싸이트에 접속한 뒤에 아래 버튼을 통해 다운로드 받습니다

구버전을 다운로드 하시고자 한다면 화면을 좀 더 아래로 내리면 버전별 다운로드가 가능합니다

여기서 버전을 선택하여 Download를 눌러주시면 됩니다

다운 받은 설치 파일 실행하여 설치 합니다

Install Now를 클릭하여 설치

정상 적으로 설치가 되셨으면 시작버튼을 누루면 다음과 같은 목록이 나옵니다

다음 정상적인 설치가 되었는지 확인을 위해서 PowerSheel을 관리자 권한으로 실행 합니다

파워쉘에서 다음 명령어를 실행합니다

(명령어 뒤에 V는 꼭 대문자로 해주셔야 합니다)

python -V

이렇게 명령어를 치게 되면 현재 설치된 python의 버전 정보가 나타나야 합니다

위와 같이 표기가 되어야 정상 구동이 되는 것입니다

그 다음 pymssql을 설치하기 위해 pip 명령어를 사용합니다

pip install pymssql

위의 명령어를 치시면 설치가 진행 됩니다

저는 이미 설치 해논 상태라 설치가 되어 있다고 나오네요

설치를 완료 하셨다면 정상적으로 설치가 되었는지 확인해야겠지요?

python
import pymssql

위의 명령어를 순서로 사용해 줍니다

이렇게 pymssql에 패키를 불러와 다음 명령어를 대기하는 상태가 되어야 합니다

다음 파이썬 py 파일을 하나생성합니다

그리고 제일 상단에 pymssql 패키지를 불어와야 합니다

import pymssql

간단하죠?

그다음 함수를 만들어서 MSSQL에 접속을 시도 할겁니다

conn = pymssql.connect(server='localhost', database='SAC_VISION')

로컬의 SAC_VISION이라는 DB에 접속하겠다는 구문 입니다

여기서 혹 로컬이 아닌 네트워크 서버에 붙으신다면 server 뒤에 localhost가 아닌 IP 주소를 입력하시고

user='ID', password='패스워트'를 넣어주시면 됩니다

다음 커서를 생성하고

cursor = conn.cursor()

쿼리를 돌릴 execute를 생성합니다

        cursor.execute("SELECT CONVERT(INT, MODEL_NO), CONVERT(INT, VARIABLE_1), VARIABLE_2, "
                      +"       CONVERT(INT, AREA_X)+CONVERT(INT, POINT_X), CONVERT(INT, AREA_Y)+CONVERT(INT, POINT_Y), "
                      +"       CONVERT(INT, AREA_X)+CONVERT(INT, AREA_WIDTH)+CONVERT(INT, POINT_X),"
                      +"       CONVERT(INT, AREA_Y)+CONVERT(INT, AREA_HEIGHT)+CONVERT(INT, POINT_Y)"
                      +"  FROM [VISION_MODEL]"
                      +" WHERE REPLACE(VISION_NO,' ', '') = '" + str(k_vision_no) + "'"
                      +"   AND REPLACE(MODEL_METHOD,' ', '') = 'CLASSIFICATION'")

쿼리 내용은 따라 하지 않으셔도 됩니다~ 

※ 본인이 조회 할려는 Query를 사용하세요

row = cursor.fetchone()

그리고 한개씩의 값을 row라는 변수에 담아 줍니다

while row:
            list_roi.append(row)
            row = cursor.fetchone()
        conn.close()

이렇게 해서 실행하시게 되면 해당 쿼리의 결과값을 받으실수 있는데요

제가 만든 전체 함수를 올려드리 활용하여 알맞게 수정하여 사용하시기 바랍니다

def Read_CSV_ALL_Section(self, _cam_info = 1, _path = None):
        list_roi = []
        k_vision_no = _cam_info

        conn = pymssql.connect(server='localhost', database='SAC_VISION')
        cursor = conn.cursor()
        cursor.execute("SELECT CONVERT(INT, MODEL_NO), CONVERT(INT, VARIABLE_1), VARIABLE_2, "
                      +"       CONVERT(INT, AREA_X)+CONVERT(INT, POINT_X), CONVERT(INT, AREA_Y)+CONVERT(INT, POINT_Y), "
                      +"       CONVERT(INT, AREA_X)+CONVERT(INT, AREA_WIDTH)+CONVERT(INT, POINT_X),"
                      +"       CONVERT(INT, AREA_Y)+CONVERT(INT, AREA_HEIGHT)+CONVERT(INT, POINT_Y)"
                      +"  FROM [VISION_MODEL]"
                      +" WHERE REPLACE(VISION_NO,' ', '') = '" + str(k_vision_no) + "'"
                      +"   AND REPLACE(MODEL_METHOD,' ', '') = 'CLASSIFICATION'")

        row = cursor.fetchone()
        
        while row:
            list_roi.append(row)
            row = cursor.fetchone()
        conn.close()
        
        return list_roi

저는 저에게 맞는 방법으로 구현하것이라 소스코드를 그래도 사용하시면 오류가 나실겁니다~

꼭 수정하셔서 사용하세요~

안녕하세요 코딩연습생입니다

앞전 포스팅에서 딥너링과 텐서플로우에 대한 좋을 글을 소개해 드렸습니다

이어서 텐서플로 설치와 주피터 노트북 사용 방법에 대한 포스팅을 다시 소개해 드리께요

[출처]

https://github.com/golbin/TensorFlow-Tutorials/tree/master/02%20-%20Preparation

2장 텐서플로 설치와 주피터 노트북

이 책은 파이썬 또는 기타 프로그래밍 언어를 어느 정도 아는 분을 대상으로 썼습니다. 따라서 설치 방법을 자세하게 설명하기보다는 어떠한 설치 방법들이 있는지, 그리고 이 책의 예제를 실행하는 데 필요한 라이브러리 설치를 중심으로 설명하겠습니다.

2.1 파이썬 및 필수 라이브러리 설치하기

이 책의 예제는 파이썬 3.6 버전과 텐서플로 1.2 버전을 기준으로 썼습니다. 따라서 파이썬 3.6을 설치해야 합니다(윈도우에서는 반드시 파이썬 3.5 이상, 64비트용을 사용해야 합니다).

맥, 리눅스, 윈도우 사용자 모두 다음 주소에서 파이썬을 내려받아 설치할 수 있습니다.

• https://www.python.org/downloads/

파이썬을 잘 설치했다면 텐서플로 설치는 매우 쉽습니다. 다음처럼 맥과 리눅스의 터미널 또는 윈도우의 명령 프롬프트에서 pip3 명령어를 사용하면 됩니다.

C:\> pip3 install --upgrade tensorflow

만약 엔비디아 GPU를 사용하고 있다면, 엔비디아 사이트에서 CUDA 툴킷을 설치한 뒤 다음의 명령어로 쉽게 GPU 가속을 지원하는 텐서플로를 설치할 수 있습니다(CUDA 툴킷 문서 http://docs.nvidia.com/cuda 참조).

C:\> pip3 install --upgrade tensorflow-gpu

그런 다음 이 책에서 사용하는 라이브러리들을 설치합니다.

C:\> pip3 install numpy matplotlib pillow

• numpy - 수치 계산 라이브러리
• matplotlib - 그래프 출력 라이브러리
• pillow - 이미지 처리 라이브러리

이 외에 홈브루Homebrew, 아나콘다Anaconda 또는 소스를 직접 빌드해서 설치하는 다양한 방법이 있습니다. 설치가 잘 안 되거나 더 다양한 방법들을 알고 싶다면 다음의 텐서플로의 공식 홈페이지에서 확인하세요.

• https://www.tensorflow.org/install

2.2 텐서플로 예제 내려받고 실행해보기

이 책의 모든 예제는 깃허브 저장소 https://github.com/golbin/TensorFlow-Tutorials 에 올려뒀습니다. 다음의 git 명령어로 소스코드 전체를 내려받거나, 압축 파일을 내려받아 적당한 위치에 풀어둡니다.

C:\> git clone https://github.com/golbin/TensorFlow-Tutorials.git

그림 2-1 깃허브에서 예제 소스 압축 파일 내려받기

그런 다음 터미널이나 명령 프롬프트에서 TensorFlow-Tutorials / 03 - TensorFlow Basic 위치로 이동한 뒤 다음 명령어를 실행해 파이썬과 텐서플로가 잘 설치되었는지 확인해봅니다.C:\TensorFlow-Tutorials\03 - TensorFlow Basic> python3 "01 - Basic.py" Tensor("Const:0", shape=(), dtype=string) Tensor("Add:0", shape=(), dtype=int32) b'Hello, TensorFlow!' [10, 32, 42]

윈도우에서는 탐색기를 이용해 원하는 폴더로 이동한 뒤 Shift + 마우스 오른쪽 버튼을 누르면, ‘여기서 PowerShell 창 열기’라는 메뉴를 통해 쉽게 해당 폴더를 명령 프롬프트로 열 수 있습니다(구버전 윈도우에서는 ‘여기서 명령 창 열기’). 또한, 터미널이나 명령 프롬프트에서 파일명의 일부를 입력한 뒤 TAB 키를 누르면 파일 이름이 자동완성되니 참고해주세요.

NOTE: 텐서플로 실행 시 다음과 같은 경고 메시지가 나올 수 있지만 텐서플로 실행에는 문제없으니 무시하셔도 됩니다.

2017-06-30 19:15:49.653301: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations. 2017-06-30 19:15:49.653322: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.

이 메시지가 보기 싫다면 터미널에서 다음 명령어를 실행해 경고 메시지를 없앨 수 있습니다.

export TF_CPP_MIN_LOG_LEVEL=2 // 리눅스, 맥 set TF_CPP_MIN_LOG_LEVEL=2 // 윈도우

2.3 주피터 노트북

주피터 노트북Jupyter Notebook은 웹브라우저상에서 파이썬 코드를 단계적으로 쉽게 실행하고, 시각적으로 빠르게 확인해볼 수 있도록 해주는 프로그램입니다(다른 프로그래밍 언어도 지원합니다).

주피터 노트북의 설치와 사용법은 매우 간단합니다. 먼저 설치는 일반적인 파이썬 패키지와 같이 pip3를 이용하면 됩니다.

C:\> pip3 install jupyter

그런 다음 프로젝트를 진행할 폴더의 터미널 또는 명령 프롬프트에서 다음 명령을 실행합니다.

C:\> jupyter notebook

그러면 웹브라우저가 열리면서 주피터 노트북이 실행될 것입니다.

그림 2-2 주피터 노트북을 TensorFlow-Tutorials 저장소의 폴더에서 실행한 모습

주피터 노트북을 실행한 다음 오른쪽의 [New] -> [Python 3] 메뉴를 눌러 새 프로젝트를 만들 수 있습니다.

새 프로젝트가 생성된 뒤, 파이썬 코드들을 넣고 Shift + Enter를 치면 다음처럼 코드 조각들의 실행 결과를 쉽게 확인할 수 있습니다.

그림 2-3 주피터 노트북 사용 예

이처럼 주피터 노트북은 파이썬 코드를 반복해서 실행하고 중간중간 결과를 확인하기에 매우 좋은 프로그램입니다. 하지만 이 책은 기본적으로 명령 프롬프트에서 실행하는 것을 가정하므로 주피터 노트북에서는 실행되지 않는 경우도 있을 것입니다(그래프를 그리거나 실행이 오래 걸리는 경우 등). 이런 경우가 생기면 당황하지 말고 구글링을 하시면 쉽게 해결책을 찾을 수 있을 것입니다. 구글은 모든 엔지니어의 친구니까요.

안녕하세요

코딩연습생 입니다ㅠ 개발 블로그를 운영하면서 이것저것 많이 정보를 올리고 있는데

해보고자 하는 연습물이 잘 안풀려서 요즘 1일 1포스팅이 잘 안 이루어지고 있습니다ㅠ

대충 포스팅 글 올리기에 집중하기 보단 좀 더 정확한 정보를 업로드 하고자 늦어지는것입니다

이번 포스팅은 Deep Learning을 구현해 볼려고 하는데요

Deep Learning란?

- 기계 학습 알고리즘의 집합(?)

   이런식으로 표현을 하는거 같습니다 딥러닝이라는것은 컴퓨터 비전, 머신런닝, 음성인식, 신호처리등

   모든 분야에서 기계 학습을 통한 훈련 기법 이다 라고 저는 생각합니다

딥러닝 기법을 사용하고자 할때 제일 많이 듣는 말이 텐서플로우(Tensorflow)인데요

그럼 텐서플로우는 또 뭐냐?

텐서플로우란?

 - 구글이 2011년에 개발을 시작하여 2015년에 오픈소스로 공개한 기계학습 라이브러리

    2016년 알파고와 함께 관심이 높아진 컨퍼런스임

    Python 언어로 되어 있는 텐서플로우는 다른 프로그래밍 언어들 연계하여 

    다양한 분야에 적용할 수 있음

뭐 인터넷에 이정도 포스팅 되어 있네요ㅎ

참 어렵습니다ㅎ

근데 이것을 왜 제가 하고 있는냐 단순합니다 기존 OpenCv를 통해 이미지 처리법을 공부하고

그 처리된 이미지를 통해 판독 시스템을 만들어볼 예정이거든요

근데 단순 판독이 아니라 시스템 자체 학습을 통해 신규 사물을 재정의하고 학습하면서

시스템에 보이는 이미지를 어떤 이미지라고 인식하는 프로그램을 만들려고 하다보니

이 영역까지 오게 되었습니다ㅎㅎ

그래서 어쨋든 핵심인 딥러닝을 구현하기 위해서는 텐서플로우가 필요하고 그 텐서플로우를 알려면

Python을 알아야한다는게 결론입니다

이래서 사설이 엄청 길어졌는데 이번 포스팅에서 윈도우에서 Python과 텐서플로우를 셋팅하는 방법을

포스팅 해볼려고 합니다

일단 윈도우에서 Python을 사용하기 위해 Anaconda라는 프로그램을 설치 할것입니다

1.Anaconda3 설치하기

  - 링크 주소를 통해 사이트에서 다운로드 받기

https://www.anaconda.com/distribution/

- 링크를 접속하신뒤에 Download 버튼 눌러 줍니다

- 적용하실려는 PC의 OS타입 그리고 OS비트에 맞는 링크를 눌러 다운로드를 실행합니다

- 다운 받은 실행 파일을 실행하여 설치를 진행해 주세요

- 경로 지정이 나올때까지 다음(Next) 버튼을 눌러주세요

- 경로 지정 부분이 나타나면 Default로 설치하셔도 되긴 합니다만

  기본 경로에 있는 ProgramData 폴더는 숨김 폴더라 삭제할때 조금 귀찮아 질 수 있어서

  저는 D:\에 Anaconda3라는 폴더로 지정하여 설치 하였습니다

- 이렇게 설치가 완료 되어지면 시작 메뉴에서 다음 메뉴를 "관리자 권한으로 실행해 주세요"

- 그러면 콘솔창이 하나 뜹니다 거기에 다음과 같으 명령어를 쳐주세요

conda upgrade pip

- 그 다음 pip 패키지 업데이트를 실행 합니다

pip install upgrade

※다음과 같은 오류가 날수가 있는데 저의 경우 패스 했습니다

- 다음은 텐서플로우 설치를 위한 가상환경을 만들어 줍니다

conda create -n 임의이름지정 python=3.6

- Proceed([y]/n)?이라고 물어보면 y를 눌러주고 엔터를 칩니다

- 생성된 가상환경을 활성화 시켜 줍니다

activate 지정된 임의 가상환경 이름

- 이렇게 하면 다음과 같이 (base)가 가상환경 이름으로 변경이 됩니다

- 그다음 텐서플로우를 설치 합니다

pip install tensorflow

- 설치가 모두 끝나고 나면 python을 실행 시켜줍니다

python

- 파이썬이 제대로 실행되는지 명령어를 칩니다

import tensorflow as tf
hello = tf.constant("hello, TensorFlow!")
sess = tf.Session()
print(sess.run(hello))

- 그런데 다음과 같은 오류가 뜨실수 있습니다

  (DLL load failed: 지정된 모듈을 찾을 수 없습니다)

- AVX(Advanced Vector Extensions)를 지원하지 않는 CPU를 사용할 경우 다음과 같은 오류가 납니다

- 이경우 텐서플로우를 다운그래이드 해줘야 합니다

pip install tensorflow==1.5

- 이렇게 다운그래이드를 실행한 다음에 다시 파이썬을 실행한뒤 명령어를 실행합니다

- 이렇게 출력이 되면 정상적으로 텐서플로우를 파이썬에서 호출해서 사용된것입니다