Voyager : Walking This Planet

데이터 스크래핑은 웹 사이트에서 데이터를 추출하는 기술로, 웹 사이트의 HTML 소스 코드를 분석하여 원하는 정보를 추출하는 것입니다. 스크래핑을 사용하면, 데이터를 쉽게 수집하고 분석할 수 있으므로, 많은 기업과 개인이 이를 사용하여 다양한 목적으로 데이터를 수집하고 있습니다.

데이터 스크래핑 방법은 크게 두 가지가 있습니다. 첫째는 웹 사이트에서 데이터를 추출하는 프로그램을 개발하는 것이고, 둘째는 제공되는 도구나 서비스를 사용하여 데이터를 추출하는 것입니다.

프로그램을 개발하는 경우, 스크래핑할 웹 사이트의 HTML 소스 코드를 분석하여 데이터를 추출하는 스크립트를 작성해야 합니다. 이를 위해서는 프로그래밍 언어와 웹 프레임워크에 대한 이해가 필요합니다. 스크래핑할 웹 사이트에서는 HTML 태그의 구조가 변경될 수 있으므로, 스크래핑 프로그램 역시 주기적으로 업데이트하여야 합니다.

데이터 스크래핑 도구나 서비스를 사용하는 경우, 스크래핑할 웹 사이트의 URL을 입력하고, 추출하고자 하는 데이터의 태그 정보를 설정하면, 해당 웹 사이트에서 데이터를 추출할 수 있습니다. 대표적인 데이터 스크래핑 도구로는 Beautiful Soup, Scrapy, Selenium 등이 있습니다. 이러한 도구를 사용하면, 프로그래밍 언어나 웹 프레임워크의 이해 없이도 쉽게 데이터를 추출할 수 있습니다.

그러나, 데이터 스크래핑은 웹 사이트의 서버에 부하를 일으키고, 웹 사이트의 소유자에게 부정적인 영향을 줄 수 있으므로, 이를 사용하기 전에 반드시 해당 웹 사이트의 이용약관과 로봇 배제 표준을 확인하고, 이를 준수해야 합니다.

1. java JDK 설치

1-1. 다운로드 : http://www.oracle.com/technetwork/java/javase/downloads/index.html

1-2. 환경변수 설정 (시스템 변수)

변수이름 : JAVA_HOME

변수값 : C:\Program Files\Java\jdk1.8.0_73  (설치경로)

Path 변수값 추가 : ;%JAVA_HOME%\bin

1-3. 설치확인 : javac, java -version (cmd실행)

2. Android SDK 설치

2-1. 다운로드 : http://developer.android.com/sdk/index.html (SDK Tools Only)

2-2. 환경변수 설정 (시스템 변수)

변수이름 : ANDROID_HOME

변수값 : C:\development\android-sdk (설치경로)

Path 변수값 추가 : ;%ANDROID_HOME%\platform-tools;%ANDROID_HOME%\tools

2-3. android SDK Manager 실행후 안드로이드 각 버전에서 SDK Platform 선택 설치

3. Apache Ant 설치

3-1. 다운로드 : http://ant.apache.org/bindownload.cgi (apache-ant-1.9.6-bin.zip)

3-2. 원하는 곳에 압축해제

3-3. 환경변수 설정 (시스템 변수)

변수이름 : ANT_HOME

변수값 : C:\development\apache-ant-1.9.6 (설치경로)

Path 변수값 추가 : ;%ANT_HOME%\bin

4. node.js 설치

4-1. 다운로드 : https://nodejs.org/en/ (v4.3.2 LTS)

5. phonegap 설치

5-1. 다운로드 : http://phonegap.com/ (Desktop App)

6. node.js에서 환경구축

폰갭설치 : npm install -g phonegap

프로젝트 폴더 생성 : mkdir phonegap

프로젝트 생성 : cd phonegap > phonegap create sample > cd sample > phonegap platform add android

작업후 빌드 : c:\phonegap\sample> phonegap build android

디바이스 해상도별 모바일 웹 미리보기

http://troy.labs.daum.net/

디바이스 해상도

@media only screen and (max-width: 480px) {

@media only screen and (max-width: 767px) {

@media only screen and (max-width: 1023px) {

@media screen and (min-width: 1024px) {

@media screen and (min-width: 1200px) {

디자인, 심플

http://html5up.net/

페이지, 구조

http://www.styleshout.com/free-templates/

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTPS} !=on
RewriteCond %{HTTP_HOST} !^www\..+$ [NC]
RewriteRule ^ http://www.%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
</IfModule>