반응형 전체 글256 Selenium 네이버쇼핑 예제 셀레니움(selenium)은 웹 애플리케이션 테스트를 위한 도구이다. 특히 웹 브라우저를 제어하여 웹페이지상에서 동작하는 테스트를 자동화 할 수 있다. 웹 상에서 정적인 페이지를 탐색하는데 사용하던 beautifulSoup 같은 패키지가 하지 못하는 동적인 크롤링을 지원한다. 동적으로 HTML을 만드는 경우 스크롤하거나 클릭 시 데이터가 생성되는 경우 URL 주소가 변경되지 않았는데 데이터가 변하는 경우 표, 테이블 형태의 데이터 셀레니움 동작 방식 웹 페이지를 헤더 등을 가지고 HTTP 프로토콜로 통신하는 리퀘스트(requests) 방식과 달리 webdriver API를 사용해 운영체제에 설치한 크롬(Chrome) 등 브라우저를 직접 띄워 HTML 문서를 가져오는 방식으로 제어한다. 따라서 로그인이 필.. 2023. 12. 4. GET / POST GET 방식 GET은 요청을 전송할 때 필요한 데이터를 Body에 담지 않고, 쿼리스트링을 통해 전송한다. URL의 끝에 ?와 함께 이름과 값으로 쌍을 이루는 요청 파라미터를 쿼리스트링이라고 부르며 만약, 요청 파라미터가 여러 개이면 &로 연결한다. 쿼리스트링을 사용하게 되면 URL에 조회 조건을 표시하기 때문에 특정 페이지를 링크하거나 북마크할 수 있다. ex) www.example-url.com/resources?name1=value1&name2=value2 GET 요청은 캐시가 가능하다. GET을 통해 서버에 리소스를 요청할 때 웹 캐시가 요청을 가로채 서버로부터 리소스를 다시 다운로드하는 대신 리소스의 복사본을 반환한다. HTTP 헤더에서 cache-control 헤더를 통해 캐시 옵션을 지정할 .. 2023. 12. 4. 데이터 크롤링과 BeautifulSoup 웹 크롤링과 웹 스크래핑은 웹 상에서 데이터를 추출하기 위한 방법은 대표적인 방법이다. 웹에서의 데이터 추출이란 웹 페이지의 HTML 구조를 파싱하고 원하는 정보를 추출하는 과정을 말한다. 이러한 데이터 추출을 위해서는 반드시 정보 수집 과정이 필요하므로 웹 크롤링과 웹 스크래핑에 대한 개념 이해가 필요하다. * 파싱(Parsing) : 웹 페이지에서 내가 원하는 데이터를 특정 패턴이나 순서로 추출하여 정보로 가공하는 것. 웹 크롤링(Web Crawling) 이란? 웹 크롤링은 웹 상의 다양한 웹 페이지를 자동으로 탐색하고 수집하는 과정을 의미하며, 크롤러 혹은 스파이더라고 불리는 프로그램을 사용하여 여러 웹 페이지를 순회하며 링크를 추적하거나 사이트의 내용을 수집한다. 일반적으로 큰 규모의 데이터 수집.. 2023. 12. 1. chap_05-3. 함수 고급 파이썬은 함수를 조금 더 편리하게 사용할 수 있도록 튜플(tuple)과 람다(lambda)를 제공해준다. 튜플 : 함수와 함께 많이 사용되는 리스트와 비슷한 자료형으로, 리스트와 다른 점은 한번 결정된 요소는 바꿀 수 없다는 것이다. 람다 : 매개변수로 함수를 전달하기 위해 함수 구문을 작성하는것이 번거롭고 코드 공간낭비라고 생각이 들 때 함수를 간단하게 선언하는 방법이다. 1회용 함수를 사용할 때 많이 사용한다. 튜플 튜플은 리스트와 비슷한 자료형이지만, 한번 결정된 요소를 바꿀수 없다는 차이가 있다. (데이터, 데이터, 데이터 ... ) 튜플은 위와 같이 () 괄호 안에 데이터를 나열하고 [인덱스]를 입력하여 요소를 가져올 수 있다. 아래 예제를 살펴보면 리스트와 크게 다르지 않게 동작하는 것을 확인.. 2023. 11. 13. chap_05-2. 함수의 활용 코드에 이름 붙이기 프로그래밍을 할 때 가독성은 굉장히 중요한 요소이다. 가독성이 좋은 코드를 작성하는 방법은 다양하지만, 대표로 주석과 함수의 활용이 있다. # 숫자 입력을 받습니다. number_input_a = input("숫자입력>") radius = float(number_input_a) # 원의 둘레와 넓이를 출력합니다. print(2*3.14*radius) print(3.14*radius*radius) 코드를 작성할 때 주석을 활용하면 코드의 내용을 분석하지않더라도 어떤 내용인지 쉽게 이해할 수 있어 주석을 잘 사용할 수록 다른 사람과 함께 프로그램을 작성할 때 가독성을 향상시킬 수 있다. 더 좋은 형태는 아래와 같이 함수를 만들어 사용하는 것이다. 함수를 만들면 코드에 이름을 붙일 수 있기.. 2023. 11. 13. chapter_05-1. 함수 만들기 함수의 기본 함수를 사용하는 것 : "함수를 호출한다" 함수를 호출할 때 괄호내부에 넣는 자료 : "매개변수" 함수를 호출해서 최종적으로 나오는 결과 : "리턴 값" 함수는 '코드의 집합'을 의미하며 함수를 생성하는 기본 형태는 아래와 같다. def 함수이름(): 문장 함수에 매개변수 만들기 함수를 작성할 때 괄호안에 입력하는 것을 모두 매개변수라고 부른다. 매개변수는 다음과 같이 함수를 생성할 때 괄호내부에 식별자를 입력해서 만든다. def 함수이름(매개변수, 매개변수, ... ): 문장 매개변수를 이용해 원하는 문장을 n번 출력하는 함수를 생성해보자. def print_n_times(value,n): for i in range(n): print(value) print_n_times("안녕하세요", 5.. 2023. 10. 27. 이전 1 2 3 4 5 6 7 ··· 43 다음 반응형
