오늘도, 코드더하기

이글은 Konlpy의 설치 과정중 일부를 포함하고 있습니다. Konlpy를 설치하고 실행하려면 Jpype1의 버전을 변경해야 합니다. 그 이유는 konlpy를 설치할때 Jpype1을 종속성으로 설치하게 되는데 이때 설치되는 Jpype1의 버전은 1.3 사실 이 버전이 문제가 되는것이 아니라 저 라이브러리가 각 파이썬 버전마다 호환성이 달라서 문제가 됨으로 각 파이썬 버전에 맞는 라이브러리를 무려.. 수동으로 설치해야 합니다. 우선 Uninstall 부터 진행합니다. 설치되어 있는 파이썬의 Cmd에서 pip uninstall jpype1 그리고 아래 페이지에서 내 파이썬 버전에 맞는 Whl파일을 받아 둡니다. https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype Pyth..

Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka와 연동하기 위한 jar 파일은 maven에서 구할수 있다. 아래 두가지 파일을 구하여 jars 디렉토리에 넣어준다. kafka-clients-2.6.0.jar spark-sql-kafka-0-10_2.12-3.1.1.jar spark-token-provider-kafka-0-10_2.12-3.1.1.jar 내 환경에서는 cd /usr/local/spark/jars 로 이동하면 위 링크..

Azure function을 생성하고 파이썬을 활용하기 위해서는 다양한 라이브러리를 불러올 필요가 있다. Azure Function의 경우는 라이브러리를 쉘 명령어를 이용해 설치할 수 있는 Jupyter Notebook과는 다르게 구성한 환경의 Python에 직접 설치를 해야한다. 아니 사실 설치할 필요가 없다 일전에 설치한 Azure Function관련 어플리케이션이 이 코드를 실행하면 자동으로 설치해서 구동을 하도록 도와준다. 다만... 설치를 안하면 코드에 노란줄 빨간줄이 그어져 매우 ... 싫다 자동완성도 아마.. 이용을 못하는걸로? 알고있다. 그럼 아까 말한것 처럼 그럼 그 어플리케이션이 자동으로 설치를 도와준다면.. 어딘가에 무엇을 설치할지 정보를 주는 녀석이 있다. 바로 .. 바로 Requi..

Spark 환경 Spark 3.1 Docker를 활용한 환경 구성 특이사항 - Docker와 Jupyter Notebook으로 구성된 image를 다운받아 생성 PySpark 환경에서 새로운 무언가를 실행할때 항상 여러가지 확인할 것들이 생기는데 그중하나가 Spark Dir에 있는 jars 내부 jar파일들이다. kafka로 Spark Sturctured Streaming을 생성하기 위해서 jar파일이 필요했는데 이번에도 마찬가지다.. Azure Event Hub를 사용하기 위해서 아래와 같은 파일 4개가 필요하다.. azure-eventhubs-spark_2.12-2.3.18.jar azure-eventhubs-3.2.2.jar scala-java8-compat_2.12-0.9.0.jar proton-..

Azure Function 기능을 이용하기 위하여 Cloud에 Deployment 하기 전 로컬 환경에서 해당 함수를 테스트 할수 있는 환경을 구축합니다. 1. Window Azure Function 응용프로그램 설치 https://github.com/Azure/azure-functions-core-tools#installing Azure/azure-functions-core-tools Command line tools for Azure Functions. Contribute to Azure/azure-functions-core-tools development by creating an account on GitHub. github.com 해당 링크 주소를 접속하게 되면 아래와 같은 화면을 볼 수 있는데..