Udemyで技術習得！気の向くままにのんびりと

2019年09月12日

英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析

はじめに

ビックデータの解析や活用が盛んな昨今、データ処理のスピードも求められるようになってきている。
そんな時に有望なのが今回勉強するApache Sparkである。Apache Sparkは Google, Facebook, Netflix, Airbnb, Amazon, NASAでビックデータの課題を解決に使用されており、 Hadoop MapReduceの約100倍で処理を行うことができる。
解析対象のデータが爆発的に増大していく中、最も注目される技術の1つである。
この講座ではクラウドプラットフォームであるAWSやDataBricks上でプログラミング言語としてpythonを用いて学習を進めることができる最先端の講座である。

講座名:
・Spark and Python for Big Data with PySpark

このコースの受講動機：

・最新のビックデータ解析ライブラリの知識習得
・スケーラブルなクラウド解析環境の構築の機械学習
・実践的なビックデータ解析演習による経験値積み上げ

このコース完了の際のゴールイメージ
・環境設定が一通り操作ができる
・Spark, PySparkを用いた解析ロジックを説明できる
・Spark, PySparkを用いて解析を行える
・Spark, PySpark, MLibを用いて機械学習のプログラムを作成できる
・Sparkでの自然言語処理を説明できる

コース詳細の紹介
・レクチャー数と時間
　・66レクチャー、10.5時間のビデオ
・言語
　・英語（英語字幕あり）

・内容要約
　・最新のSpark2.0とpythonを使ったBigData解析
　・AWSサービス（EC2,Elastic Map Reduce)、DataBrickを用いた環境構築
　・模擬プロジェクトを使った演習
　・MLibを用いた機械学習
　・Sparkと自然言語処理を用いたスパムフィルタの作成
　・Spark Streamを用いたツィートのリアルタイム解析

・受講に際しての前提条件
　・プログラミング言語の知識、好ましくはpythonの知識

受講計画：
・10日程度で完了するつもりで受講をする。

このコースへのリンク
Spark and Python for Big Data with PySpark

全般ランキング

タグ： SPARK ビックデータ解析 Python

【このカテゴリーの最新記事】

posted by peter3q at 21:26| Comment(0) | TrackBack(0) | SparkとpythonでBig Data解析

2019年09月11日

【まとめ】英語版Udemy講座で学ぶ！SQL

英語版のUdemy講座、"The Complete SQL Bootcamp"の受講を完了したので最初に立てた目標の達成具合、自己評価や、コースをやり終えての感想をまとめる。

目次
１、受講前のゴールイメージとスケジュールの確認
２、講義に関して
３、その他所感

受講前のゴールイメージとスケジュールの確認

〇このコース完了の際のゴールイメージ

SQLで一通りの操作が簡単にできるイメージ　◎
SQLのコマンドの裏で何が起こっているかの説明が完璧にできる　〇
SQLのデータベースを構築する　×

SQLコマンドに関して基本的な部分はかなり知識が付いたと思う。
SQLコマンドの裏の説明というとたいそうだが、SQLのコマンドの結果を予測できると理解して評価し、基本的なところはできていてjoinがかかわってきて、複雑な式になった場合はもう少し修行が必要ということで〇としておく。
最後に、SQLデータベースの構築だが、データベースの構築を行うシチュエーションがまだないので、とりあえず×としておく。

〇スケジュール

10日程度で完了するつもりで受講をする。→6日で完了

週末や有休をとったので、その分早く終わったと言ったところだ。
朝型勉強も成果を出すのに一役買っている。

講義に関して

英語に関して

当初、最も心配したのは「英語を聴きながら最後までやり切れるか？」というところだったが、実際は特に難しいことはなかった。初めのほうで日本語字幕を出したがすぐに英語に集中したほうが理解が進むと思い、日本語字幕は非表示にして進めた。
英語の発音が聞き取りやすいのと単語も難しい単語はほとんど出てこないため、難なく理解を進めることができた。
英語の相性はUdemy講座を選ぶ際に重要性を改めて感じた。

講義の進め方に関して

SQLの講座の内容としては基礎的なところを丁寧に理論とハンズオンを6:4くらいの割合で入れながら進むため、飽きが来ない構成になっていた。前半の理論に続き、後半のハンズオンがすぐに始まるので、習ったコマンドをするに使ってチェックできるため知識の定着度が非常に高く効率が良いと感じた。
講座の受講中に質問はしなかったが、講師やTAがまめに質問に答えていて、その情報でつまずきを早期に解消できた。
章の区切りで行われるAssessmentTestの難易度はちょうどよい感じの問題でサクサク解けるので達成感を味わえてよい。直近で習った事以外のその前で習ったことも出たりするので、復習にちょうどよい。

受講中のノートに関して

いつも勉強を始めるとどうするか迷う受講中のノートやメモの作成だが、"The Complete SQL Bootcamp"の講座ではダウンロードできる補助教材が充実しているため、必要なときに補助教材を見ればよく、特に必要なかった。
補助教材はSQLコマンドのCheatSheetやSQLコマンドの説明資料、joinコマンドの説明資料や講義のスライドなど非常に充実しており、非常に生徒にとって助かる。

つまづいたところ

joinのところはjoinコマンドの種類がたくさんあるので理解するのに手こずった。特にjoinコマンドを実際にどのようなユースケースで使用してているかをGoogleで調べて補完し、理解の助けにした。
pythonの設定部分でうまくいかず、QAのコメントを見て解決をすることができた。

その他所感

"The Complete SQL Bootcamp"は非常に良かったので、同じ講師の他のコースも受講したい（早速、次にBigデータの講義を後で受講予定だが）
英語版の講座を最後まで完了できて達成感がある。
反省点として、途中、WinPC->MacPCにPCを変更したので少し手こずってしまった。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

posted by peter3q at 21:36| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月10日

【6日目成果] 英語版Udemy講座で学ぶ！SQL

進捗100%、完了。

もう特に難しい感じはない。
ただ、ずんずん進んでいくのみだ。
学習内容はSQLテーブルの生成、更新、カラムの変更や削除など基本的だ。
データベースのrestoreはすでにやったことの繰り返しで、退屈で集中力が散漫になってしまい、かえって何度も繰り返して動画を見てしまった。
pythonを使ったpsycopg2のインストールでpipでエラーが出たが、ググって調査をしたので、時間を要してしまった。psycopg2の使い方の講義は簡単なもので、データベースへの接続からデータ取得までを勉強した。
AssessmentTest 3も特に問題なく回答ができた。セクション２のCheat Sheetが非常に役に立った。
改めて、教材を見てみると、Course Noteがpdfが公開されていたり、補助教材のpptxがあったりと非常に親切だ。
全体を受講し終わっての感想だが、カリキュラムが非常に良くできており、満足度が高いと思う。
SQLの基礎が学べ、定着度も高いのでオススメの講座だ。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 08:00| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月09日

【5日目成果] 英語版Udemy講座で学ぶ！SQL

進捗74％
一山超えたような感じだ。

サブクエリの勉強後、Assement Test2を実施したが、楽しく解くことができた。
Assessment Test 1以後の内容ではなく、最初からの内容のテストになるため、簡単な問題から始まるのでサクサク解ける！最後の方になると問題が複雑になるが、最近やったというのもあり、なんとか最後まで解いて、そこそこ点が取れた。
テーブル生成の章は知識がメインになるので、ひたすら聴くことの徹する形なので、楽といえば楽だ。
この調子で予定より早めに完了したい。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 08:00| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月08日

【4日目成果] 英語版Udemy講座で学ぶ！SQL

進捗62％

順調に進んでいるようにも見えるが、若干つらい。
講座の山場に差し掛かっているので、結構難しくなっているせいか？
以前の、Git習得の講座を勉強した際も同様の感じになったことを思い出す。
講座の後半＝難しい＝１つ１つの講義の時間が長い＝集中力の低下、のような状態だ。
また、講座の後半の部分は応用の部分になるので、実際の業務で頻繁に使わないところでもある。
JOINの部分が自分の中で、完全に消化できてないため、集中力が途切れがちなのかなあ。
と、いうことでとり得ず先に終盤の部分のコマンドラインなど環境インストール系の部分を完了した（これは楽）。
残りは、サブクエリ（勉強中）、データベース作成のみだ。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 19:06| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月07日

【3日目成果] 英語版Udemy講座で学ぶ！SQL

進捗51％
順調に進んでいる。

単純なSQLコマンドから、テーブル同士を合体させるJOINの勉強になり、かなり複雑で難しくなってきた。テーブルの合体の仕方が沢山あることを学んだ。
それぞれの合体の仕方の用途がしっくりくると揺るぎない知識の定着になるのだが。
幸い？、すぐにはJoinのChallengeはないので、現在のDBでいろいろ試してみよう。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 06:15| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月06日

【2日目成果] 英語版Udemy講座で学ぶ！SQL

進捗30％
順調に進んでいる。
だいたい、１つの講義の前半がコマンドの説明で後半が実際にPGAdminでの操作の構成になっている。
その後だいたいChallengeの問題が来てよい構成だ。
このChallenge問題は難しくもなく、簡単でもなくでも、ちょうどよい感じで達成感を得られ、非常に知識の定着に寄与している気がする。
また、問題自体も、実際のユースケースでありそうな問題で解いていて、意味のない作業をしている感があまりなくて非常に良い。
昔、応用情報処理技術者試験の対策でSQLをしようがなく勉強したが、このように実際に手を動かしながら勉強したら、より興味を持って勉強できただろう。
問題を解いていると、ついでにこのコマンド使ってみたらどうなんだろう、と自然と試したくなってきている。
例えば、データの全体像を見るときにLIMITを使ってみたり、出てきた数値を並べてみるためにORDER BYを使ってみたり、といろいろ試して、それがすんなりできるようになっているのが、何気に楽しい。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 07:57| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月05日

【1日目成果] 英語版Udemy講座で学ぶ！SQL

進捗20％。

思いのほか順調に進んでいる。
データベースの定義の説明を軽く聞き、PostgreDBのインストールからスタート。
SQLの基本文法を学ぶ。講義は、５分くらいの短いのもあれば、１５分程度の長いものもある。
長い講義でも意外に退屈しない。
英語は少し早口な感じだが、発音に癖がなく、日本人に聞き取りやすい気がする。
何と言っても、字幕ので日本語を出すことができるので安心感がある。
基本的な講義の流れは、知識の説明を行った後、次の講義で実際にチャレンジと呼ばれる課題が難題か出され、それを解いていくという形式で知識の定着を図る。
この感じだと、予定より早く終われそうな予感。
Udemy講座は日本語の講座もあるが、このような英語で字幕付きの講座がおすすめだ。
講義を登録している生徒数が、約17万人！もいるし、Q&Aも盛んで簡単に世界レベルの教育が受けられる。
しかも、ITの知識に加えて、英語のヒアリングの経験も得られる。
まさに一石二鳥なのだ。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

posted by peter3q at 05:46| Comment(0) | TrackBack(0) | SQLを学ぶ

2019年09月03日

英語版Udemy講座で学ぶ！SQL

次はSQLのコースを学ぶ。

講座名
The Complete SQL Bootcamp

このコースの購入動機
最近、ビックデータの解析や活用が盛んだ。会社でも、ビックデータを使った施策が行わるようになってきている。このような中で、今まで全く日の目を見ていなかったＳＱＬの技術が熱い。SQLは普通にアプリを開発している中では全く意識したこともなかったが、データベースを扱う上では基本的で重要だ。

このコース完了の際のゴールイメージ
・SQLで一通りの操作が簡単にできるイメージ
・SQLのコマンドの裏で何が起こっているかの説明が完璧にできる
・SQLのデータベースを構築する

コースの詳細の紹介
・88レクチャー、8.5時間のビデオ

計画
・10日程度で完了するつもりで受講をする。

このコースへのリンク
The Complete SQL Bootcamp

全般ランキング

タグ： SQL

posted by peter3q at 23:07| Comment(0) | TrackBack(0) | SQLを学ぶ

日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

【まとめ】Udemyで学ぶ！Gitでチーム開発

広告

2019年09月12日

英語版Udemy講座で学ぶ！SparkとpythonでBig Data解析

2019年09月11日

【まとめ】英語版Udemy講座で学ぶ！SQL

2019年09月10日

【6日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月09日

【5日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月08日

【4日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月07日

【3日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月06日

【2日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月05日

【1日目成果] 英語版Udemy講座で学ぶ！SQL

2019年09月03日

英語版Udemy講座で学ぶ！SQL