ひできちの楽天ブログ
カテゴリ未分類 38
楽天サービス 45
ポイント生活 51
電子書籍 30
yahoo 3
クレジットカード 36
楽天Edy 35
楽天銀行デビットカード 14
nanacoカード 8
WAON 2
ジャパンネット銀行 4
ECサイト比較 17
majica カード 5
Tポイント 3
動画配信 62
デビットカード 10
PASMO 2
電気自由化 2
音楽配信 9
楽天ブックス 9
au WALLET 9
年末商戦 4
ふるさと納税 2
Yahooプレミアム会員特典 7
楽天ポイント獲得数報告 5
ポイント交換 2
クレカ入会特典 6
楽天市場 7
電子マネー 12
福袋・初売り 2
BABYMETAL 7
Yahooショッピング 30
Yahooクレジットカード 6
税金対策 2
楽天銀行プリペイドカード 3
楽天ペイ 5
ゾンビ 4
銀行カード 2
ヤフオク! 1
ポイント・キャンペーン 23
Amazon 3
Ponta 2
ギタリスト 3
プリペイドカード 1
クーポン・キャンペーン 18
暗号・分割・隠蔽 2
ガジェット 43
プログラミング 6
ネット銀行 7
Chrome 機能拡張 1
リアル銀行 1
数学と算数 14
格安SIM 5
将棋 89
クラウド 2
国語 3
ニュース 26
社会 2
電子決済 2
割引券 0
日記 1
TIPS 3
ソフトウェア 16
商品レビュー 1
映画視聴 4
洋楽 2
マンガ 0
お買い物パンダ 1
3Gケータイ3Gスマホ 3
互換オフィス 4
IT用語 0
地球温暖化 41
植民地時代 0
古代史 1
楽天ポイントビットコイン 9
ITの仕事 1
楽天購入品リスト 0
ご挨拶 0
楽天リワード 1
Visual Studio 4
wikipedia 1
コロナ 1
python 4
地球温暖化懐疑/否定論者 13
youtubeライブカメラ 1
自然災害 4
SNS 1
動物 1
楽天ブログ 4
藤岡幹大 1
グレタ 2
HTML 1
全1件 (1件中 1-1件目)
1
IT業界でフリーランスとして仕事を長くやっておりますよ大きなプロジェクトの場合はシステムの規模も大きいわけでしてそこには巨大なデータも存在するわけですなそのようなデータをどう扱うかについては一番メインの手段はExcel で読み込むことが多いですなjson データの場合も階層の構造を把握できればCSVに変換してExcel のセルに表示して確認したりしますよデータを加工する必要がある場合がほとんどですがExcel 関数でだけでいけると思えばそれで押し切って完成させてしまう場合もありますなVBAでのプログラミングは前提とはなりませんなやはり実装する時間や手間、バグが気になりますなもしExcel 関数だけでは足りずもう少し処理が必要ならVBA でシート用の関数を組んでそれを利用して完成できれば簡単ですなさらに必要ならやはりVBA で簡単なプログラミングをするときもありますな自分の作業としては分析という工程には沢山の時間をかけられるわけではありませんので基本的にはスピードとミスがないことが第一でございますなというわけで手段にはまったくこだわらないという方針になるのでございますよExcel ではシートの行数が約100万行が限界ですのでそれに収まっていていればとりあえずはExcelで表示して確認ですな本格的に加工分析となると10万以下ならExcelが利用できますがそれ以上だと処理速度が問題になる場合もあるのでケースバイケースですな100万、10万を超える場合はファイルとしてはCSV ファイルに保存されることがほどんどですなCSVはデータベースにインポートしてから利用することも検討になりますなデータベースはSQL Server を使いますよデータベースであれば1億行を超えるデータでも処理可能ですなSQL Server はインストールが簡単で環境構築も利用も簡単ですな当然ですが基本的にSQL での加工となりますのでSQLの知識も必須ですな加工したデータ件数が10万程度に絞られることが確定したらExcelでの作業に移行しますよAccess という選択肢もありますがほとんど利用しませんなやはりExcelでの作業に移行するほうが圧倒的に簡単ですなEXcel関数やSQLでの処理でデータ加工のほとんど完成していれば最終的にはデータ加工処理の全体をC#やpython で書き直すということもありますなただしここもその実装作業によるソースコードが成果物になったり繰り返しデータ加工処理が必要になるという前提があればですな対価が発生する成果物として認められそうもないのであればVBA で適当に作って終わりにすることも検討しますな
2022/04/23
コメント(0)