Data Science 5 : தகவல் அறிவியல் 5

Image result for data science

கடந்த வாரங்களில் தகவல் அறிவியல் என்றால் என்ன என்பதைப் பற்றியும், அதன் பயன்கள் பற்றியும், அந்தத் துறையில் உள்ள பல்வேறு வேலை வாய்ப்பு விஷயங்கள் பற்றியும் பார்த்தோம். இந்த வாரம் தகவல் அறிவியல் துறைக்குள் நுழைந்து அங்கே அப்படி என்ன தான் வேலை செய்கிறார்கள் என்பதை எட்டிப் பார்க்கப் போகிறோம் !

அப்படி தகவல் அறிவியல் துறையில் என்ன வேலை தான் செய்கிறார்கள் ?

1. பிரச்சினையை புரிதல் !

தகவல் அறிவியலின் ஆகப் பெரிய விஷயமே ஒரு நிறுவனத்தின் பிரச்சினை என்ன என்பதைப் புரிந்து கொள்வது. பிரச்சினை என்ன என்பதைப் புரிந்து கொள்வது என்பது இரண்டு நிலை கொண்டது. ஒன்று ‘இது தான் என்னோட பிரச்சினை’ என முன்வைப்பது. இரண்டாவது, ‘இந்த பிரச்சினை இல்லாமல் எனக்கு இப்படிப்பட்ட ஒரு நிலை வேண்டும்’ என்பது !

ஒரு பிரச்சினையை அக்கு வேறு ஆணி வேறாகப் புரிந்து கொள்வது தகவல் அறிவியலில் மிக முக்கியம். அதற்கு ஏகப்பட்ட கேள்விகளைக் கேட்க வேண்டும். கேள்விகள் பிரச்சினைகளை அதிகப்படுத்தி, அதிலுள்ள அடிப்பட்ட விஷயங்கள் வரை வெளிக்கொணரும். எந்த அளவுக்கு பிரச்சினையை பிரச்சினையைப் புரிந்து கொள்கிறோமோ, அந்த அளவுக்கு தெளிவான தீர்வுகள் கிடைக்கும். பிரச்சினையைப் புரிந்து கொள்ளாமல் களத்தில் இறங்குவது தவகல் அறிவியல் துறையைப் பொறுத்தவரை மிகப்பெரிய பிழை.

உதாரணமாக, “நிறைய கஸ்டமர்களை ஈர்க்க வேண்டும்” என்பது ஒரு வரி தேவையாக இருக்கலாம். அதை வைத்துக் கொண்டு தகவல் அறிவியலில் எதுவும் செய்ய முடியாது. நீங்கள் என்ன செய்கிறீர்கள், எப்படிப்பட்ட கஸ்டமர்கள் வேண்டும், யாரெல்லாம் போட்டியாளர்கள்,அவர்களிடம் எவ்வளவு கஸ்டம்ர்கள் இருக்கிறார்கள், உங்கள் கஸ்டமர்களின் விமர்சனங்கள் என்ன ? குறைகள் என்ன ? எவ்வளவு நாட்கள் சராசரியாக உங்களோடு இருக்கிறார்கள் என தொடங்கி நூற்றுக்கணக்கான கேள்விகளை வரிசையாக எழுப்பினால் உங்களுக்கு கொஞ்சம் கொஞ்சமாக விஷயம் புரியத் துவங்கும்.

எந்த அளவுக்கு கேள்விகளைக் கேட்கிறீர்கள், எந்த அளவுக்கு தொடர்புடைய கேள்விகளைக் கேட்கிறீர்கள் என்பதை வைத்து உங்களுடைய முடிவுகளுக்கு தெளிவு கிடைக்கும். சில கேள்விகள் தான் மாற்றங்களைக் கொண்டு வரும். நிறுவனமே யோசிக்காத விஷயங்களை யோசிக்கத் துவங்குவதும் அப்போது தான். பிரச்சினையை புரிந்து கொள்வதற்கான ‘பிரெயின் ஸ்டாமிங்’ என இந்த விவாதத்தை அழைப்பதுண்டு.

2. தகவல் சேகரிப்பு

பெயரைக் கேட்டாலே புரிஞ்சிருக்குமே ! இருக்கின்ற தகவல்களையெல்லாம் சேகரிப்பது தான் இந்தக் கட்டம். ஆனால் அது நாம் நினைப்பது போல எளிதல்ல. தகவல்கள் எப்போதும் ஒரு நாலு ஃபைல்களில் இருப்பதில்லை. தகவல்கள் எங்கே இருக்கின்றன என்பதைக் கண்டுபிடிக்கவே நிறைய தகவல்கள் தேவைப்படும். அந்த தகவல்களைக் கண்டுபிடித்தபின் அதைச் சேகரிக்க வேண்டும்.

முதலில் வகைப்படுத்தப்பட்ட தகவல்கள் என்னென்ன இருக்கின்றன என்பதைக் கண்டுபிடித்து அவற்றை சேகரிக்க வேண்டும். இது எளிதான பணி. அதிக பயனளிக்கக் கூடிய தகவலும் இது தான். ஆனால் இது மட்டுமே முழுமையான தகவல் அல்ல. உதாரணமாக அலுவலக டேட்டாபேஸை எடுத்து அதிலுள்ள தகவல்களை இழுத்தெடுப்பது ! நிறைய பயனுள்ள தகவல்கள் கிடைக்கும்.

பின்பு நிறுவனம் சார்ந்த மற்ற இடங்களில் இருக்கின்ற தகவல்களை சேகரிக்க வேண்டும். உதாரணமாக அது ஒரு வலைத்தளமாக இருக்கலாம். நிறுவனத்தின் இன்ட்ரா நெட் எனப்படும் பாதுகாப்பான தனி வலைத்தளமாக இருக்கலாம். அவற்றையெல்லாம் சேகரிப்பது கொஞ்சம் கஷ்டமான பணி.

அடுத்தது அலுவலகத்திலுள்ள தகவல்களில் வகைப்படுத்தப்படாத தகவல்களைச் சேகரிப்பது. தலைவலியான வேலை என இதைச் சொல்லலாம். வகைப்படுத்தாத தகவல் எப்படி வேண்டுமானாலும் இருக்கலாம். ஒரு வீடியோவாகவோ, ஆடியோவாகவோ, ஒரு கிறுக்கல் கையெழுத்தாகவோ, ஒரு வாய்ச்சொல்லாகவோ எப்படி வேண்டுமானாலும் இருக்கலாம். அவையும் சேகரிக்கப்பட வேண்டும். அப்போது தான் முழுமையான ஒரு தீர்வுக்குள் செல்ல முடியும்.

தகவல்களைச் சேகரிக்கும் போது, முதல் கட்டத்தில் நாம் ஏகப்பட்ட கேள்விகளைக் கேட்டோமல்லவா ? அந்த அத்தனை கேள்விகளுக்குமான விடைகள் வந்திருக்கின்றனவா என்பதை பரிசீலனை செய்ய வேண்டும். புதிதாக கேள்விகள் கேட்க வேண்டிய தேவையிருந்தால் கேட்கலாம். இந்த கட்டம் மிக முக்கியமான கட்டம். இதில் தவற விடுகின்ற முக்கியமான தகவல்கள் நிறுவனத்தின் முடிவுகளை பெரிய அளவில் பாதிக்க வாய்ப்பு உண்டு.

3. தகவல் செயல்முறை

தகவல் அறிவியலின் முதுகெலும்பு என்பது தகவல் செயல்முறை அதாவது டேட்டா புராசசிங். பிரச்சினையைப் புரிந்து கொள்வதும், தகவல்களை சேகரிப்பதும் எந்த அளவுக்கு சிறப்பாக நடந்திருக்கிறது என்பதை வைத்து தான் இந்த செயல்முறைப் பகுதி வெற்றியடையுமா தோல்வியடையுமா என்பதைச் சொல்ல முடியும்.

தகவல் செயல்முறைக்கு முன்பு இருக்கின்ற ஒரு வேலை தகவல்களை தூசு தட்டி துடைத்து எடுப்பதும். தேவையற்ற தகவல்களை உடைத்து எறிவதும் தான். அந்த வேலைக்காகத் தான் பெரும்பாலான நேரத்தை தகவல் அறிவியலார்கள் செலவிடுவார்கள். சுமார் 70 முதல் 80 சதவீதம் நேரம் தேவையற்ற தகவல்களை நீக்குவதில் செலவாகும் என்கிறது ஒரு ஆய்வு.

தேவையற்ற ஒரு தகவல், முடிவில் மிகப்பெரிய மாற்றத்தை உருவாக்கி விடக்கூடும். எனவே தான் தேவையற்ற தகவல்களை அகற்ற வேண்டியது அவசியாகிறது. எல்லா பாடத்துக்கும் தோற்றுப் போகும் ஒரு மாணவனுக்கு, கணிதத்தில் 400 மதிப்பெண் என தவறாகப் பதிவாகியிருந்தால் மொத்த சதவீதத்தில் அவன் பெயர் முன்னணியில் வருமில்லையா ? அதே போல நினைத்துக் கொள்ளுங்கள்.

இந்த இடத்தில் மென்பொருட்கள் உதவிக்கு வரும். இருக்கின்ற தகவல்களை நாம் அப்படியே எதுவும் செய்து விட முடியாது. அதை அலச, அதை வைத்து உருப்படியாய் ஏதாவது செய்ய கணினியின் உதவி மிக மிக அவசியம். பைத்தான் , ஆர் போன்ற மென்பொருட்கள் இந்த இடத்தில் மிகப்பெரிய உதவியாய் இருக்கும்.

4. தகவல் ஆராய்ச்சி

இப்போது கைவசம் இருப்பவை நல்ல தகவல்கள். முறைப்படுத்தப்பட்ட தகவல்கள். இவற்றை வைத்துக் கொண்டு எப்படியெல்லாம் வித்தை காட்டலாம் என்பது தான் தகவல் அறிவியலின் ஒட்டு மொத்த விஷயம்.

இந்த தகவல்களை அலசி, ஆராய்ந்து, தொடர்புகளைக் கண்டறிந்து அதன்’பேட்டர்ன்’ அதாவது முறைகளை அறிந்து, அதைக் கொண்டு நிறுவனத்துக்குத் தேவையான தீர்வுகளை உருவாக்கும் இடம் இது தான்.

இங்கே எப்படி தகவலை நாம் காட்சிப்படுத்திப் பார்க்கிறோம், மனதுக்குள் படமாக விரித்துப் பார்க்கிறோம் என்பது மிக முக்கியம். அது தான் நிறுவனத்திற்குத் தேவையான தீர்வுகளை நோக்கி வழிநடத்தும்.

இந்த அலசலில் கிடைக்கின்ற தகவல்களை, பேட்டர்ன்களை வைத்து தான் ஆழமான அலசல் செய்ய முடியும். ஆழமன அலசலுக்குள் நுழைவதற்கு முன் தகவல்களை எப்படியெல்லாம் பயன்படுத்தலாம் என்பது குறித்த ஒரு பார்வை இருக்க வேண்டும். இந்த கட்டம் அதைத் தான் தரும்.

5. ஆழமான அலசல்

இந்த கட்டத்தில் தான் கண்டறிந்த தகவல்களை வைத்துக் கொண்டு நிறுவனம் எதிர்பார்க்கின்ற மாடலை உருவாக்கும் வேலை நடைபெறும். இந்த தகவல்களை எப்படிப் பயன்படுத்தினால் எப்படிப்பட்ட பயன்கள் கிடைக்கும் என்பதைக் கணிக்கும் ‘பிரடிக்டிவ் மாடல்’ உருவாவது இப்போது தான்.

இந்த இடத்தில் மீண்டும் சில கேள்விகளை எழுப்ப வேண்டும் ! நான் என்ன மாடலை கணிக்கப் போகிறேன். எனது நோக்கம் என்ன ? அது தான் நிறுவனம் எதிர்பார்க்கின்ற விஷயமா ? நிறுவனத்தின் நோக்கத்தோடும், எதிர்பார்ப்போடும் நான் ஒத்துப் போகிறேனா ? என்பதையெல்லாம் கேள்விகள் மூலம் உறுதி செய்து கொள்ள வேண்டியது முக்கியம்.

ஒரு மாடலை மட்டும் உருவாக்கி நிறுவனத்துக்கு அளிப்பது சரியான முறையல்ல. அது முழுமையான, சரியான, பக்காவான ஒரு தீர்வைத் தருமென்பதில்லை. எனவே பல மாடல்களை உருவாக்கி அதில் எது சிறந்ததாக இருக்கிறதோ, அதைப் பயன்படுத்துவதே சரியான வழி.

அல்காரிதங்கள், மெஷின் லேர்னிங் கான்செப்ட் போன்றவற்றையெல்லாம் பயன்படுத்தும் சரியான இடம் இது தான்.

எவ்வளவு தெளிவான, அழகான மாடலிஅ உருவாக்குகிறோம் என்பதல்ல முக்கியம். அந்த மாடல் நமக்குத் தேவையான ஒரு தீர்வைத் தருமா என்பதே கேள்வி. அதற்குத் தேவையான முயற்சிகளை எடுப்பதே இங்கே முக்கியமான விஷயம்.

5. அறிக்கை தயாரித்தல்

ரிப்போர்ட் ஜெனரேஷன் என்பது எந்த ஒரு பணியிலும் கிட்டத்தட்ட கடைசியில் வருகின்ற ஒரு வேலை. அது தான் அந்த ஒட்டு மொத்தப் பணிக்கும் ஒரு மரியாதையைக் கொண்டு வரும். ராப்பகலா கண்ணு முழிச்சு படிச்சேன், ஆனா பரீட்சைக்கு எதுவும் எழுதல என்றால் எப்படி இருக்கும். அதே போல தான், என்ன தான் முழு உழைப்பையும் போட்டு மாடல் உருவாக்கினாலும், அதை சரியான முறையில் காட்டவில்லையேல் பயனில்லை.

இந்த ஏரியாவை பலரும் அலட்சியமாக நினைப்பதுண்டு. ஆனால் இது மிக முக்கியமான ஒரு கட்டம் என்பதைப் புரிந்து கொள்ள வேண்டும்.

பார்த்தவுடன் பளிச் என புரிகின்ற படங்கள் மூலமாகவோ, புள்ளி விவரங்கள் மூலமாகவோ, இதை எளிமையாக விளக்குவது பயனளிக்கும். டைனமிக் ரிப்போர்ட்டிங் எனப்படும் தகவல்களை மாற்றுவதற்கு ஏற்ப மாறுகின்ற ஆன்லைன் ரிப்போர்டிங் இங்கே ரொம்ப வலிமையானது.

இவை தான் தகவல் அறிவியல் வேலையில் நடக்கின்ற பணிகள்.

( தொடர்வோம் )

Advertisements

தகவல் அறிவியல் – 4

Image result for data science

தகவல் அறிவியல் துறையில் வேலை வாய்ப்புகள் அதிகமாய் இருக்கிறது என்பதையும்,  கணிதம், பட்டப்படிப்பு, மென்பொருள் போன்றவற்றைப் படித்தவர்களுக்கு அங்கே வேலை வாய்ப்புகளும் அதிகமாய் இருக்கின்றன என்பதையும் கடந்த வாரம் அலசினோம். அப்படி இந்த துறையில் எப்படிப்பட்ட வேலைகள் இருக்கின்றன என்பதைப் பற்றிய ஒரு அறிமுகத்தைப் பார்போம்.

தகவல் அறிவியல் துறையில் பல்வேறு வேலைகள் இருக்கின்றன. நிறுவனத்தின் தேவைக்கும் தன்மைக்கும் ஏற்ப அவர்கள் அவற்றுக்கு பெயரிட்டு அழைப்பதும் உண்டு. உதாரணமாக சில நிறுவனங்கள் தகவல் விஞ்ஞானத்தை, மெஷின் லேர்னிங் என்றும் அழைப்பதுண்டு. பொதுவாக எப்படிப்பட்ட வேலைகள் இந்த துறையில் உண்டு என்பதை பார்ப்போம்.

மேஜேஜ்மென்ட் இன்ஃபர்மேஷன் சிஸ்டம்ஸ் ரிப்போர்டிங் எக்சிகியூட்டிவ் ( MIS Reporting Executive ) என ஒரு பணி இருக்கிறது. தகவல் அறிவியலைப் பொறுத்தவரை இது ஒரு மிக முக்கியமான பணி. வணிகத் தேவை என்ன என்பதை சரியாகப் புரிவதும், தொழில்நுட்பத்தில் அதை எப்படி புகுத்துவது என்பதையும் இவர்கள் தான் முடிவு செய்வார்கள். அதாவது இவர்கள் கொடுக்கின்ற அறிக்கைகளின் அடிப்படையில் தான் பெரும்பாலான பிசினஸ் முடிவுகள் எடுக்கப்படும்.

இவர்களுடைய பணி, நிறுவனத்துக்குத் தேவையான அறிக்கைகளை பல்வேறு வகைகளில் உருவாக்குவது. நூற்றுக்கணக்கான பக்கங்களில் எழுதி வைக்கவேண்டிய தகவல்களை ஒரு சின்ன படத்தின் மூலம் காட்டி விடும் வித்தை இவர்களின் சிந்தனைக்கு உரியது.

உதாரணமாக, விற்பனைத் தகவல்கள் என்னென்ன ? என்னென்ன பொருட்கள் கைவசம் இருக்கின்றன ? எப்படிப்பட்ட விமர்சனங்கள் வந்திருக்கின்றன ? போன்ற  பல்வேறு தகவல்களை இவர்கள் அலசுவார்கள். அதன் அடிப்படையில் அவர்கள் உருவாக்கும் அறிக்கைகள் முக்கியமான தொழில் முடிவுகள் எடுக்க வசதியாக இருக்கும்.

கணினி துறை அல்லது பொறியியலில் பட்டப்படிப்பு இருப்பவர்கள் இந்தத் துறையில் நுழைவது அவர்களுக்கு எளிதாக இருக்கும். “எப்படிப்பட்ட தகவல்களைக் கொடுத்தால் பிஸினஸ் வளரும்” என்கின்ற ஒரு பரந்து பட்ட பார்வை இருக்க வேண்டியது அவசியம். காரணம், இவர்கள் கொடுக்கின்ற தகவல்களே பிஸினஸை அடுத்த நிலைக்கு கொண்டு செல்லவும், எப்படிப்பட்ட திசையில் பயணிக்க வேண்டும் என்பதை முடிவு செய்யவும், எப்படிப்பட்ட மாற்றங்களைக் கொண்டு வரவேண்டும் என்பதைத் தீர்மானிக்கவும் உதவுகின்றன.

பிஸினஸ் அனலிஸ்ட் ; இன்னொரு முக்கியமான பணி. இதை வணிக ஆய்வாளர் பணி என்று சொல்லலாமா ? அல்லது தொழில் ஆய்வாளர் என்று சொல்லலாமா தெரியவில்லை. இப்போதைக்கு பிசினஸ் அனலிஸ்ட் என்றே வைத்துக் கொள்வோம்.

ஒரு நிறுவனத்தின் தேவையை துவக்கத்திலிருந்தே கவனிப்பது இவர்களுடைய வேலை. ஒரு பிஸினஸ் வளர்ச்சியடைய என்னென்ன தடைகள் இருக்கின்றன. என்னென்ன இடைவெளிகள் இருக்கின்றன என்பதைக் கண்டறிவது இவர்களுடைய வேலையின் முக்கியமான அம்சம்.

தகவல்களை அலசி ஆராய்பவர்களைத் தகவல் ஆய்வாளர் என்று சொல்வோம். அதே போல பிஸினஸை அலசி ஆராய்பவர்களே இந்த பிஸினஸ் அனலிஸ்ட் என அழைக்கப்படுகின்றனர்.

பிஸினஸ் அட்மினிஸ்ட்ரேஷன் (எம்.பி.ஏ) பிரிவில் ஒரு பட்டப்படிப்பு இருப்பது இந்த வேலைக்கு ரொம்ப நல்லது. கூடவே தகவல்களோடு விளையாடும் ஆர்வம் இருக்க வேண்டும். பிஸினஸை எப்படியெல்லாம் வலுப்படுத்தலாம் எனும் பார்வை இருக்க வேண்டியதும் அவசியம்.

பிஸினஸின் தேவையை சரிவரப் புரிந்து அதிலுள்ள குறைகளைக் களைந்து தொழில்நுட்பத்தின் மூலம் அதை வலுப்படுத்தும் பணியே இந்த பிஸினஸ் அனலிஸ்ட் பணி.

டேட்டா அனலிஸ்ட்

தகவல் அறிவியலில் மிக முக்கியமான பணிகளில் ஒன்று டேட்டா அனலிஸ்ட் வேலை. தகவல்களைத் திரட்டுவது, திரட்டிய தகவல்களை வகைப்படுத்துவது இரண்டும் இவர்களுடைய கைவேலைகள். இவர்களும் டேட்டா விஞ்ஞானிகள் அதாவது டேட்டா சயின்டிஸ்ட் இருவரும் வேறு வேறு.

டேட்டா அனலிஸ்ட் என்பவர் அவருக்கு ரொம்ப ஜூனியர் என்று வேண்டுமானால் வைத்துக் கொள்ளலாம். ஆனால் மிக முக்கியமான அடிப்படைப் பணிகள் செய்வது இவர்கள் தான்.

டேட்டா அனலிஸ்ட் என்பவர் ஒரு சில முக்கியமான மென்பொருட்களைப் பற்றித் தெரிந்திருக்க வேண்டும். குறிப்பாக ஆர், பைத்தான், எச்.டி.எம்.எல், எஸ்.க்யூ.எல், சி ++, ஜாவா போன்ற அனைத்து மென்பொருட்களின் கலவையாய் உங்களுடைய மென்பொருள் பரிச்சயம் இருப்பது மிக சிறப்பு.

தகவல்களை சேர்ப்பது, சேமிப்பது இவற்றோடு இவர்களுடைய பணி முடிந்து விடுவதில்லை. எப்படி அதை பயன்படுத்துவது என்பதையும் இவர்கள் யோசிக்க வேண்டும். ஹடூப் போன்ற மென்பொருட்களைக் கற்பது பயன்கொடுக்கும்.

நிறுவனத்தின் பல்வேறு நிலைகளிலுமுள்ள தலைவர்கள், வெவ்வேறு தகவல் தேவைகளோடு அணுகுவது இவர்களைத் தான். இவர்களும் அவர்களுடைய தேவைகளை நிறைவேற்றும் வகையில் தங்களுடைய மூளையையும், கையிலுள்ள தகவலையும் கசக்குவார்கள்.

எப்படி தகவலை வகைப்படுத்துவது, அதை எப்படி பயனுள்ள வகையில் மாற்றுவது, அல்காரிதங்களை/வழிமுறைகளை எழுதுவது, என்பதையெல்லாம் கவனிப்பது இவர்கள் தான்.

  1. ஸ்டாட்டிஸ்டிஷியன் / புள்ளிவிவர ஆய்வாளர்

ஸ்டாட்டிஸ்டிக் விஷயங்களைச் சொல்லும் இவரைப் புள்ளி விவரப் புலி என்று சொல்லலாமா ? தகவல்களைச் சேர்த்து, வகைப்படுத்தி, பயன்படுத்துவத்தோடு மட்டுமல்லாமல், அதன் அடிப்படையில் முடிவுகளையும் எடுப்பது இவர்களுடைய வேலை.

மார்க்கெட் ரிசர்ட், போக்குவரத்து, கல்வி, விளையாட்டு, என எல்லா இடங்களிலும் இவர்களுடைய தேவை உண்டு. இந்த வேலைக்குள் நுழையவேண்டுமென்றால் பட்டப்படிப்பு அவசியம். அதிலும் குறிப்பாக  ஸ்டாடிஸ்டிக்ஸ் அல்லது கணிதவியலில் பட்டம் இருந்தால் ரொம்ப நல்லது.

இவர்களும் ஆர் போன்ற ஏதோ ஒரு மென்பொருளின் மீது அதிக பரிச்சயம் கொண்டிருக்க வேண்டியது அவசியம். இவர்களுடைய பணிக்கென பல மென்பொருட்கள் உள்ளன MATLAB, SAS, Python, Stata, Pig, Hive, SQL, Perl போன்றவை புள்ளிவிவரவியலாளர் அல்லது ஸ்டாட்டிஸ்டிஷியன் பணிக்கு உதவுவதற்காக இருக்கின்ற மென்பொருட்கள். இவற்றில் சிலவற்றைக் கற்றுக்கொள்வது பயனளிக்கும்.

தகவல்களை அலசி அதில் ஒரு பேட்டர்ன் அதாவது முறையைக் கண்டுபிடிப்பது, தகவல்களுக்கு இடையே உள்ள தொடர்பைக் கண்டுபிடிப்பது, ஒரு டிரென்ட் கண்டுபிடிப்பது போன்றவற்றையெல்லாம் இவர்கள் கவனிப்பார்கள்.

5

டேட்டா சயின்டிஸ்ட்

இன்றைக்கு இருக்கக் கூடிய தகவல் அறிவியல் வேலைகளில் ஹாட் வேலை என்றால் இது தான். இதற்கு கொஞ்சம் அனுபவம் இருக்க வேண்டும். எல்லா நிறுவனங்களிலும் டேட்டா சயின்டிஸ்ட் வேலை தேவை இருக்கும். ஒவ்வொரு நிறுவனத்துக்கும் கொஞ்சம் கொஞ்சம் வித்தியாசமான திறமைகளில் டேட்டா சயின்டிஸ்ட் தேவைப்படுவார்கள்.

மென்பொருட்களின் மீதான பரிச்சயம் இதற்கு மிக மிக அவசியம்.  R, SAS, Python, SQL, MatLab, Hive, Pig, மற்றும் Spark போன்றவை இதற்குத் தேவையான மென்பொருட்கள் !

ஒரு நல்ல தகவல் விஞ்ஞானியின் வேலை தகவல்களோடு முடிந்து விடுவதில்லை. அந்த தகவல்களுக்கும் நிறுவனத்துக்கும் இடையேயான பிணைப்பைக் கண்டறியும். அந்த தொடர்பை வைத்துக் கொண்டு எப்படியெல்லாம் பிஸினஸை வளர்த்தலாம் என்பதை அலசும்.

இந்த பணிக்கு ஆர்வமும், பொறுமையும் மிக மிக அவசியம். நல்ல தெளிவான சிந்தனையும், திறமையும் இருந்தால் இந்தத் துறையில் கலக்கலாம்.

ஒரு டேட்டா சயின்டிஸ்ட் என்பவர் சுருக்கமாகச் சொல்லவேண்டுமெனில் ஒரு டேட்டா அனலிஸ்ச்ட், ஒரு பொறியாளர், ஒரு பிஸினஸ் அனலிஸ்ட் போன்ற பலவற்றின் கலவையாக இருப்பார்.

6

டேட்டா எஞ்சினியர்

பெரும்பாலும் பிக்டேட்டா சார்ந்த பணிகளைக் கவனிப்பதற்கு டேட்டா எஞ்சினியர்கள் தேவைப்படுவார்கள். இவர்களை டேட்டா ஆர்கிடெக்ட் என்றும் அழைப்பார்கள்.

தகவல் பொறியாளர்களுக்கு கணினி பிரிவில் ஒரு பட்டப்படிப்பு அவசியம். கூடவே Pig, Hadoop, MapReduce, Hive, MySQL, Cassandra, MongoDB, NoSQL போன்றவற்றில் பரிச்சயம் இருப்பது தேவையானது. அதே போல மென்பொருட்களான R, Python, Ruby, C++, Perl, Java, SAS, SPSS, and Matlab போன்றவற்றில் நல்ல பரிச்சயம் இருக்க வேண்டியதும் மிக மிக அவசியம்.

தகவல்களை வகைப்படுத்துவது, அதை டெஸ்ட் செய்வது, அதை நிறுவனத்தின் தேவைக்கு ஏற்ப அறிக்கையாய், படங்களாய் சமர்ப்பிப்பது இவையே இவர்களுடைய முக்கியமான வேலை.

இவை தவிர, பிக்டேட்டா பொறியாளர், மெஷின் லேர்னிங் பொறியாளர் என பலர் இந்த தகவல் அறிவியல் துறையின் பட்டியலில் வருவார்கள்.

மேலே குறிப்பிட்டுள்ளவை தகவல் அறிவியல் துறையிலுள்ள சில முக்கியமான வேலைகள். இவற்றைத் தவிரவும் பல வேலைகள் தகவல் அறிவியல் துறையில் உண்டு. இந்தப் பணிகளுக்குத் தேவையான திறமைகளை வளர்த்துக் கொண்டால் தகவல் அறிவியல் துறையில் நுழைவதில் சிக்கல் இருக்காது.

Data Science 3 : தகவல் அறிவியல் ‍ 3

Image result for data science

தகவல் அறிவியலின் பரபர வளர்ச்சி இன்றைக்கு இளைஞர்களை வெகுவாக‌ வசீகரித்திருக்கிறது. அதை நோக்கி பலர் தங்களுடைய பார்வையைத் திருப்பியிருக்கின்றனர். இதையே வாய்ப்பாக வைத்துக் கொண்டு பலர் ஃபாஸ்ட் புட் போல‌ பயிற்சி நிலையங்களை உருவாக்கி தகவல் அறிவியல் கற்றுத் தருகிறேன் என வலை விரிக்கத் துவங்கியிருக்கின்றனர். பயிற்சி நிலையம் சின்னதாக இருக்கிறதா ? பெரியதாக இருக்கிறதா என்பதல்ல பிரச்சினை. சரியான விதத்தில், சரியானவர்களால், சரியானவைகளைக் கற்றுத் தருகிறார்களா என்பதே முக்கியம்.

தகவல் அறிவியல் மீதான வசீகரம் இருப்பது நல்லது தான். நீச்சல் தெரியாமல் குளத்தில் குதிப்பதைப் போலவோ, நீச்சலே பிடிக்காமல் குளத்தில் குதிப்பதைப் போலவோ டேட்டா சயின்ஸ் துறையில் நுழைவது காலவிரயம் ! யாரெல்லாம் தகவல் அறிவியலைக் கற்றுக் கொள்ளலாம் ?. அல்லது டேட்டா சயின்ஸைக் கற்றுக் கொள்ள  என்னென்ன திறமைகள் இருக்க வேண்டும் ? என்பதைப் பற்றிய ஒரு அடிப்படைப் புரிதல் நமக்கு இருக்க வேண்டும்.

இன்றைக்கு தகவல் அறிவியலைக் குறித்து பேசும் பலரும் பல விதமான தகவல்களைத் தருகின்றனர். இதில் எது சரி, எது தவறு என்பதைப் புரிந்து கொள்வதில் பலருக்கும் குழப்பம். ஹடூப், மெஷின் லேர்னிங், அனாலிடிக்ஸ், சயின்டிஸ்ட் போன்ற வார்த்தைகள் தகவல் அறிவியல் துறையில் நுழைய விரும்பும் இளைஞர்களை குழப்பக் கூடும். எனவே தகவல் அறிவியல் குறித்து இதுவரை மற்றவர்கள் சொன்ன விஷயங்களை கொஞ்ச நேரம் ஒதுக்கி வையுங்கள். தகவல் அறிவியலுக்குள் நுழைய அடிப்படையாக என்னென்ன தேவை என்பதை மிக மிகச் சுருக்கமாகப் பார்த்து விடுவோம்.

முதலாவது, தகவல் அறிவியல் என்பது எண்களோடு விளையாடும் வேலை. புள்ளி விவரங்கள், கூட்டல், கழித்தல், அல்காரிதம், கேல்குலஸ், நிகழ்தகவு போன்ற விஷயங்கள் தகவல் அறிவியலின் முதுகெலும்பாக இயங்கக் கூடியவை. இவை எல்லாமே கணிதவியலின் அடிப்படை விஷயங்கள். எனவே, தகவல் அறிவியல் கற்றுக் கொள்ள விரும்புபவர்களுக்கு முதலில் இருக்க வேண்டிய தகுதி, கணிதவியலில் அறிவு.

அதற்காக கணிதவியலில் இளங்கலைப் பட்டமோ, முதுகலைப் பட்டமோ இருந்தால் தான் தகவல் அறிவியலில் நுழைய முடியும் என்றில்லை. கணிதத்தின் மீது ஆர்வமும், அடிப்படை அறிவும், கற்றுக் கொள்ளும் விருப்பமும் இருந்தால் போதும். கணிதம் என்றாலே காத தூரம் ஓடுபவர்கள் தகவல் அறிவியல் பக்கம் வராமல் இருப்பது நல்லது அப்படிப்பட்டவர்களுக்கு தேவையற்ற மன அழுத்தங்களை தகவல் அறிவியல் தரலாம்

தகவல் அறிவியல் துறைக்கு பல்வேறு நிலையிலுள்ள மக்களும் வருகின்றனர். இப்போது தான் படித்து முடித்த மாணவர்கள் முதல் பி.ஹைச்.டி முடித்த அறிவர்கள் வரை இதில் அடக்கம். அதனால் சிலர், “பி.ஹைச்.டி படித்தால் தான் இதெல்லாம் புரியும் போல !”, என தவறாய் நினைப்பதுண்டு. அந்த நினைப்புகளையெல்லாம் முளையிலேயே கிள்ளி எறியுங்கள்.

இரண்டாவது தேவை, கணினி அறிவு. மென்பொருள் எழுதத் தெரிந்திருக்க வேண்டும் என்பது அடிப்படைத் தேவை. அட்வான்ஸ் மென்பொருட்கள் தெரிந்திருக்க வேண்டியதில்லை. அவற்றைப் படிப்படியாகக் கற்றுக் கொள்ளலாம். ஆனால் அடிப்படை மென்பொருள் அறிவு கண்டிப்பாகத் தேவை. தகவல்களை அல்காரிதங்களின் மூலமாய் தேவையான தகவல்களாக மாற்றுவதற்கு மென்பொருள் அறிவு அவசியம்.

பைத்தான். ஆர் போன்ற மென்பொருட்கள் தெரிந்திருந்தால் மிக எளிது. இல்லாவிட்டாலும் பிரச்சினையில்லை. அடிப்படை மென்பொருட்களான சி, சி++, ஜாவா போன்ற மென்பொருட்களில் நல்ல பரிச்சயம் இருந்தாலே போதும். மென்பொருள் பற்றிய பரிச்சயம் அறவே இல்லை என்பவர்களால் தகவல் அறிவியல் துறையில் நுழைய முடியாது. எனவே கொஞ்சம் புரோகிராமிங் பக்கம் பார்வையை செலுத்துவது அவசியம்.

அதிலும், டேட்டா பேஸ் எனப்படும் தகவல் சேமிப்பு மென்பொருட்கள் பற்றிய அறிவு நிச்சயம் இருக்கவேண்டும். எப்படியெல்லாம் தகவல்களை சேமிக்கலாம், அதை எந்தெந்த வகையில் எடுக்கலாம், எப்படியெல்லாம் வகைப்படுத்தலாம், என்னென்ன கேள்விகள் மூலம் தகவல்களைப் பிரித்தெடுக்கலாம் என்பதையெல்லாம் கற்றுக் கொள்ள எஸ்.க்யூ.எல் அடிப்படை அறிவு இருப்பது தேவையானது ! இங்கும் கவனிக்க வேண்டிய விஷயம், இதிலெல்லாம் சூப்பர் டூப்பர் ஆட்களாய் இருக்க வேண்டிய அவசியம் இல்லை என்பது தான். ஆனால் நன்றாகத் தெரிந்திருக்க வேண்டும் என்பது கட்டாயம்.

டொமைன் ஸ்கில்ஸ் எனப்படும் கள அறிவு தகவல் அறிவியல் துறையில் முக்கியமானது. ஆனால் இதை துவக்கத்திலேயே படித்து விட முடியாது. நாம் எந்த துறையில் தகவல் அறிவியல் பணி செய்யப் போகிறோமோ அந்தத் துறை சார்ந்த விஷயங்களைக் கற்றுக் கொள்வது தான் சரியானது. உதாரணமாக மருத்துவத் துறையில் தான் தகவல் அறிவியல் வேலை செய்யப் போகிறீர்கள் என்றால், “ஹெல்த்கேர்’ டொமைன் பற்றி நன்றாகத் தெரிந்து வைத்திருப்பது அவசியம்.

தகவல் அறிவியல் கொண்டு வருகின்ற முடிவுகளை அலசவும், எப்படிப்பட்ட முடிவுகள் பயன்படும் என்பதை முடிவு செய்யவும் டொமைன் ஸ்கில்ஸ் தேவை. மருந்துகளின் தேவைகள் பற்றிய புள்ளிவிவரத்தை அதைப்பற்றி எதுவுமே தெரியாதவர்கள் படித்தால் புரியாது இல்லையா ? அது தான் அடிப்படை விஷயம்.

வங்கித் துறை சார்ந்த தகவல் அறிவியல் எனில் பேங்கிங் டொமைன் கற்றுக் கொள்ள வேண்டும். காப்பீடு துறை சார்ந்த டேட்டா சயின்ஸ் பணியெனில் ‘இன்சூரன்ஸ் டொமைன்’ கற்றுக் கொள்ள வேண்டும். வணிகம் சார்ந்த ஏரியா எனில் ‘ரிடெயில் டொமைன்’ தெரிந்திருக்க வேண்டும். இப்படி தேவையான ஒன்றைத் தெரிந்து கொள்ளலாம். டொமைன் ஸ்கில்ஸ் எனப்படுவதை ஒரே நாளிலோ, ஒரு படிப்பின் மூலமாகவோ கற்றுக் கொள்ள முடியாது. அடிப்படை அறிவைப் பெற்றுக் கொண்டு பின்னர் படிப்படியாக அதை வளப்படுத்திக் கொள்ளலாம்.

தகவலை விஷுவலைஸ் செய்து பார்ப்பது, அதாவது கற்பனை செய்து பார்ப்பது என்பது இந்த படிப்புக்கு தேவையானது. ஒரு துப்பறிவாளன் கையில் கிடைக்கும் ஒரு சின்ன பொருள் ஒரு பெரிய குற்றத்தைத் துப்பு துலக்க உதவுவது போல, தகவல் அறிவியலாளனின் கையில் கிடைக்கின்ற தகவல்கள் மிகப்பெரிய மாற்றத்துக்குரிய விடையைத் தர முடியும். அதற்கு, ‘இந்த தகவலை வைத்து என்ன செய்யலாம்’ என கற்பனை செய்து பார்க்கும் விஷுவலைசிங் திறமை அவசியம்.

அடிப்படையாக ஒரு பட்டப்படிப்பு இருப்பது ரொம்ப நல்லது. கணிதம், அறிவியல், காமர்ஸ் போன்ற பட்டப்படிப்பு இருந்தால் சிறப்பு !  பட்டப்படிப்பு இந்தத் துறையில் உங்களை முழுமையாக ஈடுபடுத்திக் கொள்ளும் ஊக்கத்தைத் தரும். ஒருவேளை வேறு நிறுவனங்களில், துறைகளில் வேலைபார்த்த அனுபவம் உடையவர்கள் பட்டப்படிப்பு இல்லாமலும் இந்த துறையில் நுழையலாம்.

கம்யூனிகேஷன் ஸ்கில்ஸ் எனப்படும் உரையாடல் திறனும் இந்த துறைக்கு ரொம்பவே கை கொடுக்கும். தகவல்கள் எப்போதும் நமக்கு எளிதில் கிடைத்து விடுவதில்லை. அதற்கு நமது உரையாடல்கள் தேவைப்படும். அதே போல, நாம் உருவாக்குகின்ற பணிகளை மிகத் திறமையாக அடுத்தவர்களுக்கு எடுத்துரைக்கவும் கம்யூனிகேஷன் திறமை மிக அவசியம்.

எல்லாவற்றுக்கும் மேலாக இருக்க வேண்டிய இரண்டு முக்கியமான விஷயங்கள் உற்சாகமும், புதுமையை விரும்பும் மனமும். தகவல்களை எப்படியெல்லாம் பயன்படுத்தலாம், எப்படியெல்லாம் அலசலாம், எப்படிப்பட்ட வகைகளில் வகைப்படுத்தலாம் என்பதெல்லாம் புதுமையை விரும்புபவர்களால் மட்டுமே முடிவு செய்ய முடியும். நூல் கண்டு போல சுற்றிப் பிணைந்து கிடக்கின்ற தகவல்களை சிக்கலில்லாமல் பிரித்தெடுக்க, தேவையற்ற தகவல்களை வெட்டி எறிய உற்சாக மனம் ரொம்ப முக்கியம். அடிப்படையாக, பிசினஸை எப்படியெல்லாம் வளப்படுத்தலாம், வலுப்படுத்தலாம் எனும் சிந்தனை ஓடிக்கொண்டே இருக்க வேண்டும். இவையெல்லாம் தான் ஒருவரை தகவல் அறிவியலில் சிறப்புற வைக்கும்.

சுருக்கமாக கணிதத்தில் பரிச்சயமும் ஆர்வமும் இருக்கிறதா ? ஓரளவு மென்பொருள் பரிச்சயம் இருக்கிறதா ? புதுமை செய்யும் ஆர்வம் இருக்கிறதா ? தகவல்களோடு விளையாடும் பொறுமை இருக்கிறதா ? எனில் நீங்கள் தைரியமாக இதில் காலெடுத்து வைக்கலாம்.

( தொடர்வோம் )

Data Science 2 :தகவல் அறிவியல் 2

“வேலை காலியாக இருக்கிறது ! ஐம்பது இலட்சம் பேர் அவசரமாக தேவை”

இன்றைய சூழலில் இப்படி ஒரு விளம்பரம் வந்தால் ஆச்சரியப்படாமல் இருக்க முடியுமா ? உண்மையில் அப்படி ஒரு எண்ணிக்கையிலான அளவுக்கு ‘தகவல் அறிவியல்’ எனப்படும் டேட்டா சயின்ஸ் துறையில் ஆட்கள் தேவைப்படுவார்கள் என்பது தான் யதார்த்தம். அவ்வளவு ஆட்கள் ஏன் தேவை ? தகவல்களை வெச்சு அவ்ளோ விஷயம் நடக்குதா என்ன ? என மனதில் முட்டி மோதும் கேள்விகளுக்குப் பதிலளிக்க வேண்டுமானால் முதலில், டேட்டா சயின்ஸினால் விளைகின்ற நன்மைகள் என்னென்ன என்பதைப் புரிந்து கொள்ள வேண்டும்.

தகவல் அறிவியலின் பயன்பாடு இல்லாத இடம் என்று ஒன்று இனிமேல் இருக்கப் போவதில்லை எனுமளவுக்கு தகவல் அறிவியல் எல்லா இடங்களிலும் நீக்கமற நிறைந்திருக்கப் போகிறது.

உதாரணமாக ஒரு பெரிய சூப்பர் மார்க்கெட்டுக்குப் போகிறீர்கள் என வைத்துக் கொள்ளுங்கள். அங்கே நுழைந்தவுடன் உங்கள் கண்ணுக்குத் தெரியும் விதமாக சில பொருட்கள் இருக்கும். அதாவது கண்பார்வைக்கு நேரான உயரத்தில் !  சில பொருட்கள் கீழே இருக்கும், எளிதில் தட்டுப்படாது. இன்னும் சில பொருட்கள் உயரமான இடத்தில் இருக்கும் பெரியவர்களுக்கு மட்டுமே பார்க்க முடியும். இன்னும் சில பொருட்கள் ‘பில்’ போடும் இடத்துக்கு பக்கத்திலேயே இருக்கும் !  ஏன் இப்படியெல்லாம் அடுக்கி வைக்கிறார்கள் ? என எப்போதாவது யோசித்துப் பார்த்ததுண்டா ?

இவற்றையெல்லாம்  முடிவு செய்வது ‘டேட்டா சயின்ஸ்’ தான் ! ஒரு கடையில் எந்தெந்த பொருட்கள் அதிகமாக விற்பனையாகின்றன ? எந்தெந்த பொருட்கள் குறைவாக விற்பனையாகின்றன ? எந்த பொருட்கள் தவிர்க்க முடியாதவை ? எந்த பொருட்கள் பில் போடும் நேரத்தில் கண்களைக் கவரும் ? என அனைத்து விஷயங்களையும் அலசி ஆராய்ந்து தான் இந்த  அடுக்கி வைக்கும் முறையையே முடிவு செய்கின்றனர். இது வர்த்தகத்தைப் பெருமளவில் அதிகரிக்க உதவுகிறது.

அமெரிக்காவின் பிரபலமான வால்மார்ட் கடைகள் பற்றி உங்களுக்குத் தெரிந்திருக்கும். கடையே அரை கிலோமீட்டர் அளவுக்கு விரிந்து பரந்ததாய் இருக்கக் கூடிய கடைகள் அவை. அவர்கள் டேட்டா சயின்ஸை உதவிக்கு அழைத்து எந்தெந்த பொருட்கள் விற்பனையாகின்றன, எந்தெந்த பொருட்கள் விற்பனை குறைவாக இருக்கின்றன ? போன்ற தகவல்களைத் திரட்டினார்கள். அந்த ஆய்வின் அடிப்படையில் தான் பொருட்களை எங்கே வைக்கவேண்டும், எப்படி வைக்க வேண்டும், எவ்வளவு வைக்க வேண்டும் என்பதைண்டும்யெல்லாம் முடிவு செய்தனர். அதன் பின் அவர்களுடைய வர்த்தகம் வளர்ந்தது !

அதில் ஒரு சுவாரஸ்யமான விஷயத்தைம்யும் கண்டு பிடித்தனர். வெள்ளிக்கிழமைகளில் குழந்தைகளுக்கான டயாப்பர் அதிகமாக விற்பனையானது ! அதென்னடா விஷயம் வெள்ளிக்கிழமை என்பது புரியாத புதிராய் இருந்தது. அதே நாளில் பீர் விற்பனையும் அதிகமாய் இருந்தது ! இரண்டுக்கும் இடையே உள்ள தொடர்பை ஆராய்ந்து பார்த்தால், டயாப்பர் வாங்கும் நபர்களே பீரையும் வாங்குவது தெரிந்தது !  அது எல்லாமே ஆண்கள் தான் என்பதையும் அவர்களுடைய அலசல் காட்டிக் கொடுத்தது. அதன்பின் வால்மார்ட் நிர்வாகம் டயாப்பர் இருக்கும் இடத்துக்கு பக்கத்திலேயே பீர் வகைகளையும் அடுக்கி வைத்தது. இந்த இரண்டு விஷயங்களும் எளிதில் கண்ணுக்குத் தட்டுப்படும் வகையிலும் வைக்கப்பட்டது ! அதன் பின் விற்பனை இன்னும் அதிகரித்தது !

டயாப்பருக்கும், பீருக்கும் என்ன சம்பந்தம் இருக்க முடியும் ? தகவல் அறிவியல் எனும் ஒரு நுட்பம்  இப்படி அலசி ஆராய்ந்து சொன்னால் மட்டுமே இப்படி ஒரு தொடர்பு இருப்பதை அறிய முடியும். இல்லையேல் ஏதோ மொட்டைக்கும் முழங்காலுக்கும் முடிச்சு போடுவது போல சம்பந்தம் இல்லாத விஷயமாகவே தோன்றும்.

அதே போல அமேசான்.காம் உட்பட எந்த ஒரு வர்த்தகத் தளத்துக்குப் போனாலும் ஒரு பொருளை தேடுவீர்கள். உடனே கீழே, அதே போன்ற பல பொருட்களின் தகவல்கள் வரும். இரண்டு பொருட்களைச் சேர்த்து வாங்கினால் தள்ளுபடி விலையில் கிடைக்கும் என வரும். இன்னும் ஒரு படி மேலே போய், நீங்கள் எந்த விலையில் பொருட்களைத் தேடுகிறீகளோ அந்த விலையை ஒட்டிய பொருட்கள் மட்டுமே கண்சிமிட்டும்.  இதன் பின்னணியில் இயங்குவதெல்லாம் டேட்டா சயின்சின் ஏதோ ஒரு அம்சம் தான்.

அப்படியே விளையாட்டுப் பக்கம் போவோம் ! கிரிக்கெட் பார்த்துக் கொண்டிருக்கிறீர்கள் என வைத்துக் கொள்ளுங்கள்.  ரோஹித் ஷர்மா 50 ரன்கள் அடித்தால் உடனே கணினியில் ஏகப்பட்ட புள்ளி விவரங்கள் வரும். ரோஹித் எத்தனை முறை அரை சதம் அடித்திருக்கிறார், யாருக்கு எதிராய் அடித்திருக்கிறார், யாருடைய பார்ட்னர் ஷிப்பில் அடித்திருக்கிறார், எந்தெந்த கிரவுண்டில் அடித்திருக்கிறார், எந்த இன்னிங்சில் அடித்திருக்கிறார், எந்த ஆண்டு அடித்திருக்கிறார், இதே போல யாரெல்லாம் அடித்திருக்கிறார்கள், என நாம் நினைத்துப் பார்க்க முடியாத அளவுக்கு புள்ளி விவரங்களை திணறத் திணற அள்ளித் தெளிப்பார்கள்.

இந்த புள்ளி விவரங்களை வைத்துக் கொண்டு எந்தெந்த களத்தில் எப்படிப்பட்ட ஸ்கோர் அடிக்கப்படலாம், களத்தின் தன்மையைப் பொறுத்து யாரெல்லாம் நன்றாக விளையாடலாம் களத்தின், எந்த பந்து வீச்சாளருக்கு எதிராக ரன்கள் எடுக்கப்படலாம் போன்ற பல விஷயங்களைக் கணிப்பார்கள். விளையாட்டுத் துறையில் நிறைய கணிப்புகளுக்கும், முடிவுகள் எடுப்பதற்கும் இத்தகைய தகவல்களே முதுகெலும்பாய் இருக்கின்றன. இந்த தகவல்களையெல்லாம் அள்ளி அள்ளித் தருவது சாட்சாத் டேட்டா சயின்ஸ் தான்.

விளையாட்டை விட்டு விட்டு மருத்துவப் பகுதியை எட்டிப் பார்த்தால், ஒரு மனிதனுடைய உடல்  ஒரு நாளில் தருகின்ற தகவல்களின் அளவு சுமார் 2 டெரா பைட் என்கிறது தகவல் தொழில்நுட்பம். மனிதனுடைய இதயத் துடிப்பு, இரத்த அழுத்தம், மூச்சு, தூக்கம், நடை என எல்லா விஷயங்களையும் கவனித்து தேவையான ஆலோசனைகளையும், வழிகாட்டுதல்களையும் தரக்கூடிய பல கருவிகளையும், மென்பொருட்களையும் பிரபல நிறுவனங்கள் உருவாக்கியிருக்கின்றன. இப்படி மருத்துவத் துறையில் நோய்களைக் கணிக்கவும், அதன் மூலம் நோய்களின் தாக்கத்தைக் குறைக்கவும், மருத்துவ ஆராய்ச்சிகளை வலுப்படுத்தவும் தகவல் அறிவியல் பயன்படுகிறது.

அதே போல பழைய நுட்பங்களில் இருந்த தவறுகளைத் திருத்திக் கொண்டு,  நோயாளிகளின் நோய்களை கனகட்சிதமாகக் கணிக்க டேட்டா சயின்ஸ் தான் பயன்படுகிறது. தனி நபருடைய மெடிகல் ஹிஸ்டரி, வாழ்க்கைச் சூழல் போன்றவற்றையெல்லாம் அலசி ஆராய முடிவதால் நபருக்கு ஏற்ற மருத்துவம் எனும் தளத்துக்கு மருத்துவ வளர்ச்சி இடம் மாறுகிறது. இனி வரும் காலங்களில் ‘காய்ச்சலுக்கு’ மருந்து எனும் நோய் சார் நிலையிலிருந்து ‘விஜயகுமார்’ க்கு மருந்து எனும் நபர் சார் மருத்துவத்துக்கு மருத்துவத் துறை இடம்பெயரும். அதற்கு டேட்டா சயின்ஸ் தான் துணை செய்யும்.

அப்படியே திரும்பி காப்பீட்டுத் துறைக்குத் தாவினால் அங்கும் டேட்டா சயின்ஸ் கோலோச்சத் துவங்கியிருக்கிறது. கார் இன்சூரன்ஸ் பக்கம் இப்போது பரவி வரும் ‘பே ஹவ் யு டிரைவ்’  எனும் கான்செப்ட் தகவல் அறிவியலின் சிந்தனையில் உருவானதே. அதாவது ஒருவர் கார் ஓட்டுகின்ற ஸ்டைல் எப்படி இருக்கிறது என்பதற்கு ஏற்ப காப்பீடு நிர்ணயிக்கப்படும். அவருடைய காரோட்டும் குணாதிசயத்தை தகவல் அறிவியல் கணித்துச் சொல்கிறது.

ஆளில்லாத கூகிள் கார் கூட டேட்டா சயின்சின் பிள்ளை தான். காரில் இருக்கின்ற பல்வேறு சிக்னல்கள் அள்ளித் தரும் தகவல்களின் அடிப்படையில் கார் பயணிக்கும். இதனால் விபத்துகள் குறையும். ஹெல்த் இன்சூரன்ஸ் பக்கம் போனால் ஒரு மனிதனுடைய உடல் நிலை, அவருடைய உணவுப் பழக்கம், அவருடைய குடிப்பழக்கம், அவருடைய உடற்பயிற்சி, தூக்கம் போன்ற பல்வேறு தகவல்களின் அடிப்படையில் இந்தக்  காப்பீட்டின் மதிப்பு நிர்ணயம் செய்யப்படும்.

வங்கித் துறையை எடுத்துக் கொண்டால் வாடிக்கையாளர்களுடைய தகவல்கள், அவர்களுடைய வங்கிக் கணக்குகள், அவர்கள் பணத்தைச் செலவு செய்யும் முறை என ஏகப்பட்ட விஷயங்களை டேட்டா சயின்ஸ் கணக்கில் கொண்டு வங்கிகளின் தரத்தை உயர்த்துகிறது. வங்கிகளில் நடக்கின்ற மோசடிகளைக் கண்டு பிடிக்கவும், வாடிக்கையாளர்களை வசீகரிக்கும் திட்டங்களை உருவாக்கவும் டேட்டா சயின்ஸ் கை கொடுக்கிறது.

இப்படி எந்த ஒரு துறையை எடுத்தாலும் தகவல் அறிவியல் தான் அதன் மையமாக நின்று செயல்படுகிறது. இதன் பல்வேறு அம்சங்கள் தான் மெஷின் லேர்னிங், பிக் டேட்டா, டேட்டா மைனிங் என பல பெயர்களில் உலா வருகிறது. இது தான் டேட்டா சயின்ஸ் துறை அதன் ஸ்பெஷலிஸ்ட்களை வலை வீசித் தேடிக்கொண்டிருக்கக் காரணம்.

இந்தத் துறைக்கு நுழைய என்னென்ன தெரிந்திருக்க வேண்டும் ?

( தொடர்வோம் )

Data Science 1 :தகவல் அறிவியல் 1

Image result for data science

பாய்ஸ் திரைப்படத்தில் ஒரு காட்சி வரும். நகைச்சுவைக்காக வைக்கப்பட்ட அந்தக் காட்சியில் தகவல் அறிவியலின் தேவையை மிக எளிமையாக விளக்கியிருப்பார் சுஜாதா.

செந்தில் ஒரு கோயில் மண்டபத்தில் உட்கார்ந்திருப்பார். அவரது கையில் ஒரு குட்டி புக் இருக்கும். அதில் நாள், கிழமை வாரியாக எந்தக் கோயிலில் எப்போது என்ன சாப்பாடு போடுவார்கள் எனும் குறிப்புகள் எழுதப்பட்டிருக்கும். அதை வைத்துக் கொண்டு ஹாயாக சாப்பிட்டு காலத்தை ஓட்டுவார் அவர். அவரிடம் வந்து கேட்பவர்களுக்கும் புக்கைப் புரட்டிப் பார்த்து, “இந்த கோயிலுக்கு இத்தனை மணிக்கு போ.. ஓட்டை போட்ட வடை தருவாங்க” என அனுப்பியும் வைப்பார். அந்த தகவல்களை வைத்துக் கொண்டு “இன்ஃபர்மேஷன் ஈஸ் வெல்த்” என அவர் சொல்லும் டயலாக் பிரபலமானது !

தகவல்களை சேமித்து வைத்து, அதைப் பயன்படுத்த வேண்டிய வகையில் பயன்படுத்துவது ரொம்பவே பயனளிக்கும் என்பதை சுஜாதா இந்த குட்டி காட்சியின் மூலம் இயல்பாக விளக்கியிருப்பார்.

இந்த சின்ன சிந்தனையை, பரந்து பட்ட தொழில்நுட்ப வெளியில் ஆழமாகவும், நீளமாகவும், பெரிய அளவிலும் அலசி ஆராய்ந்தால் அதை தகவல் அறிவியல் என்று சொல்லலாம்.

உதாரணம் ஒன்று சொல்கிறேன். ஒரு நிறுவனம் இருக்கிறது. அதன் மேலதிகாரி தன்னுடைய அக்கவுன்டிங் துறையைக் கூப்பிட்டு, “நம்ம கம்பெனில போன வருஷம் நடந்த செலவுகளோட ஒட்டு மொத்த டேட்டாவையும் கொண்டு வாங்க” என சொல்கிறார் என வைத்துக் கொள்வோம். ஊழியர்கள் உடனே போய் ஜனவரி மாதம் முதல் டிசம்பர் மாதம் வரை நடந்த செலவுகளின் பட்டியலை எடுப்பார்கள். சின்னச் சின்ன செலவு முதல், பெரிய பெரிய இன்வெஸ்ட்மென்ட் செலவுகள் வரை அனைத்தையும் கொண்டு வந்து மேலதிகாரியிடம் கொடுப்பார்கள். இது தான் டேட்டா ! தகவல் !

இந்தத் தகவலை அப்படியே வைத்திருப்பதில் எந்த பயனும் இல்லை. செயல்படாத தகவல் செத்த தகவல் என சொல்லலாம். அது வெறுமனே இடத்தை அடைத்துக் கொண்டு கிடக்கும் அவ்வளவு தான். ஆனால் மேலதிகாரி அத்துடன் நின்று விடுவதில்லை. மீண்டும் அவர்களைக் கூப்பிட்டு,

“என்னப்பா இப்படி கொண்டு வந்தா நான் என்ன பண்றது ? ஒவ்வொரு மாசம் எவ்வளவு செலவாச்சு ? என்ன டிப்பார்ட்மென்ட்க்கு எவ்ளோ செலவாச்சு ? சம்பளம் எவ்ளோ குடுத்திருக்கோம் ? முதலீடு எவ்ளோ செஞ்சிருக்கோம் ? இப்படி பிரிச்சு குடுப்பா” என்பார்.

ஊழியர்கள் போய் அந்த தகவல்களையெல்லாம் திருப்பிப் போட்டு, அலசி அதை முறைப்படுத்தி மேலதிகாரி கேட்ட வடிவத்தில் கொண்டு வந்து கொடுப்பார்கள். இது தான் கட்டமைக்கப்பட்ட அல்லது வகைப்படுத்தப்பட்ட தகவல். ஸ்ட்ரக்சர்ட் டேட்டா !

இப்போது அந்தத் தகவல்களைப் புரட்டிப் பார்க்கும் மேலதிகாரி ஊழியர்களை அழைத்து,

“யப்பா… மார்ச் மாசம் ஏகப்பட்ட செலவாகியிருக்கு ! சேல்ஸ் டீம்ல செலவு அக்டோபர் மாசம் எகிறியிருக்கு ! மாசா மாசம் பெட்ரோல் செலவு ராக்கெட் மாதிரி ஏறியிருக்கு..” என்னன்னு கொஞ்சம் பாத்து சொல்லு” என்பார்.

அப்போது ஊழியர்கள் அந்த தகவலை மேலும் அலசி ஆராய்ந்து அதற்குரிய பதிலோடு வருவார்கள். அக்டோபர் மாதம் போனஸ் என்றோ, மார்ச் மாதம் அட்வான்ஸ் பேய்மென்ட் என்றோ தங்கள் கண்டுபிடிப்பைச் சொல்வார்கள். இது தகவல் அலசல் ! டேட்டா அனாலிசிஸ் !

இப்போது மேலதிகாரி தன்னுடைய திட்டமிடல் குழுவை கூப்பிடுவார். கூப்பிட்டு தன்னிடம் இருக்கின்ற இந்த தகவல்களை எல்லாம் கொடுப்பார். “இதோ பாருங்க, இதான் கடந்த வருஷத்தோட செலவு. இதுல எல்லா விவரங்களும் இருக்கு. அடுத்த வருஷம் இந்த செலவில 10 சதவீதம் கம்மி ஆகணும். எல்லா மாசமும் செலவு கிட்டத்தட்ட ஒரே மாதிரி இருக்கணும், அதுக்கு என்ன பண்ணணுமோ அதை கண்டுபிடிச்சு சொல்லுங்க” என்பார். இப்போது திட்டக் குழுவினர், கடந்த ஆண்டின் தகவலை வைத்துக் கொண்டு எதிர்காலத்தை திட்டமிடுவார்கள். எதிர்காலத்தில் என்னென்ன செய்தால் மேலதிகாரி சொன்னதை நிறைவேற்றலாம் என்பதை முடிவுசெய்வார்கள். இது தான் டேட்டா அனாலிடிக்ஸ். பொதுவாகச் சொல்ல வேண்டுமெனில் டேட்டா சயின்ஸ். தகவல் அறிவியல்.

துவக்கத்தில் ஏனோதானோவென கிடந்த தகவல்கள், ஒன்று சேர்க்கப்பட்டு, வகைப்படுத்தப்பட்டு, தரம்பிரிக்கப்பட்டு, பயன்படுத்தக்கூடிய வகையில் மாற்றப்பட்டு, எதிர்காலத்துக்கான முடிவுகளை நிர்ணயிக்கும் காரணியாக உருமாற்றம் அடைகிறது. இது தான் தகவல் அறிவியல் என்பதன் ஆகச் சுருக்கமான விளக்கம்.

இந்த தகவல்களெல்லாம் நாம் நினைப்பது போல அழகாக கணினியில் டைப் செய்து சேமிக்கப்பட்டிருப்பவை மட்டுமல்ல. பல்வேறு விதமான தகவல்கள், பல்வேறு விதமான வடிவங்களில் கிடைக்கின்றன. கணினியிலோ, காகிதத்திலோ நாம் தெளிவாக எழுதி வைத்திருக்கும் தகவல்கள் முறைப்படுத்தப்பட்ட தகவல்கள். அல்லது ஸ்ட்ரக்சர்ட் டேட்டா. இதைக் கையாள்வது எளிது. இந்த தகவல்களை அலசி ஆராய்வதும், அதன் மூலமாக புதிய முடிவுகளை எடுப்பதும் மிக எளிது.

ஆனால் முறைப்படுத்தப்படாத தகவல்கள் விஷயத்தில் அது கடினம். அதென்ன முறைப்படுத்தப்படாத தகவல் ? அலுவலகத்தில் ஆங்காங்கே கண்காணிப்பு கேமராக்கள் இருக்கும். அந்த கேமராக்கள் 24 மணி நேரமும் கண்சிமிட்டி காட்சிகளைப் பதிவு செய்து கொண்டே இருக்கும். கார் பார்க்கிங்கிலும், அலுவலகத்தைச் சுற்றியும் இதே போல பல கேமராக்கள் சுற்றிச் சுற்றி காட்சிகளை தனக்குள் அடுக்கிக் கொண்டே இருக்கும் ! இந்த வீடியோ காட்சிகள் முறைப்படுத்தப்படாத தகவலின் ஒரு உதாரணம் !

அலுவலகத்தில் தலைமை அதிகாரி ஒருமணி நேர உற்சாக உரையாற்றுகிறார் என வைத்துக் கொள்வோம். அதில் பல விஷயங்கள் இருக்கும். பல திட்டங்களின் துவக்க நாட்கள் இருக்கும். அந்த உரை ஒரு கட்டமைக்கப்படாத தகவல். அதிலிருந்து தேவையான தகவல்களை பிரித்தெடுக்க வேண்டும்.

ஒரு அலுவலகத்தை எடுத்துக் கொண்டால் இத்தகைய தகவல்கள் எக்கச்சக்கமாக குவிந்து கிடக்கும். நீண்டு கொண்டே இருக்கின்ற அனுமர் வால் போல அவை பயம் காட்டும். நெருங்கிச் செல்லச் செல்ல விலகி ஓடும் தொடுவானம் போல களைப்பை ஏற்படுத்தும்.

அன்னியன் திரைப்படத்தில் வருகின்ற காட்சி நினைவுக்கு வருகிறதா ? ஐந்து பைசா திருடுவது தவறில்லை. ஆனால் ஐந்து இலட்சம் பேர், ஐந்து ஐந்து பைசாவாக‌, ஐந்து இலட்சம் தடவை திருடினால் அது மிகப்பெரிய திருட்டாய் முடியும் இல்லயா ? அதே போல தான் கட்டமைக்கப்படாத தகவல்கள் கொஞ்சம் கொஞ்சமாக சேர்ந்து மலைபோல மாறிவிடும்.

ஆயிரம் பேர் வேலை செய்யும் அலுவலகத்தில், ஒரு நபருக்கு தினம் பத்து அலுவல் சார்ந்த‌ மின்னஞ்சல் வரும் என வைத்துக் கொண்டாலும், மொத்தக்கணக்கு தினசரி பத்தாயிரம் மின்னஞ்சல்கள் என்றாகிறது. அது ஒரு மாதத்திற்கு மூன்று இலட்சம் என மிரட்டும் எண்ணிக்கையில் வந்து முடியும். அப்படி ஒரு ஆயிரம் நிறுவனங்களில் எவ்வளவாகும், தினசரி வருகின்ற மின்னஞ்சல்களின் எண்ணிக்கை அதிகமானால் என்னவாகும் என்பதையெல்லாம் மனக்கணக்கு போட்டு பார்த்துக் கொள்ளுங்கள்.

இதே போல புகைப்படங்கள், டாக்குமென்ட்கள், ஆடியோ ஃபைல்கள், டெக்ஸ் ஃபைல்கள், பிரசன்டேஷன்கள், வலைத்தளங்கள், போன் கால்கள் என ஒவ்வொரு விஷயத்தையும் எடுத்துக் கொண்டால் ‘ஒரு நிமிஷம் தலை சுத்திடுச்சு’ என்று நம்மையறியாமலேயே சொல்வோம்.

நமக்குக் கிடைக்கின்ற தகவல்களில் 70 முதல் 90 விழுக்காடு தகவல்களும் கட்டமைக்கப்படாத தகவல்கள் தான் ! அப்படிக் கிடைக்கின்ற தகவல்களை கட்டமைக்கப்பட்ட தகவல்களாக மாற்றுவது எப்படி என்பது தான்  தொழில்நுட்பம் எதிர்கொள்ளும் மிகப்பெரிய சவால். அதற்கான தொழில்நுட்ப நுணுக்கங்களை தகவல் அறிவியல் தன்னகத்தே முக்கிய இடத்தில் வைத்திருக்கிறது.

அலுவலகம் எனும் எல்லையைத் தாண்டினால்  சமூக வலைத்தளங்கள், வாட்சப் போன்ற குறுஞ்செய்தி செயலிகள், வலைத்தளங்கள், வீடியோ கால்கள், மின்னஞ்சல்கள், ஆன்லைன் பரிவர்த்தனைகள், சிக்னல் வீடியோக்கள் என இந்த தகவல்களின் வகைகளும், அளவுகளும் கோடி கைகளுடன் மனுக்குலத்தை இறுக்கப் பிடிக்கின்றன !

இந்த சவாலை, சாதகமாய் மாற்றும் வேலையைத் தான் தகவல் அறிவியல் செய்கிறது. இன்றைய தேதியில் வேலை வாய்ப்புகள் கொட்டிக் கிடக்கும் இடம் ‘டேட்டா சயின்ஸ்’ எனும் தகவல் அறிவியல் தான்

( தொடர்வோம் )